O que ve un modelo de recorte no dispositivo
Un modelo de recorte no dispositivo non ve unha persoa, un zapato, unha mascota ou unha cadeira no sentido humano. Recibe unha representación numérica da imaxe e estima, píxel a píxel, que áreas son susceptibles de pertencer ao tema principal. A súa saída útil é unha máscara: un mapa en escala de grises que pode converterse na canle de transparencia do resultado.
Esa distinción explica tanto a velocidade dos cortes automáticos como os seus límites. O modelo pode usar patróns visuais aprendidos durante o adestramento, pero non coñece a súa intención. Un obxecto afiado preto do centro pode parecer importante; un bordo de vidro débil ou un mechón solto de cabelo pode parecer un fondo.
Desde o ficheiro de imaxe ata a entrada do modelo
O ficheiro que escolla primeiro ten que ser decodificado. Unha foto comprimida non se pasa directamente ao modelo como un bloque de bytes de ficheiro. O navegador convérteo en píxeles con valores de ancho, alto e cor.
A continuación, a canalización de inferencia prepara unha entrada do tamaño dun modelo. Dependendo do modelo e do tempo de execución, a preparación pode incluír:
- redimensionar a imaxe descodificada ás dimensións que o modelo espera;
- organizar os valores vermellos, verdes e azuis como canles numéricos;
- escalar ou normalizar eses valores;
- empaquetalos nun tensor, o formato de matriz utilizado polo tempo de execución da inferencia.
As dimensións exactas e as regras de normalización pertencen á implementación do modelo. O punto práctico importante é que a inferencia adoita funcionar a partir dunha representación preparada, non de todos os píxeles de orixe no seu tamaño orixinal.
Easy Background Remover executa este paso de inferencia no navegador cun modelo de segmentación no dispositivo. É posible que teña que descargar o ficheiro do modelo antes do primeiro recorte, pero a ruta de procesamento de imaxes está deseñada para permanecer local unha vez que o modelo estea listo. A descarga do modelo é unha solicitude de activo; non é o mesmo que cargar a foto seleccionada para inferencia remota.
A saída é unha máscara de confianza
Para cada localización da súa saída, o modelo produce un valor que se pode interpretar como máis parecido ao tema ou máis ao fondo. É útil representar isto como unha imaxe en escala de grises:
- branco significa manter esta área;
- negro significa eliminar esta área;
- gris significa cobertura parcial ou incerteza preto dun bordo.
O navegador converte esa saída na máscara alfa que funciona. Os píxeles de cores orixinais pódense compoñer sobre un taboleiro de xadrez, un recheo sólido, un degradado ou outra imaxe. Unha exportación transparente almacena a máscara como alfa en lugar de pintar o damero no ficheiro.
Os valores suaves importan. Se cada valor da máscara fose obrigado inmediatamente a ser branco ou negro puro, o cabelo, a pel, as fibras do tecido, o desenfoque de movemento e os bordos desenfocados volveríanse anormalmente duros. O alfa parcial pode preservar unha transición máis suave. Tamén pode expoñer franxas de cor do fondo antigo, polo que o resultado aínda merece unha comprobación visual.
Que evidencia visual axuda ao modelo
Un modelo de segmentación pode utilizar máis dunha pista á vez. As pistas fortes adoitan incluír:
- contraste entre o tema e o fondo;
- límites continuos arredor dun obxecto dominante;
- combinacións familiares de forma, textura e posición;
- sinais de profundidade como diferenzas de foco;
- rexións que visualmente pertencen.
Ningunha destas pistas é garantía. Unha chaqueta escura contra unha parede escura ofrece un débil contraste de límites. Unha cadeira con ocos estreitos pode conter rexións de fondo que se asemellan ao obxecto. Un telón de fondo estampado pode competir co tema real pola atención.
O modelo está facendo unha mellor estimación a partir dos píxeles dispoñibles. Non pode recuperar detalles que nunca capturou a imaxe.
O que o modelo non sabe
O modelo non sabe automaticamente que obxecto querías manter cando hai varios suxeitos presentes. Non sabe que un vaso transparente é comercialmente importante, que unha sombra debe quedar por realismo ou que unha pequena correa pertence a unha bolsa.
Tampouco recibe unha versión oculta de alta resolución dunha fonte borrosa. Os bloques de compresión, os reflejos recortados, o desenfoque de movemento e os detalles moi pequenos limitan a evidencia dispoñible. Aumentar o zoom da vista previa fai que os píxeles da pantalla sexan máis grandes; non crea información que falta.
É por iso que “AI detectouno” e “o bordo está listo para publicar” son afirmacións diferentes. A detección inicia a edición. A revisión remata.
Por que os detalles finos e transparentes son difíciles
Os obxectos delgados ocupan poucos píxeles. Cando se cambia o tamaño dunha imaxe para deducir, pódese facer a media dun fío ou un cabo dun píxel co fondo ao seu redor. Os obxectos transparentes son difíciles por outra razón: a súa cor visible é en parte o fondo antigo. O límite pode ser claro para unha persoa que entende o obxecto, mentres que o patrón de píxeles segue sendo ambiguo.
As sombras suaves crean unha ambigüidade intencionada. O seu bordo exterior desaparece gradualmente e non hai un único corte obxectivamente correcto. Manter a sombra completa pode parecer natural nun fondo semellante pero sucio nun novo recheo brillante. Se o elimina pode facer que o suxeito pareza flotar.
Estes son problemas de xuízo tanto como problemas de modelos.
Máscara de modelo, máscara de traballo e máscara de exportación
Axuda a separar tres etapas:
- Máscara de modelo: a estimación automática devolta por inferencia.
- Máscara de traballo: a máscara que se mostra no editor despois de calquera modificación de Engadir ou Borrar.
- Máscara de exportación: a máscara de traballo aplicada cando se descarga ou copia o resultado actual.
En Easy Background Remover, o refinamento do pincel edita a máscara de traballo. Exportar usa o resultado editado actual en lugar de volver silenciosamente á máscara automática non tocada. Isto permite que o modelo xestione a ampla separación mentres corrixe os detalles que dependen da intención.
A vista previa mostrada pódese escalar para adaptarse ao editor. Ese tamaño da pantalla non é unha medida fiable do detalle interno da máscara. Lea Resolución de máscara vs tamaño de vista previa para ver a distinción.
A inferencia local aínda ten un paso de configuración
A execución dun modelo no dispositivo require os pesos do modelo e un tempo de execución do navegador compatible. Os pesos son moito máis grandes que o código de interface común, polo que cargar todo en cada lanzamento do editor sería un desperdicio. Unha primeira sesión pode descargar e almacenar o modelo na caché; as sesións ordinarias posteriores adoitan reutilizalo.
Por que a primeira execución descarga un modelo explica ese límite sen confundir a descarga de recursos do modelo cunha carga de fotos. A inferencia pesada tamén foxe do fío da interface principal; consulte Conceptos básicos de procesamento de imaxes de Web Worker.
Unha forma práctica de xulgar o resultado
Non inspecciones só o centro da materia. Comprobe a máscara onde a evidencia é máis débil:
- pelo, peles, bigotes e fibras de tecido;
- lentes, correas, fíos e ocos estreitos;
- bordos de baixo contraste;
- material semitransparente;
- sombras de contacto;
- cantos onde pode permanecer a cor de fondo antiga.
Ver o resultado sobre un fondo claro e escuro se o destino final é descoñecido. Un halo pálido pode desaparecer en branco e facerse evidente en negro. A continuación, refina só as áreas que afectan ao uso previsto.
A segmentación automática é máis útil cando se trata como un primeiro paso forte, non como unha declaración de perfecta comprensión. Para probar o fluxo de recorte e refinamento local completo, consulta Comezar.