Qué ve un modelo recortado en el dispositivo
Un modelo recortado en el dispositivo no ve una persona, un zapato, una mascota o una silla en el sentido humano. Recibe una representación numérica de la imagen y estima, píxel a píxel, qué áreas probablemente pertenezcan al tema principal. Su resultado útil es una máscara: un mapa en escala de grises que puede convertirse en el canal de transparencia del resultado.
Esa distinción explica tanto la velocidad de los cortes automáticos como sus límites. El modelo puede utilizar patrones visuales aprendidos durante el entrenamiento, pero desconoce su intención. Un objeto punzante cerca del centro puede parecer importante; un borde de cristal tenue o un mechón de cabello suelto pueden parecer un fondo.
Del archivo de imagen a la entrada del modelo
El archivo que elija primero debe ser decodificado. Una foto comprimida no se pasa directamente al modelo como un bloque de bytes de archivo. El navegador lo convierte en píxeles con valores de ancho, alto y color.
Luego, el proceso de inferencia prepara una entrada del tamaño de un modelo. Según el modelo y el tiempo de ejecución, la preparación puede incluir:
- cambiar el tamaño de la imagen decodificada a las dimensiones que espera el modelo;
- organizar los valores rojo, verde y azul como canales numéricos;
- escalar o normalizar esos valores;
- empaquetarlos en un tensor, el formato de matriz utilizado por el tiempo de ejecución de inferencia.
Las dimensiones exactas y las reglas de normalización pertenecen a la implementación del modelo. El punto práctico importante es que la inferencia generalmente funciona a partir de una representación preparada, no de cada píxel fuente en su tamaño original.
Easy Background Remover ejecuta este paso de inferencia en el navegador con un modelo de segmentación en el dispositivo. Es posible que sea necesario descargar el archivo del modelo antes del primer recorte, pero la ruta de procesamiento de imágenes está diseñada para permanecer local una vez que el modelo esté listo. La descarga del modelo es una solicitud de activo; no es lo mismo que subir la foto seleccionada para inferencia remota.
El resultado es una máscara similar a la confianza.
Para cada ubicación en su salida, el modelo produce un valor que puede interpretarse como más parecido a un sujeto o más parecido a un fondo. Es útil visualizar esto como una imagen en escala de grises:
- blanco significa mantener esta área;
- negro significa eliminar esta área;
- gris significa cobertura parcial o incertidumbre cerca de un borde.
El navegador convierte esa salida en la máscara alfa de trabajo. Luego, los píxeles de color originales se pueden componer sobre un tablero de ajedrez, un relleno sólido, un degradado u otra imagen. Una exportación transparente almacena la máscara como alfa en lugar de pintar el tablero de ajedrez en el archivo.
Los valores blandos importan. Si cada valor de máscara se forzara inmediatamente a blanco o negro puro, el cabello, el pelaje, las fibras de la tela, el desenfoque de movimiento y los bordes desenfocados se volverían anormalmente duros. El alfa parcial puede preservar una transición más suave. También puede exponer franjas de color del fondo antiguo, por lo que el resultado aún merece una comprobación visual.
¿Qué evidencia visual ayuda al modelo?
Un modelo de segmentación puede aprovechar más de una pista a la vez. Las pistas fuertes a menudo incluyen:
- contraste entre sujeto y fondo;
- límites continuos alrededor de un objeto dominante;
- combinaciones familiares de forma, textura y posición;
- señales de profundidad como diferencias de enfoque;
- regiones que visualmente van juntas.
Ninguna de estas pistas es una garantía. Una chaqueta oscura contra una pared oscura ofrece un contraste de límites débil. Una silla con espacios estrechos puede contener regiones de fondo que se parecen al objeto. Un fondo estampado puede competir con el tema real por la atención.
El modelo realiza una mejor estimación a partir de los píxeles disponibles. No puede recuperar detalles que la imagen nunca capturó.
Lo que el modelo no sabe
El modelo no sabe automáticamente qué objeto desea conservar cuando hay varios sujetos presentes. No sabe que un vaso transparente tiene importancia comercial, que una sombra debe permanecer para darle realismo o que una pequeña correa pertenece a un bolso.
Tampoco recibe una versión oculta de alta resolución de una fuente borrosa. Los bloques de compresión, las luces recortadas, el desenfoque de movimiento y los detalles muy pequeños limitan la evidencia disponible. Aumentar el zoom de vista previa hace que los píxeles sean más grandes en la pantalla; no crea información faltante.
Es por eso que “la IA lo detectó” y “el borde está listo para publicar” son afirmaciones diferentes. La detección inicia la edición. La revisión lo termina.
Por qué los detalles finos y transparentes son difíciles
Los objetos delgados ocupan pocos píxeles. Cuando se cambia el tamaño de una imagen para realizar inferencias, se puede promediar un cable de un píxel o un mechón de cabello con el fondo que lo rodea. Los objetos transparentes son difíciles por otra razón: su color visible es en parte el fondo antiguo. El límite puede ser claro para una persona que entiende el objeto, mientras que el patrón de píxeles sigue siendo ambiguo.
Las sombras suaves crean una ambigüedad intencional. Su borde exterior se desvanece gradualmente y no existe un único límite objetivamente correcto. Mantener la sombra completa puede parecer natural en un fondo similar, pero sucio en un relleno nuevo y brillante. Quitarlo puede hacer que el sujeto parezca flotar.
Estos son tanto problemas de juicio como problemas de modelos.
Máscara de modelo, máscara de trabajo y máscara de exportación
Ayuda a separar tres etapas:
- Máscara de modelo: la estimación automática devuelta por inferencia.
- Máscara de trabajo: la máscara que se muestra en el editor después de cualquier refinamiento Agregar o Borrar.
- Máscara de exportación: la máscara de trabajo que se aplica cuando se descarga o copia el resultado actual.
En Easy Background Remover, el refinamiento del pincel edita la máscara de trabajo. Exportar utiliza el resultado editado actual en lugar de regresar silenciosamente a la máscara automática intacta. Esto permite que el modelo maneje la separación amplia mientras usted corrige los detalles que dependen de la intención.
La vista previa mostrada se puede escalar para ajustarse al editor. Ese tamaño de pantalla no es una medida confiable de los detalles internos de la máscara. Lea Resolución de máscara versus tamaño de vista previa para conocer la distinción.
La inferencia local todavía tiene un paso de configuración
La ejecución de un modelo en el dispositivo requiere los pesos del modelo y un tiempo de ejecución de navegador compatible. Los pesos son mucho mayores que el código de interfaz normal, por lo que cargar todo en cada inicio del editor sería un desperdicio. Una primera sesión puede descargar y almacenar en caché el modelo; Las sesiones ordinarias posteriores suelen poder reutilizarlo.
Por qué la primera ejecución descarga un modelo explica ese límite sin confundir la descarga de un recurso de modelo con la carga de una foto. Las inferencias pesadas también se escapan del hilo principal de la interfaz; consulte Conceptos básicos del procesamiento de imágenes de Web Worker.
Una forma práctica de juzgar el resultado.
No inspeccione sólo el centro del sujeto. Compruebe la máscara donde la evidencia es más débil:
- pelo, pieles, bigotes y fibras textiles;
- gafas, correas, alambres y espacios estrechos;
- bordes de bajo contraste;
- material semitransparente;
- sombras de contacto;
- esquinas donde puede permanecer el antiguo color de fondo.
Vea el resultado sobre un fondo claro y oscuro si se desconoce el destino final. Un halo pálido puede desaparecer en blanco y hacerse evidente en negro. Luego refine sólo las áreas que afectan el uso previsto.
La segmentación automática es más útil cuando se trata como un primer paso sólido, no como una declaración de comprensión perfecta. Para probar el flujo de recorte y refinamiento local completo, consulte Comenzar.