Què «veu» un model de retall al dispositiu
Un model de retall al dispositiu no «veu» una persona, una sabata o una cadira com ho faries tu. Rep una representació numèrica de la imatge i estima, píxel a píxel, quines zones pertanyen al subjecte principal.
Aquesta distinció explica la velocitat dels retalls automàtics i també els seus límits. El model usa patrons apresos a l’entrenament, però no coneix la teva intenció.
Del fitxer d’imatge a l’entrada del model
El fitxer que trieu primer s’ha de descodificar. Una foto comprimida no es passa directament al model com a bloc de bytes de fitxer. El navegador el converteix en píxels amb valors d’amplada, alçada i color.
Aleshores, el pipeline d’inferència prepara una entrada de mida model. Segons el model i el temps d’execució, la preparació pot incloure:
- redimensionar la imatge descodificada a les dimensions que el model espera;
- organitzar valors vermells, verds i blaus com a canals numèrics;
- escalar o normalitzar aquests valors;
- empaquetar-los en un tensor, el format de matriu utilitzat pel temps d’execució d’inferència.
Les dimensions exactes i les regles de normalització pertanyen a la implementació del model. El punt pràctic important és que la inferència normalment funciona a partir d’una representació preparada, no a partir de cada píxel d’origen a la seva mida original.
Easy Background Remover executa aquest pas d’inferència al navegador amb un model de segmentació al dispositiu. És possible que s’hagi de descarregar el fitxer del model abans del primer retall, però la ruta de processament d’imatges està dissenyada per romandre local un cop el model estigui preparat. La descàrrega del model és una sol·licitud d’actiu; no és el mateix que penjar la foto seleccionada per a una processament remot.
La sortida és una màscara semblant a la confiança
Per a cada ubicació de la seva sortida, el model produeix un valor que es pot interpretar com a més semblant a un tema o més a fons. És útil representar-ho com una imatge en escala de grisos:
- blanc significa mantenir aquesta zona;
- negre significa eliminar aquesta zona;
- gris significa cobertura parcial o incertesa prop d’una vora.
El navegador converteix aquesta sortida en la màscara alfa de treball. Els píxels de color originals es poden compondre sobre un tauler d’escacs, un farciment sòlid, un degradat o una altra imatge. Una exportació transparent emmagatzema la màscara com a alfa en lloc de pintar el tauler d’escacs al fitxer.
Els valors suaus importen. Si tots els valors de la màscara fossin obligats immediatament a un blanc o negre pur, els cabells, la pell, les fibres de teixit, el desenfocament de moviment i les vores desenfocades es tornarien anormalment durs. L’alfa parcial pot preservar una transició més suau. També pot exposar serrells de color del fons antic, per això el resultat encara mereix una comprovació visual.
Quina evidència visual ajuda al model
Un model de segmentació pot basar-se en més d’una pista alhora. Les pistes fortes sovint inclouen:
- contrast entre el tema i el fons;
- límits continus al voltant d’un objecte dominant;
- combinacions familiars de forma, textura i posició;
- indicis de profunditat com les diferències de focus;
- regions que visualment pertanyen juntes.
Cap d’aquestes pistes és garantia. Una jaqueta fosca contra una paret fosca ofereix un contrast de límits feble. Una cadira amb espais estrets pot contenir regions de fons que s’assemblen a l’objecte. Un teló de fons estampat pot competir amb el tema real per obtenir atenció.
El model està fent una millor estimació a partir dels píxels disponibles. No es pot recuperar detalls que la imatge no ha captat mai.
El que el model no sap
El model no sap automàticament quin objecte volies mantenir quan hi ha diversos subjectes presents. No sap que un got transparent és comercialment important, que una ombra ha de quedar-se per realisme o que una petita corretja pertany a una bossa.
Tampoc rep una versió oculta d’alta resolució d’una font borrosa. Els blocs de compressió, els punts destacats retallats, el desenfocament del moviment i els detalls molt petits limiten l’evidència disponible. Augmentar el zoom de la vista prèvia fa que els píxels siguin més grans a la pantalla; no crea informació que falti.
És per això que “la IA ho va detectar” i “la vora està llesta per publicar” són afirmacions diferents. La detecció comença l’edició. La revisió l’acaba.
Per què els detalls prims i transparents són difícils
Els objectes prims ocupen pocs píxels. Quan es canvia la mida d’una imatge per inferència, es pot fer una mitjana d’un fil d’un píxel o un fil de cabell amb el fons que l’envolta. Els objectes transparents són difícils per un altre motiu: el seu color visible és en part el fons antic. El límit pot ser clar per a una persona que entén l’objecte, mentre que el patró de píxels segueix sent ambigu.
Les ombres suaus creen una ambigüitat intencionada. La seva vora exterior s’esvaeix gradualment i no hi ha cap tall únic objectivament correcte. Mantenir l’ombra completa pot semblar natural en un fons similar, però brut amb un farciment nou i brillant. Eliminar-lo pot fer que el subjecte sembli flotant.
Aquests són problemes de judici tant com problemes de model.
Model de màscara, màscara de treball i màscara d’exportació
Ajuda a separar tres etapes:
- Màscara de model: l’estimació automàtica retornada per inferència.
- Màscara de treball: la màscara que es mostra a l’editor després de qualsevol refinament d’Afegir o Esborrar.
- Màscara d’exportació: la màscara de treball aplicada quan es baixa o copia el resultat actual.
A Easy Background Remover, el refinament del pinzell edita la màscara de treball. L’exportació utilitza el resultat editat actual en lloc de tornar silenciosament a la màscara automàtica sense tocar. Això permet al model gestionar l’àmplia separació mentre corregeix detalls que depenen de la intenció.
La vista prèvia que es mostra es pot escalar per adaptar-se a l’editor. Aquesta mida de la pantalla no és una mesura fiable del detall intern de la màscara. Llegiu Resolució de la màscara vs mida de la vista prèvia per obtenir la distinció.
La inferència local encara té un pas de configuració
L’execució d’un model al dispositiu requereix els pesos del model i un temps d’execució del navegador compatible. Els pesos són molt més grans que el codi d’interfície normal, de manera que carregar-ho tot en cada llançament d’editor seria un malbaratament. Una primera sessió pot descarregar i emmagatzemar el model a la memòria cau; les sessions ordinàries posteriors solen reutilitzar-lo.
Per què la primera execució baixa un model explica aquest límit sense confondre una baixada d’actius de model amb una càrrega de fotos. La inferència pesada també s’escapa del fil de la interfície principal; vegeu Funcions bàsiques del processament d’imatges de Web Worker.
Una manera pràctica de jutjar el resultat
No inspeccioneu només el centre del tema. Comproveu la màscara on les proves són més febles:
- cabell, pell, bigotis i fibres de teixit;
- ulleres, corretges, cables i buits estrets;
- vores de baix contrast;
- material semitransparent;
- ombres de contacte;
- cantonades on pot romandre el color de fons antic.
Visualitza el resultat tant sobre un fons clar com fosc si es desconeix la destinació final. Un halo pàl·lid pot desaparèixer en blanc i esdevenir evident en negre. A continuació, refina només les àrees que afecten l’ús previst.
La segmentació automàtica és més útil quan es tracta com una primera passada forta, no com una declaració de perfecta comprensió. Per provar el flux de retall i perfeccionament local complet, vegeu Comença.