Chì vede un mudellu di cutout in u dispositivu
Un mudellu di cutout in u dispusitivu ùn vede micca una persona, scarpa, animali o sedia in u sensu umanu. Riceve una rapprisintazioni numerica di l’imaghjini è stime, pixel per pixel, quali spazii sò prubabilmente appartene à u sughjettu principale. U so output utile hè una maschera: una mappa in scala di grisa chì pò diventà u canali di trasparenza di u risultatu.
Questa distinzione spiega a velocità di i cutout automatici è i so limiti. U mudellu pò utilizà mudelli visuali amparati durante a furmazione, ma ùn cunnosci micca a vostra intenzione. Un ughjettu sharp vicinu à u centru pò esse impurtante; un lignu di vetru debbuli o un filu di capelli sciolti pò s’assumiglia à u fondu.
Da u schedariu d’imaghjini à l’input di mudellu
U schedariu chì sceglite prima deve esse decoded. Una foto compressa ùn hè micca passata direttamente in u mudellu cum’è un bloccu di bytes di file. U navigatore si trasforma in pixel cù valori di larghezza, altezza è culore.
U pipeline di inferenza allora prepara un input di dimensione di mudellu. Sicondu u mudellu è u runtime, a preparazione pò include:
- ridimensionà l’imaghjini decodificati à e dimensioni chì u mudellu aspetta;
- organizà i valori rossi, verdi è blu cum’è canali numerichi;
- scala o nurmalizà quelli valori;
- impacchenduli in un tensor, u furmatu di array utilizatu da u runtime di inferenza.
E dimensioni precise è e regule di normalizazione appartenenu à l’implementazione di u mudellu. L’impurtante puntu praticu hè chì l’inferenza generalmente funziona da una rapprisintazioni preparata, micca da ogni pixel fonte à a so dimensione originale.
Easy Background Remover esegue stu passu di inferenza in u navigatore cù un mudellu di segmentazione in u dispositivu. U schedariu di mudellu pò esse telecaricatu prima di u primu cutout, ma u percorsu di trasfurmazioni di l’imaghjini hè pensatu per stà locale quandu u mudellu hè prestu. U mudellu di scaricamentu hè una dumanda di attivu; ùn hè micca listessa cosa chì carica a foto selezziunata per inferenza remota.
L’output hè una maschera di fiducia
Per ogni locu in u so output, u mudellu pruduce un valore chì pò esse interpretatu cum’è più sughjetti o più sfondate. Hè utile per imagine questu cum’è una maghjina in scala di grisgiu:
- biancu significa mantene sta zona;
- neru significa caccià sta zona;
- grisgiu significa una cobertura parziale o incertezza vicinu à un bordu.
U navigatore converte quella output in a maschera alfa di travagliu. I pixelli di u culore originale ponu esse cumposti nantu à una scacchiera, un pienu solidu, un gradiente, o una altra maghjina. Una esportazione trasparente guarda a maschera cum’è alfa invece di dipinge a scacchiera in u schedariu.
I valori dolci importanu. Se ogni valore di maschere era furzatu immediatamente à puri neri o bianchi, capelli, pelliccia, fibre di tela, sfocatura di muvimentu è bordi sfocati diventeranu innaturalmente duru. L’alfa parziale pò priservà una transizione più liscia. Puderà ancu espunà a frangia di culore da u vechju sfondate, per quessa chì u risultatu meriteghja sempre un cuntrollu visuale.
Chì evidenza visuale aiuta u mudellu
Un mudellu di segmentazione pò piglià più di una pista à una volta. Indici forti spessu includenu:
- cuntrastu trà u sughjettu è u fondu;
- cunfini continui intornu à un ogettu dominante;
- cumminazzioni familiari di forma, struttura è pusizioni;
- segni di prufundità cum’è e differenze di focus;
- regioni chì visualmente appartenenu inseme.
Nisuna di sti indizi hè una garanzia. Una giacca scura contr’à un muru scuru offre un cuntrastu debule di cunfini. Una sedia cù spazii stretti pò cuntene regioni di fondu chì s’assumiglia à l’ughjettu. Un sfondate modelatu pò cumpete cù u sughjettu propiu per l’attenzione.
U mudellu face una stima megliu da i pixel dispunibuli. Ùn pò micca ricuperà i dettagli chì l’imaghjini ùn anu mai captu.
Ciò chì u mudellu ùn cunnosci micca
U mudellu ùn sapi micca automaticamente quale ughjettu vo vulete mantene quandu parechji sughjetti sò prisenti. Ùn sà micca chì un biccheri trasparenti hè cummerciale impurtante, chì una ombra deve stà per u realismu, o chì una piccula cinturina appartene à un saccu.
Ùn riceve ancu una versione nascosta d’alta risoluzione di una fonte sfocata. I blocchi di cumpressione, i punti culminanti ritagliati, u motion blur, è assai picculi dettagli limitanu l’evidenza dispunibule. Aumentà u zoom di vista previa rende pixel più grande nantu à u screnu; ùn crea micca infurmazione mancante.
Hè per quessa chì “l’AI hà rilevatu” è “u bordu hè prontu à publicà” sò rivendicazioni diverse. A rilevazione principia l’editazione. A rivista finisci.
Perchè i dettagli sottili è trasparenti sò difficili
L’uggetti sottili occupanu pochi pixel. Quandu una maghjina hè ridimensionata per inferenza, un filu di un pixel o un filu di capelli pò esse mediu cù u fondu intornu. L’uggetti trasparenti sò difficiuli per un altru mutivu: u so culore visibile hè in parte u vechju fondu. U cunfini pò esse chjaru per una persona chì capisce l’ughjettu, mentri u mudellu di pixel resta ambiguu.
L’ombre morbide creanu una ambiguità intenzionale. U so bordu esterno svanisce gradualmente, è ùn ci hè micca un cutoff unicu oggettivamente currettu. Mantene l’ombra piena pò esse naturali nantu à un fondo simili, ma bruttu nantu à un novu pienu luminoso. L’eliminazione pò fà chì u sughjettu pare fluttu.
Quessi sò prublemi di ghjudiziu quant’è prublemi di mudellu.
Maschera mudellu, maschera di travagliu è maschera d’esportazione
Aiuta à separà trè fasi:
- Mascara di mudellu: l’estimazione automatica restituita da inferenza.
- **Mascara di travagliu: ** a maschera mostrata in l’editore dopu à ogni raffinamentu Add or Erase.
- Export mask: a maschera di travagliu applicata quandu u risultatu attuale hè scaricatu o copiatu.
In Easy Background Remover, u raffinamentu di u pennello edita a maschera di travagliu. L’esportazione usa u risultatu editatu attuale invece di vultà in silenziu à a maschera automatica senza toccu. Questu permette à u mudellu di gestisce a larga separazione mentre corrette i dettagli chì dependenu di l’intenzione.
L’anteprima affissata pò esse scalata per adattà à l’editore. Questa dimensione di visualizazione ùn hè micca una misura affidabile di u dettagliu internu di a maschera. Leghjite Risoluzione di maschera vs dimensione di vista previa per a distinzione.
L’inferenza locale hà sempre un passu di stallazione
L’esecuzione di un mudellu in u dispositivu richiede i pesi di u mudellu è un runtime di navigatore compatible. I pesi sò assai più grande ch’è u codice di l’interfaccia ordinariu, cusì caricate tuttu nantu à ogni lanciamentu di l’editore seria un perdu. Una prima sessione pò scaricà è cache u mudellu; e sessioni ordinarie più tardi ponu generalmente riutilizà.
Perchè a prima esecuzione scarica un mudellu spiega quellu cunfini senza cunfundà un scaricamentu di l’asset di mudellu cù una carica di foto. Inferenza pesante scappa ancu da u filu di l’interfaccia principale; vede Fundamenti di trattamentu di l’imaghjini Web Worker.
Un modu praticu per ghjudicà u risultatu
Ùn inspeccione micca solu u centru di u sughjettu. Verificate a maschera induve l’evidenza hè più debule:
- capelli, pelliccia, baffi è fibre di tela;
- occhiali, cinturini, fili, è spazii stretti;
- bordi à pocu cuntrastu;
- materiale semi-trasparente;
- ombre di cuntattu;
- anguli induve u vechju culore di fondo pò stà.
Vede u risultatu nantu à un fondu chjaru è scuru se a destinazione finale hè scunnisciuta. Un halo pallidu pò sparisce nantu à u biancu è diventate evidenti nantu à u neru. Allora raffinate solu i spazii chì affettanu l’usu previstu.
A segmentazione automatica hè più utile quandu trattata cum’è un primu passu forte, micca una dichjarazione di perfetta comprensione. Per pruvà u flussu di cutout locale cumpletu è di raffinamentu, vede Inizià.