Cosa «vede» un modello di ritaglio sul dispositivo
Un modello sul dispositivo non «capisce» la tua foto come una persona. Vede pixel e stima quali appartengono al soggetto. Per questo contrasto, nitidezza e scala influenzano il risultato più di una descrizione testuale del contenuto.
Sapere cosa il modello può usare ti aiuta a scegliere sorgenti migliori e a non aspettarti magie su bordi invisibili.
Dal file immagine all’input del modello
Il file scelto per primo deve essere decodificato. Una foto compressa non viene passata direttamente al modello come blocco di byte di file. Il browser lo trasforma in pixel con valori di larghezza, altezza e colore.
La pipeline di inferenza prepara quindi un input delle dimensioni del modello. A seconda del modello e del runtime, la preparazione può includere:
- ridimensionare l’immagine decodificata alle dimensioni previste dal modello;
- organizzare i valori rosso, verde e blu come canali numerici;
- ridimensionare o normalizzare tali valori;
- impacchettandoli in un tensore, il formato array utilizzato dal runtime di inferenza.
Le dimensioni esatte e le regole di normalizzazione appartengono all’implementazione del modello. Il punto pratico importante è che l’inferenza di solito funziona da una rappresentazione preparata, non da ogni pixel sorgente nella sua dimensione originale.
Easy Background Remover esegue questo passaggio di inferenza nel browser con un modello di segmentazione sul dispositivo. Potrebbe essere necessario scaricare il file del modello prima del primo ritaglio, ma il percorso di elaborazione delle immagini è progettato per rimanere locale una volta che il modello è pronto. Il download del modello è una richiesta di asset; non è la stessa cosa che caricare la foto selezionata per l’inferenza remota.
L’output è una maschera di sicurezza
Per ogni posizione nel suo output, il modello produce un valore che può essere interpretato più come un soggetto o più come uno sfondo. È utile immaginarlo come un’immagine in scala di grigi:
- bianco significa mantenere quest’area;
- nero significa rimuovere quest’area;
- grigio significa copertura parziale o incertezza in prossimità di un bordo.
Il browser converte l’output nella maschera alfa funzionante. I pixel di colore originali possono quindi essere composti su una scacchiera, un riempimento solido, una sfumatura o un’altra immagine. Un’esportazione trasparente memorizza la maschera come alfa anziché dipingere la scacchiera nel file.
I valori soft contano. Se ogni valore della maschera fosse costretto immediatamente al bianco o al nero puro, i capelli, la pelliccia, le fibre del tessuto, il motion blur e i bordi sfocati diventerebbero innaturalmente duri. L’alfa parziale può preservare una transizione più fluida. Può anche esporre le frange di colore del vecchio sfondo, motivo per cui il risultato merita comunque un controllo visivo.
Quali prove visive aiutano il modello
Un modello di segmentazione può basarsi su più di un indizio contemporaneamente. Gli indizi forti spesso includono:
- contrasto tra soggetto e sfondo;
- confini continui attorno ad un oggetto dominante;
- combinazioni familiari di forma, consistenza e posizione;
- segnali di profondità come differenze di messa a fuoco;
- regioni che visivamente appartengono insieme.
Nessuno di questi indizi è una garanzia. Una giacca scura contro un muro scuro offre un debole contrasto di confine. Una sedia con spazi stretti può contenere regioni di sfondo che assomigliano all’oggetto. Uno sfondo con motivi può competere con il soggetto reale per attirare l’attenzione.
Il modello sta effettuando la stima migliore in base ai pixel disponibili. Non è possibile recuperare i dettagli che l’immagine non ha mai catturato.
Ciò che il modello non sa
Il modello non riconosce automaticamente quale oggetto si intendeva conservare quando sono presenti più soggetti. Non sa che un bicchiere trasparente è importante dal punto di vista commerciale, che un’ombra dovrebbe restare per realismo o che una piccola tracolla appartiene a una borsa.
Inoltre, non riceve una versione nascosta ad alta risoluzione di una fonte sfocata. Blocchi di compressione, luci ritagliate, motion blur e dettagli molto piccoli limitano le prove disponibili. L’aumento dello zoom dell’anteprima rende i pixel più grandi sullo schermo; non crea informazioni mancanti.
Questo è il motivo per cui “l’intelligenza artificiale lo ha rilevato” e “l’edge è pronto per la pubblicazione” sono affermazioni diverse. Il rilevamento avvia la modifica. La revisione lo conclude.
Perché i dettagli sottili e trasparenti sono difficili
Gli oggetti sottili occupano pochi pixel. Quando un’immagine viene ridimensionata per deduzione, è possibile calcolare la media di un filo o di una ciocca di capelli di un pixel con lo sfondo attorno ad esso. Gli oggetti trasparenti sono difficili anche per un altro motivo: il loro colore visibile è in parte il vecchio sfondo. Il confine può essere chiaro a una persona che comprende l’oggetto, mentre la struttura dei pixel rimane ambigua.
Le ombre morbide creano un’ambiguità intenzionale. Il loro bordo esterno sfuma gradualmente e non esiste un unico limite oggettivamente corretto. Mantenere l’ombra completa può sembrare naturale su uno sfondo simile ma sporco su un nuovo riempimento luminoso. Rimuovendolo il soggetto potrebbe sembrare fluttuante.
Questi sono problemi di giudizio tanto quanto problemi di modello.
Maschera del modello, maschera di lavoro e maschera di esportazione
Aiuta a separare tre fasi:
- Maschera del modello: la stima automatica restituita per inferenza.
- Maschera di lavoro: la maschera mostrata nell’editor dopo qualsiasi perfezionamento Aggiungi o Cancella.
- Maschera di esportazione: la maschera di lavoro applicata quando il risultato corrente viene scaricato o copiato.
In Easy Background Remover, il perfezionamento del pennello modifica la maschera di lavoro. L’esportazione utilizza il risultato modificato corrente anziché tornare silenziosamente alla maschera automatica intatta. Ciò consente al modello di gestire l’ampia separazione mentre tu correggi i dettagli che dipendono dall’intento.
L’anteprima visualizzata può essere ridimensionata per adattarsi all’editor. La dimensione del display non è una misura affidabile dei dettagli interni della maschera. Leggi Risoluzione della maschera e dimensione dell’anteprima per la distinzione.
L’inferenza locale prevede ancora un passaggio di configurazione
L’esecuzione di un modello sul dispositivo richiede i pesi del modello e un runtime del browser compatibile. I pesi sono molto più grandi del normale codice di interfaccia, quindi caricare tutto ad ogni lancio dell’editor sarebbe uno spreco. Una prima sessione può scaricare e memorizzare nella cache il modello; le sessioni ordinarie successive di solito possono riutilizzarlo.
Perché alla prima esecuzione viene scaricato un modello spiega questo limite senza confondere il download di una risorsa modello con il caricamento di una foto. Anche l’inferenza pesante si allontana dal thread dell’interfaccia principale; vedere Nozioni di base sull’elaborazione delle immagini di Web Worker.
Un modo pratico per giudicare il risultato
Non ispezionare solo il centro del soggetto. Controlla la maschera dove le prove sono più deboli:
- capelli, pelliccia, baffi e fibre di tessuto;
- occhiali, cinturini, fili e spazi stretti;
- bordi a basso contrasto;
- materiale semitrasparente;
- ombre di contatto;
- angoli dove potrebbe rimanere il vecchio colore di sfondo.
Visualizza il risultato sia su uno sfondo chiaro che su uno sfondo scuro se la destinazione finale è sconosciuta. Un alone pallido può scomparire sul bianco e diventare evidente sul nero. Quindi perfezionare solo le aree che interessano la destinazione d’uso.
La segmentazione automatica è molto utile se trattata come un primo passaggio efficace, non come una dichiarazione di perfetta comprensione. Per provare il flusso completo di ritaglio e perfezionamento locale, vedere Inizia.