Čo „vidí“ model výrezu v zariadení

By Technical specialist

Model výrezu v zariadení nevidí osobu, topánku, zviera ani stoličku v ľudskom zmysle. Dostane číselnú reprezentáciu obrázka a pixel po pixeli odhaduje, ktoré oblasti pravdepodobne patria hlavnému subjektu. Užitočný výstup je maska: mapka v odtieňoch sivej, ktorá sa môže stať kanálom priehľadnosti výsledku.

Tento rozdiel vysvetľuje rýchlosť automatických výrezov aj ich limity. Model môže použiť vizuálne vzorce z tréningu, ale nepozná váš zámer. Ostrý objekt pri strede môže vyzerať dôležito; slabý okraj skla alebo voľný vlas môže vyzerať ako pozadie.

Od súboru obrázka po vstup modelu

Súbor, ktorý vyberiete ako prvý, musí byť dekódovaný. Komprimovaná fotografia sa neprenáša priamo do modelu ako blok bajtov súboru. Prehliadač ho premení na pixely s hodnotami šírky, výšky a farby.

Inferenčný kanál potom pripraví vstup veľkosti modelu. V závislosti od modelu a doby spustenia môže príprava zahŕňať:

• zmena veľkosti dekódovaného obrázku na rozmery, ktoré model očakáva;
• usporiadanie červených, zelených a modrých hodnôt ako číselných kanálov;
• škálovanie alebo normalizácia týchto hodnôt;
• ich zabalenie do tenzora, formátu poľa používaného inferenčným runtime.

Presné rozmery a pravidlá normalizácie patria k implementácii modelu. Dôležitým praktickým bodom je, že odvodenie zvyčajne funguje z pripravenej reprezentácie, nie z každého zdrojového pixelu v jeho pôvodnej veľkosti.

Easy Background Remover spustí tento inferenčný krok v prehliadači s modelom segmentácie na zariadení. Možno bude potrebné stiahnuť súbor modelu pred prvým vystrihnutím, ale cesta na spracovanie obrazu je navrhnutá tak, aby zostala lokálna, keď bude model pripravený. Stiahnutie modelu je žiadosť o aktívum; nie je to to isté ako odovzdanie vybranej fotografie na vzdialené spracovanie.

Výstupom je maska ​​podobná sebadôvere

Pre každé miesto vo svojom výstupe model vytvára hodnotu, ktorú možno interpretovať ako viac podobnú subjektu alebo ako pozadie. Je užitočné predstaviť si to ako obrázok v odtieňoch sivej:

• biela znamená zachovať túto oblasť;
• čierna znamená odstrániť túto oblasť;
• šedá znamená čiastočné pokrytie alebo neistotu blízko okraja.

Prehliadač skonvertuje tento výstup na funkčnú masku alfa. Pôvodné farebné pixely potom možno zložiť cez šachovnicu, plnú výplň, prechod alebo iný obrázok. Transparentný export ukladá masku ako alfa namiesto maľovania šachovnice do súboru.

Na mäkkých hodnotách záleží. Ak by sa každá hodnota masky okamžite zmenila na čisto čiernu alebo bielu, vlasy, kožušina, vlákna látky, pohybová neostrosť a rozostrené okraje by sa stali neprirodzene tvrdými. Čiastočná alfa môže zachovať plynulejší prechod. Dokáže odhaliť aj farebné strapce zo starého pozadia, a preto si výsledok ešte zaslúži vizuálnu kontrolu.

Aké vizuálne dôkazy pomáhajú modelu

Segmentačný model môže čerpať z viac ako jedného kľúča naraz. Silné stopy často zahŕňajú:

• kontrast medzi objektom a pozadím;
• súvislé hranice okolo dominantného objektu;
• známe kombinácie tvaru, štruktúry a polohy;
• hĺbkové narážky, ako sú rozdiely v zaostrení;
• regióny, ktoré k sebe vizuálne patria.

Žiadna z týchto indícií nie je zárukou. Tmavé sako oproti tmavej stene ponúka slabý hraničný kontrast. Stolička s úzkymi medzerami môže obsahovať oblasti pozadia, ktoré pripomínajú predmet. Vzorované pozadie môže súťažiť so skutočným objektom o pozornosť.

Model robí najlepší odhad z dostupných pixelov. Nedokáže obnoviť detaily, ktoré obrázok nikdy nezachytil.

Čo modelka nevie

Model automaticky nevie, ktorý objekt ste si chceli ponechať, keď je prítomných niekoľko subjektov. Nevie, že priehľadné nápojové sklo je komerčne dôležité, že tieň by mal zostať pre realizmus, alebo že malý popruh patrí do tašky.

Neprijíma ani skrytú verziu rozmazaného zdroja vo vysokom rozlíšení. Kompresné bloky, orezané zvýraznenia, rozmazanie pohybu a veľmi malé detaily obmedzujú dostupné dôkazy. Zvýšením priblíženia náhľadu sa zväčšia pixely na obrazovke; nevytvára chýbajúce informácie.

To je dôvod, prečo „AI to zistila“ a „hrana je pripravená na zverejnenie“ sú odlišné tvrdenia. Detekcia spustí úpravu. Recenzia to dokončí.

Prečo sú tenké a priehľadné detaily ťažké

Tenké predmety zaberajú niekoľko pixelov. Keď sa veľkosť obrázka zmení na odvodenie, jednopixelový drôt alebo prameň vlasov sa môže spriemerovať s pozadím okolo neho. Priehľadné objekty sú náročné aj z iného dôvodu: ich viditeľná farba je čiastočne staré pozadie. Hranica môže byť jasná pre osobu, ktorá rozumie objektu, zatiaľ čo vzor pixelov zostáva nejednoznačný.

Mäkké tiene vytvárajú zámernú nejednoznačnosť. Ich vonkajší okraj postupne mizne a neexistuje jediná objektívne správna hranica. Ponechanie úplného tieňa môže vyzerať prirodzene na podobnom pozadí, ale špinavé na jasnej novej výplni. Ak ho odstránite, objekt sa môže zdať, že sa vznáša.

Sú to problémy úsudku rovnako ako modelové problémy.

Modelová maska, pracovná maska a exportná maska

Pomáha oddeliť tri fázy:

1. Maska modelu: automatický odhad vrátený odvodením.
2. Pracovná maska: maska ​​zobrazená v editore po úprave Pridať alebo Vymazať.
3. Export mask: pracovná maska ​​použitá pri sťahovaní alebo kopírovaní aktuálneho výsledku.

V Easy Background Remover upravuje spresnenie štetca pracovnú masku. Export používa aktuálny upravený výsledok namiesto tichého návratu k nedotknutej automatickej maske. To umožňuje modelu zvládnuť široké oddelenie, zatiaľ čo opravujete detaily, ktoré závisia od zámeru.

Zobrazený náhľad môže byť upravený tak, aby vyhovoval editoru. Táto veľkosť displeja nie je spoľahlivým meradlom vnútorných detailov masky. Rozdiel nájdete v časti Rozlíšenie masky vs. veľkosť ukážky.

Miestna inferencia má stále krok nastavenia

Spustenie modelu na zariadení vyžaduje váhy modelov a kompatibilné prostredie prehliadača. Váhy sú oveľa väčšie ako bežný kód rozhrania, takže načítanie všetkého pri každom spustení editora by bolo zbytočné. Prvá relácia môže stiahnuť a uložiť model do vyrovnávacej pamäte; neskoršie bežné sedenia ho môžu zvyčajne znova použiť.

Prečo prvé spustenie stiahne model vysvetľuje túto hranicu bez toho, aby si pomýlil sťahovanie podkladu modelu s nahraním fotografie. Ťažká inferencia tiež uteká z hlavného vlákna rozhrania; pozrite si Základy spracovania obrázkov Web Worker.

Praktický spôsob, ako posúdiť výsledok

Nekontrolujte iba stred objektu. Skontrolujte masku tam, kde sú dôkazy najslabšie:

• vlasy, kožušina, fúzy a vlákna látok;
• okuliare, remienky, drôty a úzke medzery;
• okraje s nízkym kontrastom;
• polopriehľadný materiál;
• kontaktné tiene;
• rohy, kde môže zostať stará farba pozadia.

Ak nie je známy konečný cieľ, pozrite si výsledok na svetlom aj tmavom pozadí. Bledá svätožiara môže zmiznúť na bielej a stať sa viditeľnou na čiernej. Potom upravte iba oblasti, ktoré ovplyvňujú zamýšľané použitie.

Automatická segmentácia je najužitočnejšia, keď sa považuje za silný prvý prechod, nie ako vyhlásenie o dokonalom porozumení. Ak chcete vyskúšať úplný postup lokálneho vystrihnutia a spresnenia, pozrite si časť Začíname.