Co „vidí“ model výřezu na zařízení

By Technical specialist

Model výřezu na zařízení nevidí osobu, botu, mazlíčka ani židli jako člověk. Dostane číselnou reprezentaci obrazu a pixel po pixelu odhaduje, které oblasti patří hlavnímu objektu. Užitečný výstup je maska — šedá mapa, ze které vznikne alfa kanál výsledku.

Ten rozdíl vysvětluje rychlost automatických výřezů i jejich limity. Model používá vzory z tréninku, ale nezná váš záměr. Ostrý objekt u středu může vypadat důležitě; slabý okraj skla nebo uvolněný pramen vlasů jako pozadí.

Od souboru obrázku k vstupu modelu

Soubor, který vyberete jako první, musí být dekódován. Komprimovaná fotografie není předána přímo do modelu jako blok bajtů souboru. Prohlížeč jej změní na pixely s hodnotami šířky, výšky a barvy.

Inferenční potrubí pak připraví vstup o velikosti modelu. V závislosti na modelu a době běhu může příprava zahrnovat:

• změna velikosti dekódovaného obrázku na rozměry, které model očekává;
• uspořádání červených, zelených a modrých hodnot jako číselných kanálů;
• škálování nebo normalizace těchto hodnot;
• jejich zabalení do tenzoru, formátu pole používaného inferenčním runtime.

Přesné rozměry a pravidla normalizace patří k implementaci modelu. Důležitým praktickým bodem je, že odvození obvykle funguje z připravené reprezentace, ne z každého zdrojového pixelu v jeho původní velikosti.

Easy Background Remover spustí tento kroke zpracování v prohlížeči s modelem segmentace na zařízení. Soubor modelu může být nutné stáhnout před prvním vyříznutím, ale cesta pro zpracování obrazu je navržena tak, aby zůstala místní, jakmile bude model připraven. Stažení modelu je žádost o aktiva; není to totéž jako nahrát vybranou fotografii pro vzdálené vyvození.

Výstupem je maska podobná důvěře

Pro každé místo ve svém výstupu model vytváří hodnotu, kterou lze interpretovat jako více podobnou předmětu nebo pozadí. Je užitečné si to představit jako obrázek ve stupních šedi:

• bílá znamená zachovat tuto oblast;
• černá znamená odstranit tuto oblast;
• šedá znamená částečné pokrytí nebo nejistotu blízko okraje.

Prohlížeč převede tento výstup na funkční masku alfa. Původní barevné pixely pak lze skládat přes šachovnici, plnou výplň, přechod nebo jiný obrázek. Transparentní export ukládá masku jako alfa místo malování šachovnice do souboru.

Měkké hodnoty jsou důležité. Pokud by byla každá hodnota masky okamžitě přinucena k čistě černé nebo bílé, vlasy, srst, vlákna látky, pohybová neostrost a rozostřené okraje by byly nepřirozeně tvrdé. Částečná alfa může zachovat hladší přechod. Dokáže odhalit i barevné třásně ze starého pozadí, proto si výsledek ještě zaslouží vizuální kontrolu.

Jaké vizuální důkazy pomáhají modelu

Segmentační model může čerpat z více než jednoho vodítka najednou. Silná vodítka často zahrnují:

• kontrast mezi předmětem a pozadím;
• souvislé hranice kolem dominantního objektu;
• známé kombinace tvaru, textury a polohy;
• hloubkové narážky, jako jsou rozdíly v ohnisku;
• regiony, které k sobě vizuálně patří.

Žádná z těchto indicií není zárukou. Tmavá bunda proti tmavé stěně nabízí slabý hraniční kontrast. Židle s úzkými mezerami může obsahovat oblasti pozadí, které se podobají objektu. Vzorované pozadí může soutěžit se skutečným předmětem o pozornost.

Model dělá nejlepší odhad z dostupných pixelů. Nemůže obnovit detaily, které snímek nikdy nezachytil.

Co modelka neví

Model automaticky neví, který objekt jste si chtěli ponechat, když je přítomno několik subjektů. Neví, že průhledné nápojové sklo je komerčně důležité, že stín by měl zůstat pro realističnost nebo že malý popruh patří do tašky.

Nepřijímá ani skrytou verzi rozmazaného zdroje ve vysokém rozlišení. Kompresní bloky, oříznutá světla, rozmazání pohybu a velmi malé detaily omezují dostupné důkazy. Zvýšením přiblížení náhledu se pixely na obrazovce zvětší; nevytváří chybějící informace.

To je důvod, proč „AI to detekovala“ a „hrana je připravena k publikování“ jsou různá tvrzení. Detekce zahájí úpravu. Recenze to dokončí.

Proč jsou tenké a průhledné detaily obtížné

Tenké předměty zabírají několik pixelů. Při změně velikosti obrázku pro zpracování lze zprůměrovat jednopixelový drát nebo pramen vlasů s pozadím kolem něj. Průhledné objekty jsou obtížné z jiného důvodu: jejich viditelná barva je částečně staré pozadí. Hranice může být jasné osobě, která rozumí objektu, zatímco vzor pixelů zůstává nejednoznačný.

Měkké stíny vytvářejí záměrnou nejednoznačnost. Jejich vnější okraj postupně mizí a neexistuje jediný objektivně správný cutoff. Zachování úplného stínu může vypadat přirozeně na podobném pozadí, ale špinavé na světlé nové výplni. Při jeho odstranění se může zdát, že objekt plave.

To jsou problémy úsudku stejně jako modelové problémy.

Maska modelu, pracovní maska a exportní maska

Pomáhá oddělit tři fáze:

1. Maska modelu: automatický odhad vrácený odvozením.
2. Pracovní maska: maska ​​zobrazená v editoru po jakékoli úpravě Přidat nebo Vymazat.
3. Exportovat masku: pracovní maska ​​použitá při stahování nebo kopírování aktuálního výsledku.

V Easy Background Remover upravuje upřesnění štětce pracovní masku. Export používá aktuální upravený výsledek namísto tichého návratu k nedotčené automatické masce. To umožňuje modelu zvládnout široké oddělení, zatímco opravujete detaily, které závisí na záměru.

Zobrazený náhled lze upravit tak, aby odpovídal editoru. Tato velikost zobrazení není spolehlivým měřítkem vnitřních detailů masky. Přečtěte si Rozlišení masky vs velikost náhledu.

Místní odvození má stále krok nastavení

Spuštění modelu na zařízení vyžaduje váhy modelu a kompatibilní běhové prostředí prohlížeče. Hmotnosti jsou mnohem větší než běžný kód rozhraní, takže načítání všeho při každém spuštění editoru by bylo plýtvání. První relace může stáhnout a uložit model do mezipaměti; pozdější běžné relace jej mohou obvykle znovu použít.

Proč při prvním spuštění stáhne model vysvětluje tuto hranici, aniž by si stahoval model s nahráním fotografie. Těžké vyvozování také uniká z hlavního vlákna rozhraní; viz Základy zpracování obrázků Web Worker.

Praktický způsob, jak posoudit výsledek

Nekontrolujte pouze střed objektu. Zkontrolujte masku tam, kde jsou důkazy nejslabší:

• vlasy, srst, vousy a textilní vlákna;
• brýle, pásky, dráty a úzké mezery;
• okraje s nízkým kontrastem;
• poloprůhledný materiál;
• kontaktní stíny;
• rohy, kde může zůstat stará barva pozadí.

Pokud cíl neznáme, zobrazte výsledek na světlém i tmavém pozadí. Světlá svatozář může na bílé zmizet a na černé se může stát viditelnou. Poté upřesněte pouze oblasti, které ovlivňují zamýšlené použití.

Automatická segmentace je nejužitečnější, když je považována za silný první průchod, nikoli jako prohlášení o dokonalém porozumění. Chcete-li vyzkoušet úplný postup místního vyříznutí a upřesnění, viz Začínáme.