Mit «lát» az eszközön futó kivágási modell

By Technical specialist

Az eszközön futó modell nem «érti» a fényképet úgy, mint egy ember. Képpontokat lát, és megbecsüli, melyek tartoznak a tárgyhoz. Ezért a kontraszt, az élesség és a méretarány többet számít, mint a tartalom szöveges leírása.

Ha tudja, mit használhat a modell, jobb forrásokat választ, és nem vár csodát láthatatlan éleken.

Képfájltól a modellbemenetig

Az elsőként kiválasztott fájlt dekódolni kell. A tömörített fénykép nem kerül közvetlenül a modellbe fájlbyte-ok blokkjaként. A böngésző képpontokká alakítja szélességi, magassági és színértékekkel.

A következtetési folyamat ezután elkészít egy modell méretű bemenetet. A modelltől és a futási időtől függően az előkészítés a következőket tartalmazhatja:

• a dekódolt kép átméretezése a modell által elvárt méretekre;
• piros, zöld és kék értékek elrendezése numerikus csatornákként;
• ezen értékek skálázása vagy normalizálása;
• Tenzorba csomagolni, a következtetési futási környezet által használt tömbformátumba.

A pontos méretek és normalizálási szabályok a modell megvalósításához tartoznak. A fontos gyakorlati szempont az, hogy a következtetés általában egy előkészített reprezentációból működik, nem pedig minden forrás pixelből az eredeti méretben.

Az Easy Background Remover ezt a következtetési lépést futtatja a böngészőben egy eszközön belüli szegmentációs modellel. Lehet, hogy a modellfájlt le kell tölteni az első kivágás előtt, de a képfeldolgozási útvonalat úgy tervezték, hogy a modell készenléte után helyi maradjon. A modell letöltése eszközkérelem; ez nem ugyanaz, mint a kiválasztott fénykép feltöltése távoli következtetés céljából.

A kimenet egy bizalomszerű maszk

A modell a kimenetében minden egyes helyhez egy értéket állít elő, amely inkább tárgyszerű vagy háttérszerűbbként értelmezhető. Hasznos ezt szürkeárnyalatos képként ábrázolni:

• a fehér azt jelenti, hogy megtartja ezt a területet;
• a fekete azt jelenti, hogy távolítsa el ezt a területet;
• a szürke részleges lefedettséget vagy bizonytalanságot jelent egy él közelében.

A böngésző ezt a kimenetet működő alfamaszkká alakítja. Az eredeti színes pixelek ezután összeállíthatók egy sakktáblán, egy tömör kitöltéssel, egy színátmenettel vagy egy másik képpel. Az átlátszó exportálás a maszkot alfaként tárolja, nem pedig a sakktáblát a fájlba festi.

A puha értékek számítanak. Ha minden maszk értékét azonnal tiszta feketére vagy fehérre kényszerítenék, a haj, a szőrme, a szövetszálak, a mozgás közbeni elmosódás és az elmosódott szélek természetellenesen kemények lennének. A részleges alfa képes megőrizni a simább átmenetet. Színes rojtokat is kitehet a régi háttérből, ezért az eredmény még mindig megérdemel egy szemrevételezést.

Milyen vizuális bizonyítékok segítik a modellt

Egy szegmentációs modell egyszerre több nyomra is támaszkodhat. Az erős nyomok gyakran a következők:

• kontraszt a téma és a háttér között;
• folytonos határok egy domináns objektum körül;
• a forma, a textúra és a pozíció ismerős kombinációi;
• mélységi jelzések, például fókuszkülönbségek;
• vizuálisan összetartozó régiók.

Ezen nyomok egyike sem garancia. Egy sötét kabát a sötét fal mellett gyenge határkontrasztot kínál. A keskeny résekkel rendelkező szék tartalmazhat a tárgyra emlékeztető háttérrégiókat. A mintás háttér versenyezhet a tényleges témával a figyelemért.

A modell a legjobb becslést készíti a rendelkezésre álló pixelekből. Nem tudja visszaállítani azokat a részleteket, amelyeket a kép soha nem rögzített.

Amit a modell nem tud

A modell nem tudja automatikusan, hogy melyik objektumot kívánta megtartani, ha több alany is jelen van. Nem tudja, hogy az átlátszó ivópohár kereskedelmi szempontból fontos, hogy az árnyéknak maradnia kell a valósághűséghez, vagy hogy egy kis szíj egy táskához tartozik.

Nem fogadja el az elmosódott forrás rejtett, nagy felbontású változatát sem. A tömörítési blokkok, a kivágott kiemelések, a mozgásból származó elmosódás és a nagyon apró részletek korlátozzák a rendelkezésre álló bizonyítékokat. Az előnézeti zoom növelésével a képpontok nagyobbak lesznek a képernyőn; nem hoz létre hiányzó információkat.

Ez az oka annak, hogy az „AI észlelte” és az „az él készen áll a közzétételre” különböző állítások. Az észlelés elindítja a szerkesztést. A felülvizsgálat befejezi.

Miért nehezek a vékony és átlátszó részletek?

A vékony tárgyak néhány pixelt foglalnak el. Amikor a képet átméretezi a következtetés érdekében, egy egypixeles vezeték vagy hajszál átlagolható a körülötte lévő háttérrel. Az átlátszó tárgyak más okból is nehezek: látható színük részben a régi háttér. A határ egyértelmű lehet annak a személynek, aki érti az objektumot, míg a pixelmintázat kétértelmű marad.

A lágy árnyékok szándékos kétértelműséget keltenek. Külső élük fokozatosan elhalványul, és nincs egyetlen objektíven helyes levágás. A teljes árnyék megtartása természetesnek tűnhet hasonló háttéren, de piszkosnak tűnik egy fényes új kitöltéssel. Ha eltávolítja, a téma úgy tűnhet, mintha lebegne.

Ezek ugyanúgy ítélkezési problémák, mint modellproblémák.

Modellmaszk, munkamaszk és exportmaszk

Segít a három szakasz elkülönítésében:

1. Modelmaszk: a következtetés útján visszaadott automatikus becslés.
2. Munkamaszk: a szerkesztőben a Hozzáadás vagy Törlés finomítása után megjelenő maszk.
3. Maszk exportálása: az aktuális eredmény letöltése vagy másolása során alkalmazott munkamaszk.

Az Easy Background Remover-ban az ecsetfinomítás szerkeszti a munkamaszkot. Az exportálás az aktuális szerkesztett eredményt használja ahelyett, hogy csendben visszatérne az érintetlen automatikus maszkhoz. Ez lehetővé teszi, hogy a modell kezelje a széles elválasztást, miközben Ön korrigálja a szándéktól függő részleteket.

A megjelenített előnézet méretezhető, hogy illeszkedjen a szerkesztőhöz. Ez a kijelző mérete nem megbízhatóan méri a maszk belső részleteit. Olvassa el a Maszk felbontás és előnézeti méret című részt a megkülönböztetéshez.

A helyi következtetésnek még van egy beállítási lépése

Egy modell eszközön történő futtatásához a modell súlyozására és egy kompatibilis böngésző futtatókörnyezetre van szüksége. A súlyok sokkal nagyobbak, mint a hagyományos interfészkód, így minden szerkesztő indításakor pazarló lenne mindent betölteni. Az első munkamenet letöltheti és gyorsítótárazhatja a modellt; a későbbi szokásos munkamenetek általában újra felhasználhatják.

Miért tölt le először egy modellt elmagyarázza ezt a határt anélkül, hogy összekeverné a modellelemek letöltését a fotófeltöltéssel. A nehéz következtetések a fő interfészszálról is elfutnak; lásd: A Web Worker képfeldolgozási alapjai.

Praktikus módja az eredmény megítélésének

Ne csak a tárgy közepét vizsgálja meg. Ellenőrizze a maszkot ott, ahol a leggyengébb a bizonyíték:

• haj, szőrme, bajusz és szövetszálak;
• szemüvegek, hevederek, vezetékek és szűk rések;
• alacsony kontrasztú élek;
• félig átlátszó anyag;
• érintkezési árnyékok;
• sarkok, ahol a régi háttérszín megmaradhat.

Tekintse meg az eredményt világos és sötét háttéren is, ha a végső cél ismeretlen. A halvány halovány fehéren eltűnhet, feketén pedig nyilvánvalóvá válhat. Ezután csak a tervezett felhasználást befolyásoló területeket finomítsa.

Az automatikus szegmentálás akkor a leghasznosabb, ha erős első lépésként kezeljük, nem pedig a tökéletes megértés nyilatkozataként. A teljes helyi kivágási és finomítási folyamat kipróbálásához tekintse meg a Kezdés részt.