Što «vidi» model izreza na uređaju

By Technical specialist

Model na uređaju ne «razumije» fotografiju kao osoba. Vidi piksele i procjenjuje koji pripadaju subjektu. Zato kontrast, oštrina i skala utječu više od tekstualnog opisa sadržaja.

Znati što model može koristiti pomaže birati bolje izvore i ne očekivati čuda na nevidljivim rubovima.

Od datoteke slike do unosa modela

Datoteka koju prvo odaberete mora se dekodirati. Komprimirana fotografija ne prosljeđuje se izravno u model kao blok bajtova datoteke. Preglednik ga pretvara u piksele s vrijednostima širine, visine i boje.

Cjevovod zaključivanja zatim priprema ulaz veličine modela. Ovisno o modelu i vremenu rada, priprema može uključivati:

• mijenjanje veličine dekodirane slike na dimenzije koje model očekuje;
• raspoređivanje crvenih, zelenih i plavih vrijednosti kao numeričkih kanala;
• skaliranje ili normaliziranje tih vrijednosti;
• njihovo pakiranje u tenzor, format polja koji koristi vrijeme izvođenja zaključaka.

Točne dimenzije i pravila normalizacije pripadaju implementaciji modela. Važna praktična točka je da zaključivanje obično radi iz pripremljenog prikaza, a ne iz svakog izvornog piksela u njegovoj izvornoj veličini.

Easy Background Remover pokreće ovaj korak zaključivanja u pregledniku s modelom segmentacije na uređaju. Datoteku modela će možda trebati preuzeti prije prvog izrezivanja, ali je put obrade slike dizajniran da ostane lokalan nakon što model bude spreman. Preuzimanje modela je zahtjev za imovinom; to nije isto što i učitavanje odabrane fotografije za daljinsko zaključivanje.

Rezultat je maska nalik povjerenju

Za svaku lokaciju u svom izlazu, model proizvodi vrijednost koja se može protumačiti kao više slična predmetu ili pozadini. Korisno je zamisliti ovo kao sliku u sivim tonovima:

• bijelo znači čuvati ovo područje;
• crno znači uklanjanje ovog područja;
• siva označava djelomičnu pokrivenost ili nesigurnost u blizini ruba.

Preglednik taj izlaz pretvara u radnu alfa masku. Izvorni pikseli u boji mogu se zatim sastaviti preko šahovnice, pune ispune, gradijenta ili druge slike. Transparentni izvoz pohranjuje masku kao alfa umjesto slikanja šahovnice u datoteku.

Meke vrijednosti su važne. Kad bi se svaka vrijednost maske odmah postavila na čisto crnu ili bijelu, kosa, krzno, vlakna tkanine, zamućenje kretanja i defokusirani rubovi postali bi neprirodno tvrdi. Djelomična alfa može sačuvati glatkiji prijelaz. Također može otkriti rubove u boji sa stare pozadine, zbog čega rezultat ipak zaslužuje vizualnu provjeru.

Koji vizualni dokaz pomaže modelu

Model segmentacije može se oslanjati na više od jednog traga odjednom. Jaki tragovi često uključuju:

• kontrast između subjekta i pozadine;
• kontinuirane granice oko dominantnog objekta;
• poznate kombinacije oblika, teksture i položaja;
• znakovi dubine kao što su razlike u fokusu;
• regije koje vizualno pripadaju jedna drugoj.

Nijedan od ovih tragova nije jamstvo. Tamna jakna naspram tamnog zida nudi slab granični kontrast. Stolica s uskim prazninama može sadržavati pozadinska područja koja nalikuju objektu. Pozadina s uzorkom može se natjecati sa stvarnim subjektom za pozornost.

Model radi najbolju procjenu na temelju dostupnih piksela. Ne može vratiti detalje koje slika nikada nije uhvatila.

Ono što model ne zna

Model ne zna automatski koji ste objekt namjeravali zadržati kada je prisutno nekoliko subjekata. Ne zna da je prozirna čaša komercijalno važna, da treba ostati sjena radi realizma, ili da mali remen pripada torbi.

Također ne prima skrivenu verziju mutnog izvora visoke razlučivosti. Blokovi kompresije, izrezani istaknuti dijelovi, zamućenje pokreta i vrlo mali detalji ograničavaju dostupne dokaze. Povećanje zuma pregleda čini piksele većim na zaslonu; ne stvara informacije koje nedostaju.

Zbog toga su “AI to otkrila” i “edge je spreman za objavljivanje” različite tvrdnje. Detekcija započinje uređivanje. Pregled ga završava.

Zašto su tanki i prozirni detalji teški

Tanki objekti zauzimaju nekoliko piksela. Kada se slika promijeni u veličini radi zaključivanja, žica ili pramen kose od jednog piksela može biti usrednjen s pozadinom oko sebe. Prozirni objekti su teški iz još jednog razloga: njihova vidljiva boja djelomično je stara pozadina. Granica može biti jasna osobi koja razumije predmet, dok uzorak piksela ostaje dvosmislen.

Meke sjene stvaraju namjernu dvosmislenost. Njihov vanjski rub postupno blijedi i ne postoji niti jedan objektivno točan rez. Zadržavanje pune sjene može izgledati prirodno na sličnoj pozadini, ali prljavo na svijetloj novoj ispuni. Uklanjanjem se može činiti da subjekt lebdi.

To su problemi prosuđivanja koliko i problemi modela.

Maska modela, radna maska i izvozna maska

Pomaže razdvojiti tri faze:

1. Maska modela: automatska procjena vraćena zaključivanjem.
2. Radna maska: maska prikazana u uređivaču nakon bilo kakvog preciziranja Dodaj ili Brisanje.
3. Maska izvoza: radna maska koja se primjenjuje kada se trenutni rezultat preuzima ili kopira.

U Easy Background Remover, usavršavanje kista uređuje radnu masku. Izvoz koristi trenutno uređeni rezultat umjesto tihog vraćanja na netaknutu automatsku masku. To modelu omogućuje rukovanje širokim odvajanjem dok vi ispravljate detalje koji ovise o namjeri.

Prikazani pregled može se skalirati kako bi odgovarao uređivaču. Ta veličina zaslona nije pouzdana mjera unutarnjih detalja maske. Pročitajte Razlučivost maske u odnosu na veličinu pregleda za razliku.

Lokalno zaključivanje još uvijek ima korak postavljanja

Za pokretanje modela na uređaju potrebne su težine modela i kompatibilno vrijeme izvođenja preglednika. Težine su mnogo veće od uobičajenog koda sučelja, pa bi učitavanje svega pri svakom pokretanju uređivača bilo rasipanje. Prva sesija može preuzeti i spremiti model u predmemoriju; kasnije obične sesije obično ga mogu ponovno koristiti.

Zašto prvo pokretanje preuzima model objašnjava tu granicu bez brkanja preuzimanja modela s prijenosom fotografije. Teško zaključivanje također bježi od glavne niti sučelja; pogledajte Osnove obrade slike Web Worker.

Praktičan način za procjenu rezultata

Nemojte pregledavati samo središte subjekta. Provjerite masku gdje su dokazi najslabiji:

• dlaka, krzno, brkovi i vlakna tkanine;
• naočale, trake, žice i uske otvore;
• rubovi niskog kontrasta;
• poluproziran materijal;
• kontaktne sjene;
• kutovi gdje može ostati stara boja pozadine.

Pogledajte rezultat i na svijetloj i na tamnoj pozadini ako je konačno odredište nepoznato. Blijeda aureola može nestati na bijeloj i postati očita na crnoj. Zatim pročistite samo područja koja utječu na namjeravanu upotrebu.

Automatska segmentacija je najkorisnija kada se tretira kao snažan prvi prolaz, a ne izjava savršenog razumijevanja. Da biste isprobali cijeli lokalni tijek izrezivanja i usavršavanja, pogledajte Početak.