Šta vidi model sa izrezima na uređaju

By Technical specialist

Model izreza na uređaju ne vidi osobu, cipelu, kućnog ljubimca ili stolicu u ljudskom smislu. Prima numerički prikaz slike i procjenjuje, piksel po piksel, koja područja vjerovatno pripadaju glavnom subjektu. Njegov korisni izlaz je maska: mapa sivih tonova koja može postati kanal transparentnosti rezultata.

Ta razlika objašnjava i brzinu automatskih isključenja i njihova ograničenja. Model može koristiti vizualne obrasce naučene tokom treninga, ali ne zna vašu namjeru. Oštar predmet blizu centra može izgledati važno; slab stakleni rub ili labav pramen kose mogu izgledati kao pozadina.

Od datoteke slike do unosa modela

Datoteka koju prvo odaberete mora biti dekodirana. Komprimirana fotografija se ne prosljeđuje direktno u model kao blok bajtova datoteke. Pretraživač ga pretvara u piksele sa vrijednostima širine, visine i boje.

Cjevovod zaključivanja tada priprema ulaz veličine modela. Ovisno o modelu i vremenu rada, priprema može uključivati:

• mijenjanje veličine dekodirane slike na dimenzije koje model očekuje;
• raspoređivanje crvenih, zelenih i plavih vrijednosti kao numeričkih kanala;
• skaliranje ili normalizacija tih vrijednosti;
• njihovo pakiranje u tenzor, format niza koji koristi vrijeme izvođenja zaključivanja.

Tačne dimenzije i pravila normalizacije pripadaju implementaciji modela. Važna praktična stvar je da zaključivanje obično radi iz pripremljene reprezentacije, a ne iz svakog izvornog piksela u njegovoj originalnoj veličini.

Easy Background Remover pokreće ovaj korak zaključivanja u pretraživaču sa modelom segmentacije na uređaju. Datoteku modela će možda trebati preuzeti prije prvog izrezivanja, ali staza za obradu slike je dizajnirana da ostane lokalna kada je model spreman. Preuzimanje modela je zahtjev za imovinom; to nije isto što i učitavanje odabrane fotografije radi daljinskog zaključivanja.

Izlaz je maska nalik samopouzdanju

Za svaku lokaciju u svom izlazu, model proizvodi vrijednost koja se može interpretirati kao više slična subjektu ili više nalik pozadini. Korisno je ovo zamisliti kao sliku u sivim tonovima:

• bijela znači zadržati ovo područje;
• crno znači ukloniti ovu oblast;
• siva označava djelomičnu pokrivenost ili nesigurnost blizu ivice.

Pregledač konvertuje taj izlaz u radnu alfa masku. Originalni pikseli u boji se zatim mogu komponovati preko šahovnice, pune ispune, gradijenta ili druge slike. Transparentni izvoz pohranjuje masku kao alfa umjesto slikanja šahovnice u datoteku.

Meke vrijednosti su važne. Kada bi se svaka vrijednost maske odmah postavila na čisto crnu ili bijelu, kosa, krzno, vlakna tkanine, zamućenje pokreta i defokusirani rubovi postali bi neprirodno tvrdi. Djelomična alfa može sačuvati glatkiju tranziciju. Također može otkriti rese u boji sa stare pozadine, zbog čega rezultat još uvijek zaslužuje vizualnu provjeru.

Koji vizuelni dokazi pomažu modelu

Model segmentacije može istovremeno koristiti više od jednog traga. Jaki tragovi često uključuju:

• kontrast između subjekta i pozadine;
• neprekidne granice oko dominantnog objekta;
• poznate kombinacije oblika, teksture i položaja;
• znakovi dubine kao što su razlike u fokusu;
• regioni koji vizuelno pripadaju zajedno.

Nijedan od ovih tragova nije garancija. Tamna jakna uz tamni zid nudi slab kontrast granica. Stolica s uskim prazninama može sadržavati pozadinske regije koje podsjećaju na objekt. Pozadina s uzorkom može se takmičiti sa stvarnim subjektom za pažnju.

Model daje najbolju procjenu na osnovu dostupnih piksela. Ne može povratiti detalje koje slika nikada nije snimljena.

Šta model ne zna

Model ne zna automatski koji objekt ste namjeravali zadržati kada je prisutno nekoliko subjekata. Ne zna da je prozirna čaša za piće komercijalno važna, da senka treba da ostane zbog realizacije, ili da mali remen pripada torbi.

Takođe ne prima skrivenu verziju zamućenog izvora visoke rezolucije. Blokovi kompresije, isječeni naglasci, zamućenje pokreta i vrlo mali detalji ograničavaju dostupne dokaze. Povećanje zuma za pretpregled čini piksele veće na ekranu; ne stvara informacije koje nedostaju.

Zbog toga su “AI detektirao” i “ivica je spremna za objavljivanje” različite tvrdnje. Detekcija pokreće uređivanje. Recenzija ga završava.

Zašto su tanki i providni detalji teški

Tanki objekti zauzimaju nekoliko piksela. Kada se veličina slike promijeni radi zaključivanja, žica ili pramen kose od jednog piksela mogu biti usrednjeni s pozadinom oko nje. Prozirni objekti su teški iz drugog razloga: njihova vidljiva boja je dijelom stara pozadina. Granica može biti jasna osobi koja razumije objekt, dok uzorak piksela ostaje dvosmislen.

Meke sjene stvaraju namjernu dvosmislenost. Njihova vanjska ivica postupno blijedi i ne postoji jedan objektivno ispravan prekid. Održavanje pune sjene može izgledati prirodno na sličnoj pozadini, ali prljavo na svijetloj novoj ispuni. Ako ga uklonite, može izgledati da subjekt lebdi.

Ovo su problemi prosuđivanja koliko i problemi modela.

Maska modela, radna maska i maska za izvoz

Pomaže da se odvoje tri faze:

1. Maska modela: automatska procjena vraćena zaključivanjem.
2. Radna maska: maska ​​prikazana u uređivaču nakon bilo kakvog dodavanja ili brisanja preciziranja.
3. Maska za izvoz: radna maska ​​primijenjena kada se trenutni rezultat preuzme ili kopira.

U Easy Background Remover, preciziranje kista uređuje radnu masku. Izvoz koristi trenutno uređeni rezultat umjesto da se tiho vraća na netaknutu automatsku masku. Ovo omogućava modelu da se nosi sa širokim razdvajanjem dok vi ispravljate detalje koji zavise od namere.

Prikazani pregled se može skalirati da odgovara uređivaču. Ta veličina ekrana nije pouzdana mjera unutrašnjih detalja maske. Pročitajte Rezolucija maske u odnosu na veličinu pregleda za razliku.

Lokalno zaključivanje još uvijek ima korak postavljanja

Pokretanje modela na uređaju zahtijeva težine modela i kompatibilno vrijeme izvođenja pretraživača. Težine su mnogo veće od običnog koda interfejsa, tako da bi učitavanje svega pri svakom pokretanju editora bilo rasipno. Prva sesija može preuzeti i keširati model; kasnije obične sesije ga obično mogu ponovo koristiti.

Zašto prvo pokretanje preuzima model objašnjava tu granicu bez brkanja preuzimanja materijala modela sa otpremanjem fotografije. Teški zaključci takođe beže od glavne niti interfejsa; pogledajte Osnove obrade slika u Web Workeru.

Praktičan način da se proceni rezultat

Nemojte pregledavati samo centar subjekta. Provjerite masku gdje su dokazi najslabiji:

• kosa, krzno, brkovi i vlakna tkanine;
• čaše, kaiševi, žice i uski razmaci;
• ivice niskog kontrasta;
• poluprozirni materijal;
• kontaktne sjene;
• uglovi u kojima može ostati stara boja pozadine.

Pogledajte rezultat i na svijetloj i na tamnoj pozadini ako je konačno odredište nepoznato. Blijeda oreol može nestati na bijeloj i postati očigledna na crnoj. Zatim precizirajte samo područja koja utiču na namjeravanu upotrebu.

Automatska segmentacija je najkorisnija kada se tretira kao snažan prvi prolaz, a ne kao izjava savršenog razumijevanja. Da isprobate potpuni lokalni tok izrezivanja i preciziranja, pogledajte Početak.