Kaj »vidi« model izreza v napravi

By Technical specialist

Model izreza v napravi ne vidi osebe, čevlja, živali ali stola v človeškem smislu. Prejme številčno predstavitev slike in piksel za pikslom oceni, katera območja verjetno sodijo k glavnemu subjektu. Koristen izhod je maska: sivinska mapa, ki lahko postane kanal prosojnosti rezultata.

Ta razlika pojasni hitrost samodejnih izrezov in njihove omejitve. Model lahko uporabi vizualne vzorce iz učenja, a ne pozna vašega namena. Oster predmet blizu središča lahko izgleda pomemben; šibek rob stekla ali prosti las lahko izgleda kot ozadje.

Iz slikovne datoteke v vnos modela

Datoteko, ki jo izberete najprej, je treba dekodirati. Stisnjena fotografija se ne posreduje neposredno v model kot blok bajtov datoteke. Brskalnik ga spremeni v slikovne pike z vrednostmi širine, višine in barve.

Sklepni cevovod nato pripravi vhod v velikosti modela. Odvisno od modela in časa izvajanja lahko priprava vključuje:

• spreminjanje velikosti dekodirane slike na dimenzije, ki jih pričakuje model;
• urejanje rdečih, zelenih in modrih vrednosti kot numeričnih kanalov;
• skaliranje ali normaliziranje teh vrednosti;
• pakiranje v tenzor, format polja, ki ga uporablja izvajalno okolje sklepanja.

Točne dimenzije in normalizacijska pravila pripadajo izvedbi modela. Pomembna praktična točka je, da sklepanje običajno deluje iz pripravljene predstavitve, ne iz vsake izvorne slikovne pike v njeni izvirni velikosti.

Easy Background Remover zažene ta korak sklepanja v brskalniku z modelom segmentacije v napravi. Datoteko modela bo morda treba prenesti pred prvim izrezom, vendar je pot za obdelavo slike zasnovana tako, da ostane lokalna, ko je model pripravljen. Prenos modela je zahteva za sredstva; to ni isto kot nalaganje izbrane fotografije za oddaljeno obdelavo.

Rezultat je maska, podobna zaupanju

Za vsako lokacijo v svojem izhodu model ustvari vrednost, ki jo je mogoče razlagati kot bolj podobno predmetu ali ozadju. Koristno je, da si to predstavljate kot sivinsko sliko:

• bela pomeni obdržati to področje;
• črna pomeni odstranitev tega območja;
• siva pomeni delno pokritost ali negotovost blizu roba.

Brskalnik pretvori ta izhod v delujočo masko alfa. Izvirne barvne slikovne pike je nato mogoče sestaviti čez šahovnico, polno polnilo, gradient ali drugo sliko. Transparenten izvoz shrani masko kot alfa namesto slikanja šahovnice v datoteko.

Mehke vrednote so pomembne. Če bi bila vsaka vrednost maske takoj prisiljena na čisto črno ali belo, bi lasje, krzno, tkaninska vlakna, zameglitev gibanja in neizostreni robovi postali nenaravno trdi. Delna alfa lahko ohrani bolj gladek prehod. Izpostavi lahko tudi barvne obrobe s starega ozadja, zato si rezultat vseeno zasluži vizualni pregled.

Kateri vizualni dokaz pomaga modelu

Segmentacijski model lahko črpa iz več kot enega namiga hkrati. Močni namigi pogosto vključujejo:

• kontrast med motivom in ozadjem;
• neprekinjene meje okoli dominantnega objekta;
• poznane kombinacije oblike, teksture in položaja;
• globinske namige, kot so razlike v fokusu;
• regije, ki vizualno sodijo skupaj.

Noben od teh namigov ni jamstvo. Temna jakna proti temni steni nudi šibek mejni kontrast. Stol z ozkimi režami lahko vsebuje področja ozadja, ki so podobna predmetu. Vzorčasto ozadje lahko tekmuje z dejanskim predmetom za pozornost.

Model daje najboljšo oceno iz razpoložljivih slikovnih pik. Ne more obnoviti podrobnosti, ki jih slika nikoli ni zajela.

Česa model ne ve

Model ne ve samodejno, kateri predmet ste nameravali obdržati, ko je prisotnih več subjektov. Ne ve, da je prozoren kozarec komercialno pomemben, da mora zaradi realizma ostati senca ali da k torbi sodi majhen trak.

Prav tako ne prejme skrite različice zamegljenega vira v visoki ločljivosti. Bloki stiskanja, odrezani poudarki, zameglitev gibanja in zelo majhne podrobnosti omejujejo razpoložljive dokaze. Povečanje povečave predogleda poveča slikovne pike na zaslonu; ne ustvarja manjkajočih informacij.

Zato sta »AI to zaznal« in »edge je pripravljen za objavo« različni trditvi. Zaznavanje začne urejanje. Pregled ga zaključi.

Zakaj so tanki in prozorni detajli težki

Tanki predmeti zasedajo nekaj slikovnih pik. Ko se velikost slike zaradi sklepanja spremeni, se lahko žica ali pramen las z eno slikovno piko povpreči z ozadjem okoli njega. Transparentni predmeti so težavni iz še enega razloga: njihova vidna barva je deloma staro ozadje. Meja je lahko jasna osebi, ki razume predmet, medtem ko vzorec slikovnih pik ostaja dvoumen.

Mehke sence ustvarjajo namerno dvoumnost. Njihov zunanji rob postopoma bledi in ni ene same objektivno pravilne meje. Ohranjanje polne sence je lahko videti naravno na podobnem ozadju, a umazano na svetlem novem polnilu. Če ga odstranite, se lahko zdi, da motiv lebdi.

To so težave s presojo prav tako kot težave z modeli.

Maska modela, delovna maska in izvozna maska

Pomaga ločiti tri stopnje:

1. Maska modela: samodejna ocena, vrnjena s sklepanjem.
2. Delovna maska: maska, prikazana v urejevalniku po morebitni izboljšavi Dodaj ali Izbriši.
3. Izvozna maska: delovna maska, uporabljena, ko je trenutni rezultat prenesen ali kopiran.

V Easy Background Remover izboljšanje čopiča ureja delovno masko. Izvoz uporabi trenutno urejen rezultat, namesto da bi se tiho vrnil na nedotaknjeno samodejno masko. To omogoča, da model obravnava široko ločevanje, medtem ko vi popravljate podrobnosti, ki so odvisne od namena.

Prikazani predogled je lahko prilagojen urejevalniku. Ta velikost zaslona ni zanesljivo merilo notranjih podrobnosti maske. Za razlikovanje preberite Ločljivost maske v primerjavi z velikostjo predogleda.

Lokalno sklepanje ima še vedno korak nastavitve

Izvajanje modela v napravi zahteva uteži modela in združljivo izvajalno okolje brskalnika. Uteži so veliko večje od kode običajnega vmesnika, zato bi bilo nalaganje vsega ob vsakem zagonu urejevalnika potratno. Prva seja lahko prenese in predpomni model; kasnejše običajne seje ga lahko običajno ponovno uporabijo.

Zakaj prvi zagon prenese model pojasnjuje to mejo, ne da bi zamenjal prenos sredstva modela z nalaganjem fotografije. Težko sklepanje tudi beži stran od glavne niti vmesnika; glejte Osnove obdelave slik Web Worker.

Praktičen način za presojo rezultata

Ne pregledujte samo središča motiva. Preverite masko, kjer so dokazi najšibkejši:

• dlaka, krzno, brki in tkaninska vlakna;
• očala, trakovi, žice in ozke reže;
• nizkokontrastni robovi;
• polprosojen material;
• kontaktna senca;
• vogali, kjer lahko ostane stara barva ozadja.

Oglejte si rezultat na svetlem in temnem ozadju, če končni cilj ni znan. Bledi halo lahko izgine na beli in postane očiten na črni. Nato izboljšajte samo področja, ki vplivajo na predvideno uporabo.

Samodejna segmentacija je najbolj uporabna, če jo obravnavamo kot močan prvi prehod in ne kot izjavo o popolnem razumevanju. Če želite preizkusiti celoten lokalni izrez in tok izboljšave, glejte Začetek.