Ką mato įrenginyje veikiantis iškirpimo modelis

By Technical specialist

Įrenginyje veikiantis modelis ieško raštų ir skiria objektą nuo fono nesiųsdamas vaizdo nuotoliniu būdu. Jis greičiau seka išmoktus ribų požymius, nei „supranta“ sceną.

Todėl žemo kontrasto ar plonos detalės vis dar reikalauja žmogaus patikros.

Nuo vaizdo failo iki modelio įvesties

Pirmiausia pasirinktas failas turi būti iškoduotas. Suglaudinta nuotrauka neperduodama tiesiai į modelį kaip failo baitų blokas. Naršyklė paverčia jį pikseliais su pločio, aukščio ir spalvų reikšmėmis.

Tada išvadų vamzdynas paruošia modelio dydžio įvestį. Priklausomai nuo modelio ir vykdymo laiko, paruošimas gali apimti:

• iššifruoto vaizdo dydžio keitimas iki modelio laukiamų matmenų;
• raudonų, žalių ir mėlynų reikšmių išdėstymas kaip skaitmeniniai kanalai;
• tų verčių mastelio keitimas arba normalizavimas;
• supakuokite juos į tensorį, masyvo formatą, kurį naudoja išvados vykdymo laikas.

Tikslūs matmenys ir normalizavimo taisyklės priklauso modelio įgyvendinimui. Svarbus praktinis aspektas yra tai, kad išvados paprastai daromos iš paruošto atvaizdo, o ne iš kiekvieno pradinio dydžio šaltinio pikselio.

Easy Background Remover atlieka šį išvados veiksmą naršyklėje naudodamas įrenginio segmentavimo modelį. Modelio failą gali tekti atsisiųsti prieš pirmąjį iškirpimą, tačiau vaizdo apdorojimo kelias suprojektuotas taip, kad išliktų vietinis, kai modelis bus paruoštas. Modelio atsisiuntimas yra turto užklausa; tai nėra tas pats, kas įkelti pasirinktą nuotrauką nuotoliniam apdorojimui.

Išvestis yra pasitikėjimą primenanti kaukė

Kiekvienai išvesties vietai modelis sukuria vertę, kurią galima interpretuoti kaip labiau panašų į objektą arba labiau panašų į foną. Naudinga tai pavaizduoti kaip pilkos spalvos vaizdą:

• balta reiškia išlaikyti šią sritį;
• juoda reiškia pašalinti šią sritį;
• pilka reiškia dalinį aprėptį arba neapibrėžtumą šalia krašto.

Naršyklė konvertuoja tą išvestį į veikiančią alfa kaukę. Tada originalūs spalvų pikseliai gali būti sudėti per šaškių lentą, vientisą užpildą, gradientą ar kitą vaizdą. Skaidrus eksportas išsaugo kaukę kaip alfa, o ne piešia šaškių lentą į failą.

Minkštos vertybės yra svarbios. Jei kiekviena kaukė būtų nedelsiant pakeista juoda arba balta, plaukai, kailis, audinio pluoštai, neryškūs judesiai ir neryškūs kraštai taptų nenatūraliai kieti. Dalinė alfa gali išlaikyti sklandesnį perėjimą. Jis taip pat gali atskleisti senojo fono spalvos pakraščius, todėl rezultatas vis tiek nusipelno vizualaus patikrinimo.

Kokie vaizdiniai įrodymai padeda modeliui

Segmentavimo modelis vienu metu gali remtis daugiau nei vienu įkalčiu. Stiprūs įkalčiai dažnai apima:

• kontrastas tarp objekto ir fono;
• ištisinės ribos aplink dominuojantį objektą;
• pažįstami formos, tekstūros ir padėties deriniai;
• gylio ženklai, pvz., fokusavimo skirtumai;
• regionai, kurie vizualiai priklauso kartu.

Nė vienas iš šių įkalčių nėra garantija. Tamsi striukė prie tamsios sienos suteikia silpną sienų kontrastą. Kėdėje su siaurais tarpais gali būti fono sričių, panašių į objektą. Raštuotas fonas gali konkuruoti su tikruoju objektu dėl dėmesio.

Modelis geriausiai įvertina turimus pikselius. Jis negali atkurti detalių, kurių vaizdas niekada nebuvo užfiksuotas.

Ko modelis nežino

Modelis automatiškai nežino, kurį objektą norėjote pasilikti, kai yra keli subjektai. Ji nežino, kad permatoma stiklinė yra komerciškai svarbi, kad šešėlis turi likti tikroviškumui, ar mažas dirželis priklauso maišeliui.

Jis taip pat negauna paslėptos didelės raiškos neryškaus šaltinio versijos. Suspaudimo blokai, nukirpti akcentai, judesio suliejimas ir labai mažos detalės riboja turimus įrodymus. Padidinus peržiūros mastelį, ekrane bus didesni pikseliai; tai nesukuria trūkstamos informacijos.

Štai kodėl „AI aptiko“ ir „kraštas paruoštas skelbti“ yra skirtingi teiginiai. Aptikimas pradeda redagavimą. Peržiūra baigta.

Kodėl plonos ir skaidrios detalės yra sudėtingos

Ploni objektai užima keletą pikselių. Kai vaizdo dydis pakeičiamas, kad būtų galima padaryti išvadas, vieno pikselio viela arba plaukų sruogelė gali būti apskaičiuojama su fonu aplink jį. Skaidrūs objektai yra sunkūs dėl kitos priežasties: jų matoma spalva iš dalies yra senas fonas. Riba gali būti aiški asmeniui, kuris supranta objektą, o pikselių modelis lieka dviprasmiškas.

Švelnūs šešėliai sukuria tyčinį dviprasmiškumą. Jų išorinis kraštas palaipsniui blunka ir nėra vienos objektyviai teisingos ribos. Viso šešėlio išlaikymas panašiame fone gali atrodyti natūraliai, bet nešvariai ant naujo ryškaus užpildo. Jį pašalinus gali atrodyti, kad objektas plūduriuoja.

Tai yra tiek sprendimo, tiek modelio problemos.

Modelio kaukė, darbo kaukė ir eksporto kaukė

Tai padeda atskirti tris etapus:

1. Modelio kaukė: automatinis įvertinimas, grąžintas remiantis išvada.
2. Darbinė kaukė: kaukė, rodoma redaktoriuje po bet kokio papildymo arba ištrynimo.
3. Eksporto kaukė: darbo kaukė, taikoma atsisiunčiant arba nukopijuojant dabartinį rezultatą.

Easy Background Remover teptuko tobulinimas redaguoja darbo kaukę. Eksportuojant naudojamas dabartinis redaguotas rezultatas, o ne tyliai grįžtama prie nepaliestos automatinės kaukės. Tai leidžia modeliui atlikti platų atskyrimą, o jūs taisote detales, kurios priklauso nuo tikslo.

Rodoma peržiūra gali būti pakeista, kad atitiktų redaktorių. Toks ekrano dydis nėra patikimas kaukės vidinės detalės matas. Skaitykite Kaukės skiriamoji geba ir peržiūros dydis, kad sužinotumėte skirtumą.

Vietinė išvada vis dar turi sąrankos žingsnį

Norint paleisti modelį įrenginyje, reikia modelio svorio ir suderinamos naršyklės vykdymo laiko. Svoriai yra daug didesni nei įprastas sąsajos kodas, todėl įkelti viską kiekvieną kartą paleidus redaktorių būtų beprasmiška. Pirmoji sesija gali atsisiųsti ir išsaugoti modelį talpykloje; vėlesniuose įprastuose seansuose paprastai galima jį pakartotinai panaudoti.

Kodėl pirmą kartą paleidžiamas modelio atsisiuntimas paaiškina šią ribą nepainiodamas modelio išteklių atsisiuntimo su nuotraukos įkėlimu. Sunkios išvados taip pat pabėga nuo pagrindinės sąsajos gijos; žr. Web Worker vaizdo apdorojimo pagrindai.

Praktinis būdas įvertinti rezultatą

Netikrinkite tik objekto centro. Patikrinkite kaukę ten, kur įrodymai silpniausi:

• plaukai, kailiai, ūsai ir audinių pluoštai;
• akiniai, dirželiai, laidai ir siauri tarpeliai;
• mažo kontrasto kraštai;
• pusiau permatoma medžiaga;
• kontaktiniai šešėliai;
• kampai, kuriuose gali likti senoji fono spalva.

Peržiūrėkite rezultatą šviesiame ir tamsiame fone, jei galutinė kelionės tikslo vieta nežinoma. Blyški aureolė gali išnykti ant baltos spalvos ir išryškėti ant juodos spalvos. Tada patikslinkite tik tas sritis, kurios turi įtakos numatytam naudojimui.

Automatinis segmentavimas yra naudingiausias, kai traktuojamas kaip stiprus pirmasis praėjimas, o ne tobulo supratimo pareiškimas. Norėdami išbandyti visą vietinį iškirpimą ir tobulinimo eigą, žr. Pradėkite.