Mitä laitteen taustapoistomalli ”näkee”

By Technical specialist

Malli ei ”ymmärrä” kuvaa kuten ihminen. Se etsii todennäköisiä kohteen rajoja värin, kontrastin ja muodon perusteella. Siksi matala kontrasti ja pehmeä bokeh vaikeuttavat peitettä.

Hyvä lähdekuva antaa mallille selkeämpiä vihjeitä — se ei ole taikaa.

Kuvatiedostosta mallin syötteeseen

Ensin valitsemasi tiedosto on purettava. Pakattua valokuvaa ei siirretä suoraan malliin tiedostotavujen lohkona. Selain muuttaa sen pikseleiksi, joilla on leveys, korkeus ja väriarvot.

Päätelmäliukuhihna valmistelee sitten mallin kokoisen syötteen. Mallista ja suoritusajasta riippuen valmistelu voi sisältää:

• muutetaan dekoodatun kuvan kokoa mallin odottamiin mittoihin;
• järjestää punaiset, vihreät ja siniset arvot numeerisiksi kanaviksi;
• näiden arvojen skaalaaminen tai normalisointi;
• pakkaa ne tensoriin, joka on päättelyn suoritusajan käyttämä taulukkomuoto.

Tarkat mitat ja normalisointisäännöt kuuluvat mallin toteutukseen. Tärkeä käytännön seikka on, että päättely toimii yleensä valmistetun esityksen perusteella, ei jokaisesta lähdepikselistä sen alkuperäisessä koossa.

Easy Background Remover suorittaa tämän päättelyvaiheen selaimessa laitteen segmentointimallilla. Mallitiedosto on ehkä ladattava ennen ensimmäistä katkaisua, mutta kuvankäsittelypolku on suunniteltu pysymään paikallisena, kun malli on valmis. Mallin lataus on omaisuuspyyntö; se ei ole sama asia kuin valitun valokuvan lataaminen etäkäsittelyä varten.

Tulos on luottamusta muistuttava maski

Malli tuottaa jokaiselle tulostensa sijainnille arvon, joka voidaan tulkita enemmän aihe- tai taustamaisemmaksi. On hyödyllistä kuvata tämä harmaasävykuvana:

• valkoinen tarkoittaa tämän alueen säilyttämistä;
• musta tarkoittaa tämän alueen poistamista;
• harmaa tarkoittaa osittaista peittoa tai epävarmuutta lähellä reunaa.

Selain muuntaa tuotoksen toimivaksi alfamaskiksi. Alkuperäiset väripikselit voidaan sitten yhdistää shakkilaudan, kiinteän täytön, liukuvärin tai muun kuvan päälle. Läpinäkyvä vienti tallentaa maskin alfa-muodossa sen sijaan, että maalaisi shakkilaudan tiedostoon.

Pehmeillä arvoilla on väliä. Jos jokainen maskin arvo pakotettaisiin välittömästi puhtaaksi mustaksi tai valkoiseksi, hiukset, turkki, kangaskuidut, liikesummutus ja epätarkktuneet reunat muuttuisivat luonnottoman koviksi. Osittainen alfa voi säilyttää tasaisemman siirtymän. Se voi myös paljastaa värihaaroja vanhasta taustasta, minkä vuoksi tulos ansaitsee silti visuaalisen tarkastuksen.

Mikä visuaalinen näyttö auttaa mallia

Segmentointimalli voi hyödyntää useampaa kuin yhtä vihjettä kerralla. Vahvoja vihjeitä ovat usein:

• kontrasti kohteen ja taustan välillä;
• jatkuvat rajat hallitsevan kohteen ympärillä;
• tutut muodon, tekstuurin ja sijainnin yhdistelmät;
• syvyysvihjeet, kuten tarkennuserot;
• alueet, jotka kuuluvat visuaalisesti yhteen.

Mikään näistä vihjeistä ei ole takuu. Tumma takki tummaa seinää vasten tarjoaa heikon rajakontrastin. Tuoli, jossa on kapeita rakoja, voi sisältää tausta-alueita, jotka muistuttavat esinettä. Kuvioitu tausta voi kilpailla todellisen kohteen kanssa huomiosta.

Malli tekee parhaan arvion käytettävissä olevista pikseleistä. Se ei voi palauttaa yksityiskohtia, joita kuva ei ole koskaan ottanut.

Mitä malli ei tiedä

Malli ei automaattisesti tiedä, minkä kohteen halusit säilyttää, kun useita kohteita on läsnä. Se ei tiedä, että läpinäkyvä juomalasi on kaupallisesti tärkeä, että varjon pitäisi jäädä realistisiksi tai että pieni hihna kuuluu pussiin.

Se ei myöskään vastaanota piilotettua korkearesoluutioista versiota sumeasta lähteestä. Pakkauslohkot, leikatut kohokohdat, liike-epäterävyys ja hyvin pienet yksityiskohdat rajoittavat käytettävissä olevia todisteita. Esikatselun zoomauksen lisääminen lisää pikseleitä näytössä; se ei luo puuttuvaa tietoa.

Tästä syystä “AI havaitsi sen” ja “reuna on valmis julkaisemaan” ovat eri väitteitä. Tunnistus aloittaa muokkauksen. Arvostelu lopettaa sen.

Miksi ohuet ja läpinäkyvät yksityiskohdat ovat vaikeita

Ohuet esineet vievät muutaman pikselin. Kun kuvan kokoa muutetaan päättelyä varten, yhden pikselin langan tai hiussäikeen keskiarvo voidaan laskea taustan ympärillä. Läpinäkyvät esineet ovat vaikeita toisesta syystä: niiden näkyvä väri on osittain vanha tausta. Raja voi olla selkeä henkilölle, joka ymmärtää kohteen, kun taas pikselikuvio jää epäselväksi.

Pehmeät varjot luovat tarkoituksellista epäselvyyttä. Niiden ulkoreuna haalistuu vähitellen, eikä ole olemassa yhtä objektiivisesti oikeaa rajaa. Täyden varjon säilyttäminen voi näyttää luonnolliselta samankaltaisella taustalla, mutta likaiselta kirkkaalla uudella täytteellä. Sen poistaminen saattaa saada kohteen näyttämään kelluvan.

Nämä ovat arviointiongelmia yhtä paljon kuin malliongelmia.

Mallimaski, työmaski ja vientimaski

Se auttaa erottamaan kolme vaihetta:

1. Mallimaski: automaattinen arvio, joka palautetaan päätelmänä.
2. Työmaski: maski, joka näkyy editorissa lisäys- tai poistotarkennuksien jälkeen.
3. Vie maski: työmaski, jota käytetään, kun nykyinen tulos ladataan tai kopioidaan.

Easy Background Remover:ssa siveltimen tarkennus muokkaa työmaskia. Vienti käyttää nykyistä muokattua tulosta sen sijaan, että palaa hiljaa koskemattomaan automaattiseen maskiin. Näin malli pystyy käsittelemään laajaa erottelua samalla kun korjaat tarkoituksesta riippuvia yksityiskohtia.

Näytetty esikatselu voidaan skaalata editoriin sopivaksi. Tämä näytön koko ei ole luotettava mittari maskin sisäisistä yksityiskohdista. Lue Maskin resoluutio vs esikatselun koko eron saamiseksi.

Paikallisessa päättelyssä on vielä asennusvaihe

Mallin käyttäminen laitteella vaatii mallin painot ja yhteensopivan selaimen suoritusajan. Painot ovat paljon suurempia kuin tavallinen käyttöliittymäkoodi, joten kaiken lataaminen jokaisen editorin käynnistyksen yhteydessä olisi turhaa. Ensimmäinen istunto voi ladata mallin ja tallentaa sen välimuistiin; myöhemmin tavalliset istunnot voivat yleensä käyttää sitä uudelleen.

Miksi ensimmäisen kerran lataa mallin selittää tämän rajan sekoittamatta mallin latausta kuvien lataamiseen. Raskas päättely karkaa myös päärajapinnan säikeestä; katso Web Worker -kuvankäsittelyn perusteet.

Käytännöllinen tapa arvioida tulosta

Älä tarkasta vain kohteen keskustaa. Tarkista maski siellä, missä todisteet ovat heikoimmat:

• hiukset, turkikset, viikset ja kangaskuidut;
• lasit, hihnat, johdot ja kapeat välit;
• matalakontrastiset reunat;
• puoliksi läpinäkyvä materiaali;
• kontaktivarjot;
• kulmat, joissa vanha taustaväri saattaa jäädä.

Katso tulosta sekä vaalealla että tummalla taustalla, jos lopullista määränpäätä ei tiedetä. Vaalea halo voi kadota valkoiselle ja tulla selväksi mustalle. Tarkenna sitten vain alueita, jotka vaikuttavat käyttötarkoitukseen.

Automaattinen segmentointi on hyödyllisintä, kun sitä käsitellään vahvana ensikierroksena, ei täydellisenä ymmärtämisenä. Jos haluat kokeilla täyttä paikallista katkaisua ja tarkennuskulkua, katso Aloita.