Hva en lokal utskjæringsmodell «ser»

By Technical specialist

Modellen ser ikke «produkt» eller «person» slik du gjør — den ser pikselmønstre og anslår hvilke områder som sannsynligvis hører til motivet. Harde kontrastkanter hjelper; lav oppløsning og bevegelsesuskarphet hemmer.

Derfor feiler et uskarpt miniatyrbilde oftere enn et skarpt originalbilde, selv med samme motiv.

Fra bildefil til modellinndata

Filen du velger først, må dekodes. Et komprimert bilde sendes ikke direkte inn i modellen som en blokk med filbytes. Nettleseren gjør den til piksler med bredde-, høyde- og fargeverdier.

Inferensrørledningen forbereder deretter en input i modellstørrelse. Avhengig av modell og kjøretid kan forberedelsene inkludere:

• endre størrelsen på det dekodede bildet til dimensjonene modellen forventer;
• ordne røde, grønne og blå verdier som numeriske kanaler;
• skalere eller normalisere disse verdiene;
• pakke dem inn i en tensor, matriseformatet som brukes av inferenskjøringen.

De nøyaktige dimensjonene og normaliseringsreglene tilhører modellimplementeringen. Det viktige praktiske poenget er at inferens vanligvis fungerer fra en forberedt representasjon, ikke fra hver kildepiksel i sin opprinnelige størrelse.

Easy Background Remover kjører dette slutningstrinnet i nettleseren med en segmenteringsmodell på enheten. Det kan hende at modellfilen må lastes ned før den første utskjæringen, men bildebehandlingsbanen er designet for å forbli lokal når modellen er klar. Modellnedlastingen er en ressursforespørsel; det er ikke det samme som å laste opp det valgte bildet for ekstern slutning.

Utgangen er en selvtillitslignende maske

For hver plassering i produksjonen produserer modellen en verdi som kan tolkes som mer emnelignende eller mer bakgrunnslignende. Det er nyttig å forestille seg dette som et gråtonebilde:

• hvit betyr å beholde dette området;
• svart betyr å fjerne dette området;
• grå betyr delvis dekning eller usikkerhet nær en kant.

Nettleseren konverterer utdataene til den fungerende alfamasken. De originale fargepikslene kan deretter settes sammen over et sjakkbrett, en solid fylling, en gradient eller et annet bilde. En gjennomsiktig eksport lagrer masken som alfa i stedet for å male sjakkbrettet inn i filen.

De myke verdiene betyr noe. Hvis hver maskeverdi umiddelbart ble tvunget til rent svart eller hvitt, ville hår, pels, stofffibre, bevegelsesuskarphet og uskarphete kanter bli unaturlig harde. Delvis alfa kan bevare en jevnere overgang. Den kan også eksponere fargefrynser fra den gamle bakgrunnen, og derfor fortjener resultatet fortsatt en visuell sjekk.

Hvilke visuelle bevis hjelper modellen

En segmenteringsmodell kan trekke på mer enn én ledetråd samtidig. Sterke ledetråder inkluderer ofte:

• kontrast mellom motiv og bakgrunn;
• kontinuerlige grenser rundt et dominerende objekt;
• kjente kombinasjoner av form, tekstur og posisjon;
• dybdesignaler som fokusforskjeller;
• regioner som visuelt hører sammen.

Ingen av disse ledetrådene er en garanti. En mørk jakke mot en mørk vegg gir svak grensekontrast. En stol med smale mellomrom kan inneholde bakgrunnsområder som ligner objektet. Et mønstret bakteppe kan konkurrere med det faktiske motivet om oppmerksomhet.

Modellen gjør et beste estimat fra tilgjengelige piksler. Den kan ikke gjenopprette detaljer som bildet aldri fanget.

Hva modellen ikke vet

Modellen vet ikke automatisk hvilken gjenstand du mente å beholde når flere forsøkspersoner er tilstede. Den vet ikke at et gjennomsiktig drikkeglass er kommersielt viktig, at en skygge skal holde seg for realisme, eller at en liten stropp hører til en pose.

Den mottar heller ikke en skjult høyoppløselig versjon av en uskarp kilde. Kompresjonsblokker, klippede høydepunkter, bevegelsesuskarphet og svært små detaljer begrenser tilgjengelig bevis. Økning av forhåndsvisningszoom gjør piksler større på skjermen; det skaper ikke manglende informasjon.

Dette er grunnen til at “AI oppdaget det” og “kanten er klar til å publisere” er forskjellige påstander. Deteksjon starter redigeringen. Gjennomgangen fullfører den.

Hvorfor tynne og gjennomsiktige detaljer er vanskelige

Tynne objekter opptar få piksler. Når størrelsen på et bilde endres for slutning, kan en en-piksel ledning eller hårstrå beregnes i gjennomsnitt med bakgrunnen rundt seg. Gjennomsiktige gjenstander er vanskelige av en annen grunn: deres synlige farge er delvis den gamle bakgrunnen. Grensen kan være tydelig for en person som forstår objektet, mens pikselmønsteret forblir tvetydig.

Myke skygger skaper en tilsiktet tvetydighet. Ytterkanten deres blekner gradvis, og det er ingen enkelt objektivt korrekt avskjæring. Å beholde helskyggen kan se naturlig ut på en lignende bakgrunn, men skitten på et lyst nytt fyll. Hvis du fjerner den, kan det se ut som om motivet flyter.

Dette er dømmekraftsproblemer like mye som modellproblemer.

Modellmaske, arbeidsmaske og eksportmaske

Det hjelper å skille tre stadier:

1. Modellmaske: det automatiske estimatet returnert ved slutning.
2. Arbeidsmaske: masken som vises i redigeringsprogrammet etter en eventuell Legg til eller Slett avgrensning.
3. Eksporter maske: arbeidsmasken som brukes når det gjeldende resultatet lastes ned eller kopieres.

I Easy Background Remover redigerer penselforfining arbeidsmasken. Eksport bruker det gjeldende redigerte resultatet i stedet for å stille tilbake til den uberørte automatiske masken. Dette lar modellen håndtere det brede skillet mens du korrigerer detaljer som avhenger av hensikt.

Den viste forhåndsvisningen kan skaleres for å passe til redaktøren. Denne skjermstørrelsen er ikke et pålitelig mål for maskens indre detaljer. Les Maskeoppløsning vs forhåndsvisningsstørrelse for forskjellen.

Lokal inferens har fortsatt et oppsettstrinn

Å kjøre en modell på enheten krever modellvektene og en kompatibel nettleserkjøringstid. Vektene er mye større enn vanlig grensesnittkode, så det ville være bortkastet å laste inn alt ved hver editor-lansering. En første økt kan laste ned og hurtigbufre modellen; senere ordinære økter kan vanligvis gjenbruke den.

Hvorfor først kjøre laster ned en modell forklarer denne grensen uten å forveksle en nedlasting av modellelementer med en bildeopplasting. Tung slutning løper også vekk fra hovedgrensesnitttråden; se Grunnleggende informasjon om Web Worker-bildebehandling.

En praktisk måte å bedømme resultatet på

Ikke inspiser bare midten av motivet. Sjekk masken der bevisene er svakest:

• hår, pels, værhår og stofffibre;
• briller, stropper, ledninger og smale hull;
• kanter med lav kontrast;
• semi-transparent materiale;
• kontaktskygger;
• hjørner hvor den gamle bakgrunnsfargen kan forbli.

Se resultatet over både lys og mørk bakgrunn hvis den endelige destinasjonen er ukjent. En blek glorie kan forsvinne på hvitt og bli tydelig på svart. Deretter foredler kun de områdene som påvirker den tiltenkte bruken.

Automatisk segmentering er mest nyttig når det behandles som et sterkt førstegangspass, ikke en erklæring om perfekt forståelse. Se Kom i gang for å prøve den fullstendige lokale utskjærings- og foredlingsflyten.