Vad en utskärningsmodell på enheten ser
En utskärningsmodell på enheten ser inte en person, sko, husdjur eller stol i mänsklig bemärkelse. Den får en numerisk representation av bilden och uppskattar, pixel för pixel, vilka områden som sannolikt kommer att tillhöra huvudmotivet. Dess användbara utdata är en mask: en gråskalekarta som kan bli resultatets transparenskanal.
Den distinktionen förklarar både hastigheten för automatiska urkopplingar och deras gränser. Modellen kan använda visuella mönster som lärts under träning, men den känner inte till din avsikt. Ett vasst föremål nära mitten kan se viktigt ut; en svag glaskant eller löst hårstrå kan se ut som bakgrund.
Från bildfil till modellinmatning
Filen du väljer först måste avkodas. Ett komprimerat foto skickas inte direkt in i modellen som ett block av filbytes. Webbläsaren förvandlar den till pixlar med bredd-, höjd- och färgvärden.
Slutledningsledningen förbereder sedan en indata i modellstorlek. Beroende på modell och körtid kan förberedelser inkludera:
- ändra storlek på den avkodade bilden till de dimensioner som modellen förväntar sig;
- arrangera röda, gröna och blå värden som numeriska kanaler;
- skala eller normalisera dessa värden;
- packa dem till en tensor, det arrayformat som används av slutledningskörningen.
De exakta dimensionerna och normaliseringsreglerna hör till modellimplementeringen. Den viktiga praktiska poängen är att slutledning vanligtvis fungerar från en förberedd representation, inte från varje källpixel i sin ursprungliga storlek.
Easy Background Remover kör detta slutledningssteg i webbläsaren med en segmenteringsmodell på enheten. Modellfilen kan behöva laddas ner innan den första utskärningen, men bildbehandlingsvägen är utformad för att förbli lokal när modellen är klar. Modellnedladdningen är en tillgångsbegäran; det är inte samma sak som att ladda upp det valda fotot för fjärrinferens.
Utgången är en förtroendeliknande mask
För varje plats i sin produktion producerar modellen ett värde som kan tolkas som mer ämnesliknande eller mer bakgrundsliknande. Det är användbart att se detta som en gråskalebild:
- vit betyder att behålla detta område;
- svart betyder att ta bort detta område;
- grå betyder delvis täckning eller osäkerhet nära en kant.
Webbläsaren konverterar den utdata till den fungerande alfamasken. De ursprungliga färgpixlarna kan sedan sammansättas över ett schackbräde, en solid fyllning, en gradient eller en annan bild. En transparent export lagrar masken som alfa istället för att måla in schackbrädet i filen.
De mjuka värdena har betydelse. Om varje maskvärde omedelbart tvingades till rent svart eller vitt, skulle hår, päls, tygfibrer, rörelseoskärpa och oskärpa kanter bli onaturligt hårda. Partiell alfa kan bevara en mjukare övergång. Det kan också exponera färgfransar från den gamla bakgrunden, varför resultatet fortfarande förtjänar en visuell kontroll.
Vilka visuella bevis hjälper modellen
En segmenteringsmodell kan dra på mer än en ledtråd samtidigt. Starka ledtrådar inkluderar ofta:
- kontrast mellan motiv och bakgrund;
- kontinuerliga gränser runt ett dominant objekt;
- bekanta kombinationer av form, textur och position;
- djupledingar som fokusskillnader;
- regioner som visuellt hör ihop.
Ingen av dessa ledtrådar är en garanti. En mörk jacka mot en mörk vägg ger svag gränskontrast. En stol med smala mellanrum kan innehålla bakgrundsområden som liknar föremålet. En mönstrad bakgrund kan konkurrera med det faktiska motivet om uppmärksamhet.
Modellen gör en bästa uppskattning från de tillgängliga pixlarna. Den kan inte återställa detaljer som bilden aldrig tog.
Vad modellen inte vet
Modellen vet inte automatiskt vilket föremål du tänkt behålla när flera ämnen är närvarande. Den vet inte att ett genomskinligt dricksglas är kommersiellt viktigt, att en skugga ska stanna för realism, eller att en liten rem hör till en väska.
Den får inte heller en dold högupplöst version av en suddig källa. Kompressionsblock, klippta högdagrar, rörelseoskärpa och mycket små detaljer begränsar tillgängliga bevis. Att öka förhandsgranskningszoom gör pixlar större på skärmen; det skapar inte saknad information.
Det är därför “AI upptäckt det” och “kanten är redo att publiceras” är olika påståenden. Detektering startar redigeringen. Granskningen avslutar den.
Varför tunna och transparenta detaljer är svåra
Tunna föremål upptar några pixlar. När en bild har ändrats storlek för slutledning, kan en enpixel tråd eller hårstrå beräknas med bakgrunden runt den. Transparenta föremål är svåra av en annan anledning: deras synliga färg är delvis den gamla bakgrunden. Gränsen kan vara tydlig för en person som förstår objektet, medan pixelmönstret förblir tvetydigt.
Mjuka skuggor skapar en avsiktlig tvetydighet. Deras yttre kant bleknar gradvis, och det finns ingen enda objektivt korrekt cutoff. Att behålla helskuggan kan se naturligt ut på en liknande bakgrund men smutsigt på en ljus ny fyllning. Om du tar bort det kan motivet verka flytande.
Dessa är bedömningsproblem lika mycket som modellproblem.
Modellmask, arbetsmask och exportmask
Det hjälper till att separera tre steg:
- Modellmask: den automatiska uppskattningen som returneras genom slutledning.
- Arbetsmask: masken som visas i editorn efter någon Lägg till eller Radera förfining.
- Exportera mask: arbetsmasken som tillämpas när det aktuella resultatet laddas ned eller kopieras.
I Easy Background Remover redigerar penselförfining arbetsmasken. Export använder det aktuella redigerade resultatet istället för att tyst återgå till den orörda automatiska masken. Detta låter modellen hantera den breda separationen samtidigt som du korrigerar detaljer som beror på avsikt.
Den visade förhandsvisningen kan skalas för att passa redigeraren. Den skärmstorleken är inte ett tillförlitligt mått på maskens interna detalj. Läs Mask resolution vs preview size för distinktionen.
Lokal slutledning har fortfarande ett inställningssteg
Att köra en modell på enheten kräver modellens vikter och en kompatibel webbläsares körtid. Vikterna är mycket större än vanlig gränssnittskod, så att ladda allt vid varje redigeringsstart skulle vara slöseri. En första session kan ladda ner och cache modellen; senare vanliga sessioner kan vanligtvis återanvända den.
Varför första körning laddar ned en modell förklarar den gränsen utan att blanda ihop en modelltillgångsnedladdning med en fotouppladdning. Tung slutledning rinner också bort från huvudgränssnittstråden; se Grundläggande bildbehandling av Web Worker.
Ett praktiskt sätt att bedöma resultatet
Inspektera inte bara mitten av motivet. Kontrollera masken där bevisen är svagast:
- hår, päls, morrhår och tygfibrer;
- glasögon, remmar, trådar och smala luckor;
- kanter med låg kontrast;
- halvtransparent material;
- kontaktskuggor;
- hörn där den gamla bakgrundsfärgen kan finnas kvar.
Se resultatet över både ljus och mörk bakgrund om slutdestinationen är okänd. En blek gloria kan försvinna på vitt och bli tydlig på svart. Förfina sedan endast de områden som påverkar den avsedda användningen.
Automatisk segmentering är mest användbar när den behandlas som ett starkt första pass, inte ett uttalande om perfekt förståelse. För att prova det fullständiga lokala klippet och förfiningsflödet, se Kom igång.