Hvad en on-device udsnitsmodel „ser“
En on-device udsnitsmodel ser ikke en person, sko, kæledyr eller stol i menneskelig forstand. Den modtager en numerisk repræsentation af billedet og estimerer pixel for pixel, hvilke områder der sandsynligvis hører til hovedmotivet. Det nyttige output er en maske: et gråtonekort, der kan blive resultatets transparenskanal.
Den skelnen forklarer både hastigheden i automatiske udsnit og deres grænser. Modellen bruger visuelle mønstre fra træning, men kender ikke din intention. Et skarpt objekt nær midten kan se vigtigt ud; en svag glasrand eller en løs hårstreng kan ligne baggrund.
Fra billedfil til modelinput
Den fil, du vælger først, skal afkodes. Et komprimeret foto sendes ikke direkte ind i modellen som en blok af filbytes. Browseren omdanner det til pixels med bredde-, højde- og farveværdier.
Inferenspipelinen forbereder derefter et input i modelstørrelse. Afhængigt af model og køretid kan forberedelsen omfatte:
- ændre størrelsen på det afkodede billede til de dimensioner, som modellen forventer;
- arrangere røde, grønne og blå værdier som numeriske kanaler;
- skalering eller normalisering af disse værdier;
- at pakke dem ind i en tensor, det array-format, der bruges af inferens-runtime.
De nøjagtige dimensioner og normaliseringsregler hører til modelimplementeringen. Den vigtige praktiske pointe er, at inferens normalt fungerer ud fra en forberedt repræsentation, ikke fra hver kildepixel i dens oprindelige størrelse.
Easy Background Remover kører dette inferenstrin i browseren med en segmenteringsmodel på enheden. Modelfilen skal muligvis downloades før den første udskæring, men billedbehandlingsstien er designet til at forblive lokal, når modellen er klar. Modeloverførslen er en aktivanmodning; det er ikke det samme som at uploade det valgte billede til fjernslutning.
Outputtet er en tillidslignende maske
For hvert sted i sit output producerer modellen en værdi, der kan tolkes som mere emne- eller mere baggrundsagtig. Det er nyttigt at forestille sig dette som et gråtonebillede:
- hvid betyder at beholde dette område;
- sort betyder at fjerne dette område;
- grå betyder delvis dækning eller usikkerhed nær en kant.
Browseren konverterer dette output til den fungerende alfamaske. De originale farvepixels kan derefter sammensættes over et skakternet, et solidt fyld, en gradient eller et andet billede. En gennemsigtig eksport gemmer masken som alfa i stedet for at male skakternet ind i filen.
De bløde værdier betyder noget. Hvis hver maskeværdi straks blev tvunget til ren sort eller hvid, ville hår, pels, stoffibre, bevægelsessløring og ufokuserede kanter blive unaturligt hårde. Delvis alfa kan bevare en jævnere overgang. Den kan også afsløre farvefrynser fra den gamle baggrund, hvorfor resultatet stadig fortjener et visuelt tjek.
Hvilke visuelle beviser hjælper modellen
En segmenteringsmodel kan trække på mere end én ledetråd på én gang. Stærke spor inkluderer ofte:
- kontrast mellem motiv og baggrund;
- kontinuerlige grænser omkring et dominerende objekt;
- velkendte kombinationer af form, tekstur og position;
- dybdesignaler såsom fokusforskelle;
- regioner, der visuelt hører sammen.
Ingen af disse spor er en garanti. En mørk jakke mod en mørk væg giver svag grænsekontrast. En stol med smalle mellemrum kan indeholde baggrundsområder, der ligner objektet. En mønstret baggrund kan konkurrere med det faktiske motiv om opmærksomhed.
Modellen laver et bedste skøn ud fra de tilgængelige pixels. Det kan ikke genskabe detaljer, som billedet aldrig har taget.
Hvad modellen ikke ved
Modellen ved ikke automatisk, hvilken genstand du har tænkt dig at beholde, når flere forsøgspersoner er til stede. Den ved ikke, at et gennemsigtigt drikkeglas er kommercielt vigtigt, at en skygge skal blive for realisme, eller at der hører en lille rem til en taske.
Den modtager heller ikke en skjult højopløsningsversion af en sløret kilde. Kompressionsblokke, afklippede højlys, bevægelsessløring og meget små detaljer begrænser den tilgængelige dokumentation. Forøgelse af forhåndsvisningszoom gør pixels større på skærmen; det skaber ikke manglende information.
Det er derfor, “AI opdagede det” og “kanten er klar til at publicere” er forskellige påstande. Registrering starter redigeringen. Gennemgangen afslutter den.
Hvorfor tynde og gennemsigtige detaljer er vanskelige
Tynde objekter optager få pixels. Når størrelsen på et billede ændres til slutninger, kan en en-pixel tråd eller hårstrå beregnes som gennemsnit med baggrunden omkring sig. Gennemsigtige genstande er vanskelige af en anden grund: deres synlige farve er delvist den gamle baggrund. Grænsen kan være klar for en person, der forstår objektet, mens pixelmønsteret forbliver tvetydigt.
Bløde skygger skaber en bevidst tvetydighed. Deres ydre kant falmer gradvist, og der er ingen enkelt objektivt korrekt afskæring. At beholde den fulde skygge kan se naturligt ud på en lignende baggrund, men beskidt på et lyst nyt fyld. Fjernelse af det kan få motivet til at svæve.
Disse er dømmekraftsproblemer lige så meget som modelproblemer.
Modelmaske, arbejdsmaske og eksportmaske
Det hjælper med at adskille tre faser:
- Modelmaske: det automatiske estimat returneret ved inferens.
- Arbejdsmaske: masken vist i editoren efter enhver tilføjelse eller sletning.
- Eksporter maske: arbejdsmasken anvendt, når det aktuelle resultat downloades eller kopieres.
I Easy Background Remover redigerer penselforfining arbejdsmasken. Eksport bruger det aktuelle redigerede resultat i stedet for lydløst at vende tilbage til den uberørte automatiske maske. Dette lader modellen håndtere den brede adskillelse, mens du retter detaljer, der afhænger af hensigten.
Den viste forhåndsvisning kan skaleres, så den passer til editoren. Denne skærmstørrelse er ikke et pålideligt mål for maskens indre detaljer. Læs Maskeopløsning vs forhåndsvisningsstørrelse for at skelne.
Lokal inferens har stadig et opsætningstrin
Kørsel af en model på enheden kræver modelvægte og en kompatibel browserkørselstid. Vægtene er meget større end almindelig grænsefladekode, så det ville være spild at indlæse alt ved hver editor-lancering. En første session kan downloade og cache modellen. senere almindelige sessioner kan normalt genbruge det.
Why first run downloads a model forklarer denne grænse uden at forveksle en download af et modelaktiv med en fotoupload. Tung slutning løber også væk fra hovedgrænsefladetråden; se Web Worker billedbehandling grundlæggende.
En praktisk måde at bedømme resultatet på
Inspicer ikke kun midten af motivet. Tjek masken, hvor beviserne er svagest:
- hår, pels, knurhår og stoffibre;
- briller, stropper, ledninger og smalle mellemrum;
- kanter med lav kontrast;
- semi-transparent materiale;
- kontakt skygger;
- hjørner, hvor den gamle baggrundsfarve kan forblive.
Se resultatet over både en lys og mørk baggrund, hvis den endelige destination er ukendt. En bleg glorie kan forsvinde på hvidt og blive tydelig på sort. Forfin derefter kun de områder, der påvirker den påtænkte anvendelse.
Automatisk segmentering er mest nyttigt, når det behandles som et stærkt førstegangspas, ikke en erklæring om perfekt forståelse. For at prøve den fulde lokale udskæring og forfiningsflow, se Kom godt i gang.