Wat een model op je apparaat “ziet” bij een uitsnede

By Technical specialist

Het model ziet geen “product” of “persoon” zoals jij — het ziet pixelpatronen en schat welke gebieden waarschijnlijk bij het onderwerp horen. Harde contrastgrenzen helpen; lage resolutie en bewegingsonscherpte hinderen.

Daarom faalt een blurry thumbnail sneller dan een scherpe originele foto, ook bij hetzelfde onderwerp.

Van afbeeldingsbestand naar modelinvoer

Het bestand dat u kiest, moet eerst worden gedecodeerd. Een gecomprimeerde foto wordt niet rechtstreeks in het model doorgegeven als een blok bestandsbytes. De browser verandert het in pixels met breedte-, hoogte- en kleurwaarden.

De inferentiepijplijn bereidt vervolgens een invoer op modelgrootte voor. Afhankelijk van het model en de looptijd kan de voorbereiding het volgende omvatten:

• het formaat van het gedecodeerde beeld aanpassen aan de afmetingen die het model verwacht;
• het rangschikken van rode, groene en blauwe waarden als numerieke kanalen;
• het schalen of normaliseren van deze waarden;
• ze verpakken in een tensor, het array-formaat dat wordt gebruikt door de inference runtime.

De exacte afmetingen en normalisatieregels behoren tot de modelimplementatie. Het belangrijke praktische punt is dat verwerking meestal werkt vanuit een voorbereide representatie, en niet vanuit elke bronpixel op zijn oorspronkelijke grootte.

Easy Background Remover voert deze gevolgtrekkingsstap uit in de browser met een segmentatiemodel op het apparaat. Het modelbestand moet mogelijk worden gedownload vóór de eerste uitsnede, maar het beeldverwerkingspad is zo ontworpen dat het lokaal blijft zodra het model gereed is. De modeldownload is een activaverzoek; het is niet hetzelfde als het uploaden van de geselecteerde foto voor verwerking op afstand.

De uitvoer is een vertrouwensachtig masker

Voor elke locatie in de uitvoer produceert het model een waarde die kan worden geïnterpreteerd als meer onderwerpachtig of meer achtergrondachtig. Het is handig om dit als een grijswaardenafbeelding voor te stellen:

• wit betekent dit gebied behouden;
• zwart betekent dit gebied verwijderen;
• grijs betekent gedeeltelijke dekking of onzekerheid nabij een rand.

De browser converteert die uitvoer naar het werkende alfamasker. De originele kleurpixels kunnen vervolgens worden samengesteld over een schaakbord, een effen vulling, een verloop of een andere afbeelding. Bij een transparante export wordt het masker als alfa opgeslagen in plaats van dat er een schaakbord in het bestand wordt getekend.

De zachte waarden zijn belangrijk. Als elke maskerwaarde onmiddellijk naar puur zwart of wit zou worden gedwongen, zouden haar, vacht, stofvezels, bewegingsonscherpte en onscherpe randen onnatuurlijk hard worden. Gedeeltelijke alfa kan een vloeiendere overgang behouden. Het kan ook kleurranden van de oude achtergrond blootleggen, daarom verdient het resultaat nog steeds een visuele controle.

Welk visueel bewijs helpt het model

Een segmentatiemodel kan uit meer dan één aanwijzing tegelijk putten. Sterke aanwijzingen zijn vaak:

• contrast tussen onderwerp en achtergrond;
• doorlopende grenzen rond een dominant object;
• bekende combinaties van vorm, textuur en positie;
• diepteaanwijzingen zoals focusverschillen;
• regio’s die visueel bij elkaar horen.

Geen van deze aanwijzingen is een garantie. Een donker jasje tegen een donkere muur biedt een zwak grenscontrast. Een stoel met smalle openingen kan achtergrondgebieden bevatten die op het object lijken. Een achtergrond met patronen kan concurreren met het daadwerkelijke onderwerp om aandacht.

Het model maakt een beste schatting op basis van de beschikbare pixels. Het kan geen details herstellen die de afbeelding nooit heeft vastgelegd.

Wat het model niet weet

Als er meerdere onderwerpen aanwezig zijn, weet het model niet automatisch welk object u wilt behouden. Het weet niet dat een transparant drinkglas commercieel belangrijk is, dat er voor realisme een schaduw moet blijven, of dat een klein riempje bij een tas hoort.

Het ontvangt ook geen verborgen hoge-resolutieversie van een wazige bron. Compressieblokken, uitgeknipte hooglichten, bewegingsonscherpte en zeer kleine details beperken het beschikbare bewijsmateriaal. Als u de voorbeeldzoom vergroot, worden de pixels op het scherm groter; het creëert geen ontbrekende informatie.

Dit is de reden waarom ‘AI het heeft gedetecteerd’ en ‘de edge is klaar om te publiceren’ verschillende beweringen zijn. Detectie start de bewerking. Review maakt het af.

Waarom dunne en transparante details moeilijk zijn

Dunne objecten nemen weinig pixels in beslag. Wanneer het formaat van een afbeelding wordt gewijzigd om gevolgtrekkingen te maken, kan een draad of haarlok van één pixel worden gemiddeld met de achtergrond eromheen. Transparante objecten zijn om een ​​andere reden moeilijk: hun zichtbare kleur is deels de oude achtergrond. De grens kan duidelijk zijn voor iemand die het object begrijpt, terwijl het pixelpatroon dubbelzinnig blijft.

Zachte schaduwen creëren een opzettelijke dubbelzinnigheid. Hun buitenste rand vervaagt geleidelijk, en er is geen enkele objectief correcte afsnijding. Het behouden van de volledige schaduw kan er natuurlijk uitzien op een vergelijkbare achtergrond, maar vies op een heldere nieuwe vulling. Als u dit verwijdert, kan het lijken alsof het onderwerp zweeft.

Dit zijn zowel beoordelingsproblemen als modelproblemen.

Modelmasker, werkmasker en exportmasker

Het helpt om drie fasen te scheiden:

1. Modelmasker: de automatische schatting die wordt geretourneerd door verwerking.
2. Werkmasker: het masker dat in de editor wordt weergegeven na eventuele verfijningen met Toevoegen of Wissen.
3. Exportmasker: het werkmasker dat wordt toegepast wanneer het huidige resultaat wordt gedownload of gekopieerd.

In Easy Background Remover bewerkt penseelverfijning het werkmasker. Export gebruikt het huidige bewerkte resultaat in plaats van stilletjes terug te keren naar het onaangeroerde automatische masker. Hierdoor kan het model de brede scheiding aan, terwijl u details corrigeert die afhankelijk zijn van de intentie.

Het weergegeven voorbeeld kan worden geschaald zodat het in de editor past. Die weergavegrootte is geen betrouwbare maatstaf voor de interne details van het masker. Lees Maskerresolutie versus voorbeeldgrootte voor het onderscheid.

Lokale verwerking heeft nog steeds een installatiestap

Voor het uitvoeren van een model op het apparaat zijn de modelgewichten en een compatibele browserruntime vereist. De gewichten zijn veel groter dan die van gewone interfacecode, dus het zou verspilling zijn om alles bij elke opstart van de editor te laden. Een eerste sessie kan het model downloaden en in de cache opslaan; latere gewone sessies kunnen het meestal hergebruiken.

Waarom een ​​model eerst wordt gedownload legt die grens uit zonder het downloaden van een modelitem te verwarren met het uploaden van een foto. Zware gevolgtrekkingen lopen ook weg van de hoofdinterfacethread; zie Basisprincipes van beeldverwerking van Web Worker.

Een praktische manier om het resultaat te beoordelen

Inspecteer niet alleen het midden van het onderwerp. Controleer het masker waar het bewijs het zwakst is:

• haar, vacht, snorharen en stofvezels;
• brillen, riemen, draden en smalle openingen;
• contrastarme randen;
• semi-transparant materiaal;
• contactschaduwen;
• hoeken waar de oude achtergrondkleur kan blijven.

Bekijk het resultaat over zowel een lichte als een donkere achtergrond als de eindbestemming onbekend is. Een bleke halo kan op wit verdwijnen en op zwart duidelijk worden. Verfijn vervolgens alleen de gebieden die van invloed zijn op het beoogde gebruik.

Automatische segmentatie is het nuttigst wanneer het wordt behandeld als een sterke eerste stap, en niet als een verklaring van perfect begrip. Zie Aan de slag om de volledige lokale uitsnijdings- en verfijningsstroom uit te proberen.