Was ein Ausschnittmodell auf dem Gerät sieht
Ein Ausschnittmodell auf dem Gerät sieht keine Person, keinen Schuh, kein Haustier oder keinen Stuhl im menschlichen Sinne. Es erhält eine numerische Darstellung des Bildes und schätzt Pixel für Pixel, welche Bereiche wahrscheinlich zum Hauptmotiv gehören. Die nützliche Ausgabe ist eine Maske: eine Graustufenkarte, die zum Transparenzkanal des Ergebnisses werden kann.
Diese Unterscheidung erklärt sowohl die Geschwindigkeit automatischer Abschaltungen als auch ihre Grenzen. Das Modell kann während des Trainings erlernte visuelle Muster verwenden, kennt jedoch Ihre Absicht nicht. Ein scharfer Gegenstand in der Nähe der Mitte kann wichtig aussehen; Ein schwacher Glasrand oder eine lose Haarsträhne können wie ein Hintergrund aussehen.
Von der Bilddatei zur Modelleingabe
Die von Ihnen ausgewählte Datei muss zunächst dekodiert werden. Ein komprimiertes Foto wird nicht direkt als Block von Dateibytes an das Modell übergeben. Der Browser wandelt es in Pixel mit Breiten-, Höhen- und Farbwerten um.
Die Inferenzpipeline bereitet dann eine Eingabe in Modellgröße vor. Je nach Modell und Laufzeit kann die Vorbereitung Folgendes umfassen:
- Ändern der Größe des dekodierten Bildes auf die vom Modell erwarteten Abmessungen;
- Anordnen der Rot-, Grün- und Blauwerte als numerische Kanäle; – Skalieren oder Normalisieren dieser Werte;
- Packen Sie sie in einen Tensor, das Array-Format, das von der Inferenzlaufzeit verwendet wird.
Die genauen Dimensionen und Normalisierungsregeln gehören zur Modellimplementierung. Der wichtige praktische Punkt besteht darin, dass die Schlussfolgerung normalerweise auf der Grundlage einer vorbereiteten Darstellung funktioniert und nicht auf der Grundlage jedes Quellpixels in seiner Originalgröße.
Easy Background Remover führt diesen Inferenzschritt im Browser mit einem geräteinternen Segmentierungsmodell aus. Die Modelldatei muss möglicherweise vor dem ersten Ausschnitt heruntergeladen werden, der Bildverarbeitungspfad ist jedoch so konzipiert, dass er lokal bleibt, sobald das Modell fertig ist. Der Modell-Download ist eine Asset-Anfrage; Es ist nicht dasselbe wie das Hochladen des ausgewählten Fotos zur Fernabfrage.
Die Ausgabe ist eine konfidenzähnliche Maske
Für jeden Standort in seiner Ausgabe erzeugt das Modell einen Wert, der eher subjektartig oder eher hintergrundähnlich interpretiert werden kann. Es ist sinnvoll, sich dies als Graustufenbild vorzustellen:
- Weiß bedeutet, diesen Bereich beizubehalten;
- Schwarz bedeutet, diesen Bereich zu entfernen;
- Grau bedeutet teilweise Abdeckung oder Unsicherheit in der Nähe einer Kante.
Der Browser konvertiert diese Ausgabe in die funktionierende Alphamaske. Die ursprünglichen Farbpixel können dann über einem Schachbrettmuster, einer Volltonfüllung, einem Farbverlauf oder einem anderen Bild zusammengesetzt werden. Bei einem transparenten Export wird die Maske als Alpha gespeichert, anstatt das Schachbrettmuster in die Datei zu zeichnen.
Die weichen Werte sind wichtig. Wenn jeder Maskenwert sofort auf reines Schwarz oder Weiß umgestellt würde, würden Haare, Fell, Stofffasern, Bewegungsunschärfe und defokussierte Kanten unnatürlich hart werden. Durch partielles Alpha kann ein reibungsloserer Übergang gewährleistet werden. Außerdem kann es zu Farbsäumen des alten Hintergrunds kommen, weshalb das Ergebnis dennoch einer visuellen Kontrolle bedarf.
Welche visuellen Beweise helfen dem Modell?
Ein Segmentierungsmodell kann auf mehr als einen Hinweis gleichzeitig zurückgreifen. Starke Hinweise sind oft:
- Kontrast zwischen Motiv und Hintergrund;
- kontinuierliche Grenzen um ein dominantes Objekt;
- bekannte Kombinationen aus Form, Textur und Position;
- Tiefenhinweise wie Fokusunterschiede;
- Bereiche, die optisch zusammengehören.
Keiner dieser Hinweise ist eine Garantie. Eine dunkle Jacke vor einer dunklen Wand bietet einen schwachen Grenzkontrast. Ein Stuhl mit schmalen Lücken kann Hintergrundbereiche enthalten, die dem Objekt ähneln. Ein gemusterter Hintergrund kann mit dem eigentlichen Motiv um Aufmerksamkeit konkurrieren.
Das Modell erstellt eine beste Schätzung anhand der verfügbaren Pixel. Es können keine Details wiederhergestellt werden, die im Bild nie erfasst wurden.
Was das Model nicht weiß
Das Modell weiß nicht automatisch, welches Objekt Sie behalten wollten, wenn mehrere Subjekte vorhanden sind. Es weiß nicht, dass ein transparentes Trinkglas kommerziell wichtig ist, dass aus Gründen des Realismus ein Schatten bleiben sollte oder dass ein kleiner Riemen zu einer Tasche gehört.
Es erhält auch keine versteckte hochauflösende Version einer verschwommenen Quelle. Komprimierungsblöcke, abgeschnittene Lichter, Bewegungsunschärfe und sehr kleine Details schränken die verfügbaren Beweise ein. Durch Erhöhen des Vorschauzooms werden die Pixel auf dem Bildschirm größer. Es entstehen keine fehlenden Informationen.
Aus diesem Grund sind „KI hat es erkannt“ und „Der Rand ist bereit zur Veröffentlichung“ unterschiedliche Behauptungen. Die Erkennung startet die Bearbeitung. Die Rezension macht Schluss.
Warum dünne und transparente Details schwierig sind
Dünne Objekte belegen nur wenige Pixel. Wenn die Größe eines Bildes für Rückschlüsse geändert wird, wird möglicherweise ein Ein-Pixel-Draht oder eine Haarsträhne mit dem Hintergrund um ihn herum gemittelt. Transparente Objekte sind aus einem anderen Grund schwierig: Ihre sichtbare Farbe ist teilweise der alte Hintergrund. Die Grenze kann für eine Person, die das Objekt versteht, klar sein, während das Pixelmuster mehrdeutig bleibt.
Weiche Schatten erzeugen eine bewusste Mehrdeutigkeit. Ihr äußerer Rand verblasst allmählich, und es gibt keinen einzigen objektiv korrekten Grenzwert. Das Beibehalten des vollen Schattens kann auf einem ähnlichen Hintergrund natürlich aussehen, auf einer hellen neuen Füllung jedoch schmutzig. Wenn Sie es entfernen, scheint das Motiv zu schweben.
Dabei handelt es sich sowohl um Beurteilungsprobleme als auch um Modellprobleme.
Modellmaske, Arbeitsmaske und Exportmaske
Es hilft, drei Phasen zu unterscheiden:
- Modellmaske: die durch Inferenz zurückgegebene automatische Schätzung.
- Arbeitsmaske: die Maske, die im Editor nach jeder Verfeinerung durch Hinzufügen oder Löschen angezeigt wird.
- Exportmaske: die Arbeitsmaske, die angewendet wird, wenn das aktuelle Ergebnis heruntergeladen oder kopiert wird.
In Easy Background Remover wird durch die Pinselverfeinerung die Arbeitsmaske bearbeitet. Beim Exportieren wird das aktuell bearbeitete Ergebnis verwendet, anstatt stillschweigend zur unberührten automatischen Maske zurückzukehren. Dadurch kann das Modell die breite Trennung bewältigen, während Sie Details korrigieren, die von der Absicht abhängen.
Die angezeigte Vorschau kann an den Editor angepasst werden. Diese Anzeigegröße ist kein verlässliches Maß für die internen Details der Maske. Lesen Sie Maskenauflösung vs. Vorschaugröße für den Unterschied.
Für die lokale Inferenz ist noch ein Einrichtungsschritt erforderlich
Für die Ausführung eines Modells auf dem Gerät sind die Modellgewichtungen und eine kompatible Browser-Laufzeitumgebung erforderlich. Die Gewichte sind viel größer als bei gewöhnlichem Schnittstellencode, daher wäre es verschwenderisch, bei jedem Editorstart alles zu laden. Eine erste Sitzung kann das Modell herunterladen und zwischenspeichern; Spätere normale Sitzungen können es normalerweise wiederverwenden.
Warum beim ersten Ausführen ein Modell heruntergeladen wird erklärt diese Grenze, ohne den Download eines Modell-Assets mit dem Hochladen eines Fotos zu verwechseln. Schwere Schlussfolgerungen laufen auch vom Hauptschnittstellen-Thread ab; siehe Grundlagen der Web Worker-Bildverarbeitung.
Eine praktische Möglichkeit, das Ergebnis zu beurteilen
Untersuchen Sie nicht nur die Mitte des Motivs. Überprüfen Sie die Maske dort, wo die Beweise am schwächsten sind:
- Haare, Fell, Schnurrhaare und Stofffasern;
- Brillen, Riemen, Drähte und enge Lücken;
- kontrastarme Kanten;
- halbtransparentes Material;
- Kontaktschatten;
- Ecken, in denen die alte Hintergrundfarbe verbleiben kann.
Sehen Sie sich das Ergebnis sowohl vor einem hellen als auch einem dunklen Hintergrund an, wenn das endgültige Ziel unbekannt ist. Ein blasser Lichthof kann auf Weiß verschwinden und auf Schwarz deutlich werden. Verfeinern Sie dann nur die Bereiche, die den Verwendungszweck betreffen.
Die automatische Segmentierung ist am nützlichsten, wenn sie als starker erster Durchgang und nicht als Aussage über ein perfektes Verständnis behandelt wird. Informationen zum Ausprobieren des vollständigen lokalen Ausschnitts- und Verfeinerungsablaufs finden Sie unter Erste Schritte.