Ce que voit un modèle de découpe sur l’appareil

By Technical specialist

Un modèle découpé sur l’appareil ne voit pas une personne, une chaussure, un animal ou une chaise au sens humain du terme. Il reçoit une représentation numérique de l’image et estime, pixel par pixel, quelles zones sont susceptibles d’appartenir au sujet principal. Son résultat utile est un masque : une carte en niveaux de gris qui peut devenir le canal de transparence du résultat.

Cette distinction explique à la fois la rapidité des coupures automatiques et leurs limites. Le modèle peut utiliser des modèles visuels appris lors de l’entraînement, mais il ne connaît pas votre intention. Un objet pointu près du centre peut sembler important ; un léger bord de verre ou une mèche de cheveux lâche peut ressembler à un arrière-plan.

Du fichier image à l’entrée du modèle

Le fichier que vous choisissez en premier doit être décodé. Une photo compressée n’est pas transmise directement au modèle sous forme de bloc d’octets de fichier. Le navigateur le transforme en pixels avec des valeurs de largeur, de hauteur et de couleur.

Le pipeline d’inférence prépare ensuite une entrée de la taille d’un modèle. Selon le modèle et l’exécution, la préparation peut inclure :

• redimensionner l’image décodée aux dimensions attendues par le modèle ;
• organiser les valeurs rouge, verte et bleue sous forme de canaux numériques ;
• mettre à l’échelle ou normaliser ces valeurs ;
• les regrouper dans un tenseur, le format de tableau utilisé par le runtime d’inférence.

Les dimensions exactes et les règles de normalisation appartiennent à l’implémentation du modèle. Le point pratique important est que l’inférence fonctionne généralement à partir d’une représentation préparée, et non à partir de chaque pixel source dans sa taille d’origine.

Easy Background Remover exécute cette étape d’inférence dans le navigateur avec un modèle de segmentation sur l’appareil. Le fichier modèle devra peut-être être téléchargé avant la première découpe, mais le chemin de traitement de l’image est conçu pour rester local une fois le modèle prêt. Le téléchargement du modèle est une demande d’actif ; ce n’est pas la même chose que de télécharger la photo sélectionnée pour une inférence à distance.

Le résultat est un masque de confiance

Pour chaque emplacement de sa sortie, le modèle produit une valeur qui peut être interprétée comme étant plus proche du sujet ou plus proche de l’arrière-plan. Il est utile de représenter cela sous la forme d’une image en niveaux de gris :

• le blanc signifie garder cette zone ;
• le noir signifie supprimer cette zone ;
• le gris signifie une couverture partielle ou une incertitude à proximité d’un bord.

Le navigateur convertit cette sortie en masque alpha de travail. Les pixels de couleur d’origine peuvent ensuite être composés sur un damier, un remplissage uni, un dégradé ou une autre image. Une exportation transparente stocke le masque en alpha plutôt que de peindre le damier dans le fichier.

Les valeurs douces comptent. Si chaque valeur de masque était immédiatement forcée au noir ou au blanc pur, les cheveux, la fourrure, les fibres de tissu, le flou de mouvement et les bords flous deviendraient anormalement durs. L’alpha partiel peut préserver une transition plus douce. Il peut également exposer des franges de couleur de l’ancien fond, c’est pourquoi le résultat mérite encore un contrôle visuel.

Quelles preuves visuelles aident le modèle

Un modèle de segmentation peut s’appuyer sur plusieurs indices à la fois. Les indices forts incluent souvent :

• contraste entre le sujet et l’arrière-plan ;
• des frontières continues autour d’un objet dominant ;
• des combinaisons familières de forme, de texture et de position ;
• des indices de profondeur tels que des différences de focalisation ;
• des régions qui visuellement vont ensemble.

Aucun de ces indices ne constitue une garantie. Une veste sombre contre un mur sombre offre un faible contraste de limite. Une chaise avec des espaces étroits peut contenir des régions d’arrière-plan qui ressemblent à l’objet. Une toile de fond à motifs peut rivaliser avec le sujet réel pour attirer l’attention.

Le modèle effectue une meilleure estimation à partir des pixels disponibles. Il ne peut pas récupérer les détails que l’image n’a jamais capturés.

Ce que le modèle ne sait pas

Le modèle ne sait pas automatiquement quel objet vous souhaitez conserver lorsque plusieurs sujets sont présents. Il ne sait pas qu’un verre à boire transparent est commercialement important, qu’une ombre doit rester pour être réaliste ou qu’une petite bandoulière appartient à un sac.

Il ne reçoit pas non plus de version cachée haute résolution d’une source floue. Les blocs de compression, les hautes lumières tronquées, le flou de mouvement et les très petits détails limitent les preuves disponibles. L’augmentation du zoom d’aperçu agrandit les pixels à l’écran ; cela ne crée pas d’informations manquantes.

C’est pourquoi « l’IA l’a détecté » et « le Edge est prêt à publier » sont des affirmations différentes. La détection démarre la modification. La revue le termine.

Pourquoi les détails fins et transparents sont difficiles

Les objets fins occupent peu de pixels. Lorsqu’une image est redimensionnée à des fins d’inférence, un fil ou une mèche de cheveux d’un pixel peut être moyenné avec l’arrière-plan qui l’entoure. Les objets transparents sont difficiles à réaliser pour une autre raison : leur couleur visible est en partie celle de l’ancien fond. La limite peut être claire pour une personne qui comprend l’objet, tandis que la configuration des pixels reste ambiguë.

Les ombres douces créent une ambiguïté intentionnelle. Leur bord extérieur s’estompe progressivement et il n’existe pas de coupure objectivement correcte. Conserver l’ombre complète peut paraître naturel sur un arrière-plan similaire, mais sale sur un nouveau remplissage brillant. Le supprimer peut donner l’impression que le sujet flotte.

Ce sont autant des problèmes de jugement que des problèmes de modèle.

Masque de modèle, masque de travail et masque d’exportation

Il est utile de séparer trois étapes :

1. Masque modèle : l’estimation automatique renvoyée par inférence.
2. Masque de travail : le masque affiché dans l’éditeur après tout affinement d’ajout ou d’effacement.
3. Masque d’exportation : le masque de travail appliqué lorsque le résultat actuel est téléchargé ou copié.

Dans Easy Background Remover, le raffinement du pinceau modifie le masque de travail. L’exportation utilise le résultat modifié actuel plutôt que de revenir silencieusement au masque automatique intact. Cela permet au modèle de gérer la large séparation pendant que vous corrigez les détails qui dépendent de l’intention.

L’aperçu affiché peut être mis à l’échelle pour s’adapter à l’éditeur. Cette taille d’affichage n’est pas une mesure fiable des détails internes du masque. Lisez Résolution du masque par rapport à la taille de l’aperçu pour la distinction.

L’inférence locale a encore une étape de configuration

L’exécution d’un modèle sur l’appareil nécessite les pondérations du modèle et un environnement d’exécution de navigateur compatible. Les poids sont beaucoup plus importants que le code d’interface ordinaire, donc tout charger à chaque lancement de l’éditeur serait un gaspillage. Une première session peut télécharger et mettre en cache le modèle ; les sessions ordinaires ultérieures peuvent généralement le réutiliser.

Pourquoi exécuter d’abord le téléchargement d’un modèle explique cette limite sans confondre le téléchargement d’un élément de modèle avec un téléchargement de photo. Les inférences lourdes s’éloignent également du thread d’interface principal ; voir Bases du traitement d’images Web Worker.

Une manière pratique de juger du résultat

N’inspectez pas uniquement le centre du sujet. Vérifiez le masque là où les preuves sont les plus faibles :

• les cheveux, la fourrure, les moustaches et les fibres textiles ;
• lunettes, sangles, fils et espaces étroits ;
• bords peu contrastés ;
• matériau semi-transparent ;
• contacter les ombres ;
• les coins où l’ancienne couleur de fond peut subsister.

Affichez le résultat sur un arrière-plan clair et sombre si la destination finale est inconnue. Un halo pâle peut disparaître sur le blanc et devenir évident sur le noir. Affinez ensuite uniquement les domaines qui affectent l’utilisation prévue.

La segmentation automatique est plus utile lorsqu’elle est traitée comme un premier passage solide, et non comme une déclaration de compréhension parfaite. Pour essayer le flux local complet de découpage et de raffinement, consultez Premiers pas.