Τι «βλέπει» ένα μοντέλο αποκοπής στη συσκευή

By Technical specialist

Ένα μοντέλο αποκοπής στη συσκευή δεν βλέπει άτομο, παπούτσι, κατοικίδιο ή καρέκλα με ανθρώπινη έννοια. Λαμβάνει αριθμητική αναπαράσταση της εικόνας και εκτιμά, pixel προς pixel, ποιες περιοχές πιθανόν ανήκουν στο κύριο θέμα. Το χρήσιμο αποτέλεσμα είναι μάσκα: ένας χάρτης σε αποχρώσεις του γκρι που μπορεί να γίνει το κανάλι διαφάνειας του αποτελέσματος.

Αυτή η διάκριση εξηγεί τόσο την ταχύτητα των αυτόματων αποκοπών όσο και τα όριά τους. Το μοντέλο χρησιμοποιεί οπτικά μοτίβα από την εκπαίδευση, αλλά δεν γνωρίζει την πρόθεσή σας. Ένα ευκρινές αντικείμενο κοντά στο κέντρο μπορεί να φαίνεται σημαντικό· ένα ασθενές χείλος γυαλιού ή μια χαλαρή τρίχα μπορεί να μοιάζει με φόντο.

Από αρχείο εικόνας έως είσοδο μοντέλου

Το αρχείο που θα επιλέξετε πρώτα πρέπει να αποκωδικοποιηθεί. Μια συμπιεσμένη φωτογραφία δεν μεταβιβάζεται απευθείας στο μοντέλο ως μπλοκ byte αρχείου. Το πρόγραμμα περιήγησης το μετατρέπει σε pixel με τιμές πλάτους, ύψους και χρώματος.

Ο αγωγός συμπερασμάτων στη συνέχεια προετοιμάζει μια είσοδο μεγέθους μοντέλου. Ανάλογα με το μοντέλο και το χρόνο εκτέλεσης, η προετοιμασία μπορεί να περιλαμβάνει:

• αλλαγή του μεγέθους της αποκωδικοποιημένης εικόνας στις διαστάσεις που αναμένει το μοντέλο.
• Τακτοποίηση τιμών κόκκινου, πράσινου και μπλε ως αριθμητικά κανάλια.
• κλιμάκωση ή κανονικοποίηση αυτών των τιμών.
• συσκευάζοντάς τα σε έναν τανυστήρα, τη μορφή πίνακα που χρησιμοποιείται από τον χρόνο εκτέλεσης συμπερασμάτων.

Οι ακριβείς διαστάσεις και οι κανόνες κανονικοποίησης ανήκουν στην υλοποίηση του μοντέλου. Το σημαντικό πρακτικό σημείο είναι ότι το συμπέρασμα συνήθως λειτουργεί από μια προετοιμασμένη αναπαράσταση, όχι από κάθε pixel πηγής στο αρχικό του μέγεθος.

Το Easy Background Remover εκτελεί αυτό το βήμα συμπερασμάτων στο πρόγραμμα περιήγησης με ένα μοντέλο τμηματοποίησης στη συσκευή. Το αρχείο μοντέλου μπορεί να χρειαστεί να γίνει λήψη πριν από την πρώτη αποκοπή, αλλά η διαδρομή επεξεργασίας εικόνας έχει σχεδιαστεί ώστε να παραμένει τοπική μόλις το μοντέλο είναι έτοιμο. Η λήψη του μοντέλου είναι ένα αίτημα περιουσιακού στοιχείου. δεν είναι το ίδιο πράγμα με τη μεταφόρτωση της επιλεγμένης φωτογραφίας για εξ αποστάσεως συμπέρασμα.

Η έξοδος είναι μια μάσκα εμπιστοσύνης

Για κάθε θέση στην έξοδο του, το μοντέλο παράγει μια τιμή που μπορεί να ερμηνευθεί ως περισσότερο σαν θέμα ή περισσότερο σαν φόντο. Είναι χρήσιμο να το απεικονίσετε ως εικόνα σε κλίμακα του γκρι:

• λευκό σημαίνει διατήρηση αυτής της περιοχής.
• το μαύρο σημαίνει αφαιρέστε αυτήν την περιοχή.
• γκρι σημαίνει μερική κάλυψη ή αβεβαιότητα κοντά σε μια άκρη.

Το πρόγραμμα περιήγησης μετατρέπει αυτήν την έξοδο στην λειτουργική μάσκα άλφα. Τα αρχικά έγχρωμα εικονοστοιχεία μπορούν στη συνέχεια να συντεθούν σε ένα σκακιέρα, ένα συμπαγές γέμισμα, μια διαβάθμιση ή άλλη εικόνα. Μια διαφανής εξαγωγή αποθηκεύει τη μάσκα ως άλφα αντί να ζωγραφίζει το σκακιέρα στο αρχείο.

Οι μαλακές αξίες έχουν σημασία. Εάν κάθε τιμή μάσκας αναγκαζόταν αμέσως σε καθαρό μαύρο ή άσπρο, τα μαλλιά, η γούνα, οι ίνες υφάσματος, το θάμπωμα κίνησης και οι αποεστιασμένες άκρες θα γίνονταν αφύσικα σκληρές. Το μερικό άλφα μπορεί να διατηρήσει μια πιο ομαλή μετάβαση. Μπορεί επίσης να εκθέσει το χρωματικό περιθώριο από το παλιό φόντο, γι’ αυτό το αποτέλεσμα εξακολουθεί να αξίζει έναν οπτικό έλεγχο.

Ποια οπτικά στοιχεία βοηθούν το μοντέλο

Ένα μοντέλο τμηματοποίησης μπορεί να βασιστεί σε περισσότερες από μία ενδείξεις ταυτόχρονα. Οι ισχυρές ενδείξεις συχνά περιλαμβάνουν:

• αντίθεση μεταξύ θέματος και φόντου.
• συνεχή όρια γύρω από ένα κυρίαρχο αντικείμενο.
• οικείοι συνδυασμοί σχήματος, υφής και θέσης.
• ενδείξεις βάθους όπως διαφορές εστίασης.
• περιοχές που οπτικά ανήκουν μαζί.

Καμία από αυτές τις ενδείξεις δεν αποτελεί εγγύηση. Ένα σκούρο σακάκι σε έναν σκοτεινό τοίχο προσφέρει ασθενή αντίθεση στα όρια. Μια καρέκλα με στενά κενά μπορεί να περιέχει περιοχές φόντου που μοιάζουν με το αντικείμενο. Ένα σκηνικό με σχέδια μπορεί να ανταγωνιστεί το πραγματικό θέμα για την προσοχή.

Το μοντέλο κάνει μια καλύτερη εκτίμηση από τα διαθέσιμα pixel. Δεν μπορεί να ανακτήσει τη λεπτομέρεια που δεν κατέγραψε ποτέ η εικόνα.

Τι δεν ξέρει το μοντέλο

Το μοντέλο δεν γνωρίζει αυτόματα ποιο αντικείμενο σκοπεύατε να κρατήσετε όταν υπάρχουν πολλά θέματα. Δεν γνωρίζει ότι ένα διαφανές ποτήρι είναι εμπορικά σημαντικό, ότι μια σκιά πρέπει να μείνει για ρεαλισμό ή ότι ένα μικρό λουράκι ανήκει σε μια τσάντα.

Επίσης, δεν λαμβάνει μια κρυφή έκδοση υψηλής ανάλυσης μιας θολής πηγής. Τα μπλοκ συμπίεσης, οι κομμένες επισημάνσεις, η θαμπάδα κίνησης και οι πολύ μικρές λεπτομέρειες περιορίζουν τα διαθέσιμα στοιχεία. Η αύξηση του ζουμ προεπισκόπησης κάνει τα pixel μεγαλύτερα στην οθόνη. δεν δημιουργεί πληροφορίες που λείπουν.

Αυτός είναι ο λόγος για τον οποίο “το AI το εντόπισε” και “το άκρο είναι έτοιμο για δημοσίευση” είναι διαφορετικοί ισχυρισμοί. Η ανίχνευση ξεκινά την επεξεργασία. Η κριτική το ολοκληρώνει.

Γιατί οι λεπτές και διάφανες λεπτομέρειες είναι δύσκολες

Τα λεπτά αντικείμενα καταλαμβάνουν λίγα pixel. Όταν αλλάζει το μέγεθος μιας εικόνας για συμπέρασμα, μπορεί να υπολογιστεί ο μέσος όρος ενός σύρματος ενός εικονοστοιχείου ή μιας τρίχας με το φόντο γύρω της. Τα διαφανή αντικείμενα είναι δύσκολα για έναν άλλο λόγο: το ορατό χρώμα τους είναι εν μέρει το παλιό φόντο. Το όριο μπορεί να είναι σαφές σε ένα άτομο που κατανοεί το αντικείμενο, ενώ το μοτίβο εικονοστοιχείων παραμένει ασαφές.

Οι απαλές σκιές δημιουργούν μια σκόπιμη ασάφεια. Το εξωτερικό τους άκρο ξεθωριάζει σταδιακά και δεν υπάρχει ενιαία αντικειμενικά σωστή αποκοπή. Η διατήρηση της πλήρους σκιάς μπορεί να φαίνεται φυσική σε παρόμοιο φόντο, αλλά βρώμικη σε ένα νέο φωτεινό γέμισμα. Η αφαίρεσή του μπορεί να κάνει το θέμα να φαίνεται να επιπλέει.

Αυτά είναι προβλήματα κρίσης όσο και προβλήματα μοντέλων.

Μοντέλο μάσκας, μάσκα εργασίας και μάσκα εξαγωγής

Βοηθά στον διαχωρισμό τριών σταδίων:

1. Μάσκα μοντέλου: η αυτόματη εκτίμηση που επιστρέφεται με συμπέρασμα.
2. Μάσκα εργασίας: η μάσκα που εμφανίζεται στο πρόγραμμα επεξεργασίας μετά από οποιαδήποτε βελτίωση Προσθήκη ή Διαγραφή.
3. Εξαγωγή μάσκας: η μάσκα εργασίας που εφαρμόζεται όταν γίνεται λήψη ή αντιγραφή του τρέχοντος αποτελέσματος.

Στο Easy Background Remover, η βελτίωση της βούρτσας επεξεργάζεται τη μάσκα εργασίας. Η Εξαγωγή χρησιμοποιεί το τρέχον επεξεργασμένο αποτέλεσμα αντί να επιστρέφει σιωπηλά στην ανέγγιχτη αυτόματη μάσκα. Αυτό επιτρέπει στο μοντέλο να χειρίζεται τον ευρύ διαχωρισμό ενώ διορθώνετε λεπτομέρειες που εξαρτώνται από την πρόθεση.

Η προεπισκόπηση που εμφανίζεται μπορεί να κλιμακωθεί ώστε να ταιριάζει στο πρόγραμμα επεξεργασίας. Αυτό το μέγεθος οθόνης δεν αποτελεί αξιόπιστο μέτρο της εσωτερικής λεπτομέρειας της μάσκας. Διαβάστε Ανάλυση μάσκας έναντι μεγέθους προεπισκόπησης για τη διάκριση.

Το τοπικό συμπέρασμα εξακολουθεί να έχει ένα βήμα ρύθμισης

Η εκτέλεση ενός μοντέλου στη συσκευή απαιτεί τα βάρη του μοντέλου και έναν συμβατό χρόνο εκτέλεσης προγράμματος περιήγησης. Τα βάρη είναι πολύ μεγαλύτερα από τον συνηθισμένο κώδικα διεπαφής, επομένως η φόρτωση των πάντων σε κάθε εκκίνηση του προγράμματος επεξεργασίας θα ήταν σπάταλη. Μια πρώτη συνεδρία μπορεί να πραγματοποιήσει λήψη και προσωρινή αποθήκευση του μοντέλου. Οι μεταγενέστερες συνηθισμένες συνεδρίες μπορούν συνήθως να το επαναχρησιμοποιήσουν.

Το Why first run downloads a model εξηγεί αυτό το όριο χωρίς να συγχέει μια λήψη στοιχείου μοντέλου με μια μεταφόρτωση φωτογραφίας. Το βαρύ συμπέρασμα απομακρύνεται επίσης από το κύριο νήμα διεπαφής. ανατρέξτε στο Web Worker image processing basics.

Ένας πρακτικός τρόπος να κρίνεις το αποτέλεσμα

Μην επιθεωρείτε μόνο το κέντρο του θέματος. Ελέγξτε τη μάσκα όπου τα στοιχεία είναι πιο αδύναμα:

• τρίχες, γούνα, μουστάκια και ίνες υφάσματος.
• γυαλιά, ιμάντες, σύρματα και στενά κενά.
• άκρες χαμηλής αντίθεσης.
• ημιδιαφανές υλικό.
• σκιές επαφής.
• γωνίες όπου μπορεί να παραμείνει το παλιό χρώμα φόντου.

Προβάλετε το αποτέλεσμα σε ανοιχτό και σκούρο φόντο εάν ο τελικός προορισμός είναι άγνωστος. Ένα χλωμό φωτοστέφανο μπορεί να εξαφανιστεί στο λευκό και να γίνει εμφανές στο μαύρο. Στη συνέχεια, βελτιώστε μόνο τις περιοχές που επηρεάζουν την προβλεπόμενη χρήση.

Η αυτόματη τμηματοποίηση είναι πιο χρήσιμη όταν αντιμετωπίζεται ως ισχυρό πρώτο πέρασμα, όχι ως δήλωση τέλειας κατανόησης. Για να δοκιμάσετε την πλήρη τοπική ροή αποκοπής και βελτίωσης, ανατρέξτε στο Get started.