Apa yang «dilihat» model potong di perangkat
Model di perangkat tidak «memahami» foto seperti manusia. Ia melihat piksel dan memperkirakan mana yang milik subjek. Karena itu kontras, ketajaman, dan skala lebih berpengaruh daripada deskripsi teks konten.
Mengetahui apa yang bisa dipakai model membantu memilih sumber yang lebih baik dan tidak mengharapkan keajaiban pada tepi yang tak terlihat.
Dari file gambar ke input model
File yang Anda pilih pertama kali harus didekodekan. Foto terkompresi tidak diteruskan langsung ke model sebagai blok byte file. Browser mengubahnya menjadi piksel dengan nilai lebar, tinggi, dan warna.
Pipa inferensi kemudian menyiapkan masukan berukuran model. Tergantung pada model dan waktu proses, persiapan dapat mencakup:
- mengubah ukuran gambar yang didekodekan ke dimensi yang diharapkan model;
- menyusun nilai merah, hijau, dan biru sebagai saluran numerik;
- menskalakan atau menormalkan nilai-nilai tersebut;
- mengemasnya ke dalam tensor, format array yang digunakan oleh runtime inferensi.
Dimensi yang tepat dan aturan normalisasi adalah milik implementasi model. Poin praktis yang penting adalah bahwa inferensi biasanya bekerja dari representasi yang telah disiapkan, bukan dari setiap piksel sumber pada ukuran aslinya.
Easy Background Remover menjalankan langkah inferensi ini di browser dengan model segmentasi pada perangkat. File model mungkin perlu diunduh sebelum potongan pertama, namun jalur pemrosesan gambar dirancang untuk tetap bersifat lokal setelah model siap. Pengunduhan model adalah permintaan aset; ini tidak sama dengan mengunggah foto yang dipilih untuk inferensi jarak jauh.
Outputnya adalah topeng seperti kepercayaan diri
Untuk setiap lokasi dalam keluarannya, model menghasilkan nilai yang dapat diinterpretasikan lebih mirip subjek atau lebih mirip latar belakang. Hal ini berguna untuk menggambarkan ini sebagai gambar skala abu-abu:
- putih berarti menjaga area ini;
- hitam berarti menghilangkan area ini;
- abu-abu berarti cakupan sebagian atau ketidakpastian di dekat suatu tepi.
Browser mengubah keluaran tersebut menjadi topeng alfa yang berfungsi. Piksel warna asli kemudian dapat dikomposisikan pada papan kotak-kotak, isian padat, gradien, atau gambar lainnya. Ekspor transparan menyimpan topeng sebagai alfa daripada mengecat kotak-kotak ke dalam file.
Nilai-nilai lembut itu penting. Jika setiap nilai topeng dipaksa segera menjadi hitam atau putih murni, rambut, bulu, serat kain, gerakan kabur, dan tepian yang tidak fokus akan menjadi keras secara tidak wajar. Alfa parsial dapat mempertahankan transisi yang lebih mulus. Ini juga dapat mengekspos pinggiran warna dari latar belakang lama, itulah sebabnya hasilnya masih layak untuk diperiksa secara visual.
Bukti visual apa yang membantu model
Model segmentasi dapat memanfaatkan lebih dari satu petunjuk sekaligus. Petunjuk kuat sering kali mencakup:
- kontras antara subjek dan latar belakang;
- batas-batas kontinu di sekitar objek dominan;
- kombinasi bentuk, tekstur, dan posisi yang familiar;
- isyarat kedalaman seperti perbedaan fokus;
- wilayah yang secara visual saling memiliki.
Tak satu pun dari petunjuk ini yang merupakan jaminan. Jaket gelap di dinding gelap menawarkan kontras batas yang lemah. Kursi dengan celah sempit mungkin memiliki area latar belakang yang menyerupai objek. Latar belakang berpola dapat bersaing dengan subjek sebenarnya untuk mendapatkan perhatian.
Model membuat perkiraan terbaik dari piksel yang tersedia. Itu tidak dapat memulihkan detail yang tidak pernah diambil gambarnya.
Apa yang tidak diketahui modelnya
Model tidak secara otomatis mengetahui objek mana yang ingin Anda simpan ketika ada beberapa subjek. Ia tidak mengetahui bahwa gelas minum transparan itu penting secara komersial, bahwa bayangan harus tetap ada untuk realisme, atau bahwa tali kecil adalah milik tas.
Ia juga tidak menerima versi resolusi tinggi yang tersembunyi dari sumber buram. Blok kompresi, sorotan terpotong, gerakan kabur, dan detail yang sangat kecil membatasi bukti yang tersedia. Meningkatkan zoom pratinjau membuat piksel lebih besar di layar; itu tidak menciptakan informasi yang hilang.
Inilah sebabnya mengapa “AI mendeteksinya” dan “edge siap dipublikasikan” adalah klaim yang berbeda. Deteksi memulai pengeditan. Tinjauan menyelesaikannya.
Mengapa detail yang tipis dan transparan itu sulit dilakukan
Objek tipis menempati beberapa piksel. Saat gambar diubah ukurannya untuk inferensi, kawat atau helai rambut satu piksel dapat dirata-ratakan dengan latar belakang di sekitarnya. Objek transparan sulit dibuat karena alasan lain: warna yang terlihat sebagian merupakan latar belakang lama. Batasannya mungkin jelas bagi orang yang memahami objeknya, sedangkan pola pikselnya tetap ambigu.
Bayangan lembut menciptakan ambiguitas yang disengaja. Tepi luarnya memudar secara bertahap, dan tidak ada satu pun potongan yang benar secara objektif. Mempertahankan bayangan penuh mungkin terlihat alami pada latar belakang serupa namun kotor pada isian baru yang cerah. Menghapusnya mungkin membuat subjek tampak melayang.
Ini adalah masalah penilaian dan juga masalah model.
Model masker, masker kerja, dan masker ekspor
Ini membantu untuk memisahkan tiga tahap:
- Model mask: estimasi otomatis yang dihasilkan melalui inferensi.
- Masker yang berfungsi: masker yang ditampilkan di editor setelah penyempurnaan Tambah atau Hapus.
- Ekspor masker: masker yang berfungsi diterapkan saat hasil saat ini diunduh atau disalin.
Di Easy Background Remover, penyempurnaan kuas mengedit masker yang berfungsi. Ekspor menggunakan hasil yang diedit saat ini daripada kembali secara diam-diam ke topeng otomatis yang tidak tersentuh. Hal ini memungkinkan model menangani pemisahan luas sementara Anda mengoreksi detail yang bergantung pada niat.
Pratinjau yang ditampilkan mungkin diskalakan agar sesuai dengan editor. Ukuran layar tersebut bukanlah ukuran yang dapat diandalkan untuk mengetahui detail internal masker. Baca Resolusi masker vs ukuran pratinjau untuk mengetahui perbedaannya.
Inferensi lokal masih memiliki langkah penyiapan
Menjalankan model di perangkat memerlukan bobot model dan waktu proses browser yang kompatibel. Bobotnya jauh lebih besar daripada kode antarmuka biasa, jadi memuat semuanya pada setiap peluncuran editor akan sia-sia. Sesi pertama dapat mengunduh dan menyimpan model dalam cache; sesi biasa nanti biasanya dapat menggunakannya kembali.
Mengapa pertama kali menjalankan pengunduhan model menjelaskan batas tersebut tanpa membingungkan pengunduhan aset model dengan pengunggahan foto. Inferensi berat juga keluar dari thread antarmuka utama; lihat Dasar-dasar pemrosesan gambar Web Worker.
Cara praktis untuk menilai hasil
Jangan hanya memeriksa bagian tengah subjek. Periksa topeng di mana buktinya paling lemah:
- rambut, bulu, kumis, dan serat kain;
- kacamata, tali pengikat, kabel, dan celah sempit;
- tepi dengan kontras rendah;
- bahan semi transparan;
- bayangan kontak;
- sudut di mana warna latar belakang lama mungkin tetap ada.
Lihat hasilnya pada latar belakang terang dan gelap jika tujuan akhirnya tidak diketahui. Lingkaran cahaya pucat bisa hilang pada warna putih dan menjadi jelas pada warna hitam. Kemudian sempurnakan hanya area yang mempengaruhi tujuan penggunaan.
Segmentasi otomatis paling berguna bila diperlakukan sebagai langkah pertama yang kuat, bukan pernyataan pemahaman yang sempurna. Untuk mencoba alur pemotongan dan penyempurnaan lokal secara lengkap, lihat Memulai.