Apa yang “dilihat” model potongan pada peranti

By Technical specialist

Model tidak melihat “produk” atau “orang” seperti anda — ia melihat corak piksel dan menganggarkan kawasan mana yang berkemungkinan milik subjek. Sempadan kontras keras membantu; resolusi rendah dan kabur gerakan menghalang.

Itulah sebabnya lakaran kabur lebih kerap gagal berbanding foto asal yang tajam, walaupun subjek sama.

Daripada fail imej kepada input model

Fail yang anda pilih dahulu perlu dinyahkod. Foto yang dimampatkan tidak dihantar terus ke dalam model sebagai blok bait fail. Penyemak imbas mengubahnya menjadi piksel dengan nilai lebar, tinggi dan warna.

Saluran paip inferens kemudian menyediakan input bersaiz model. Bergantung pada model dan masa jalan, penyediaan boleh termasuk:

• mengubah saiz imej yang dinyahkod kepada dimensi yang diharapkan model;
• menyusun nilai merah, hijau dan biru sebagai saluran angka;
• menskala atau menormalkan nilai tersebut;
• membungkusnya ke dalam tensor, format tatasusunan yang digunakan oleh masa jalan inferens.

Dimensi yang tepat dan peraturan normalisasi tergolong dalam pelaksanaan model. Perkara praktikal yang penting ialah inferens biasanya berfungsi daripada perwakilan yang disediakan, bukan daripada setiap piksel sumber pada saiz asalnya.

Easy Background Remover menjalankan langkah inferens ini dalam penyemak imbas dengan model segmentasi pada peranti. Fail model mungkin perlu dimuat turun sebelum potongan pertama, tetapi laluan pemprosesan imej direka bentuk untuk kekal setempat sebaik sahaja model sedia. Muat turun model ialah permintaan aset; ia bukan perkara yang sama seperti memuat naik foto yang dipilih untuk inferens jauh.

Keluaran adalah topeng seperti keyakinan

Untuk setiap lokasi dalam outputnya, model menghasilkan nilai yang boleh ditafsirkan sebagai lebih seperti subjek atau lebih seperti latar belakang. Adalah berguna untuk menggambarkan ini sebagai imej skala kelabu:

• putih bermakna mengekalkan kawasan ini;
• hitam bermakna keluarkan kawasan ini;
• kelabu bermaksud liputan separa atau ketidakpastian berhampiran tepi.

Penyemak imbas menukar output itu kepada topeng alfa yang berfungsi. Piksel warna asal kemudiannya boleh digubah di atas papan dam, isi pepejal, kecerunan atau imej lain. Eksport lutsinar menyimpan topeng sebagai alfa dan bukannya mengecat papan dam ke dalam fail.

Nilai lembut itu penting. Jika setiap nilai topeng dipaksa serta-merta kepada hitam atau putih tulen, rambut, bulu, gentian fabrik, kabur gerakan dan tepi yang tidak fokus akan menjadi keras secara luar biasa. Alfa separa boleh mengekalkan peralihan yang lebih lancar. Ia juga boleh mendedahkan pinggiran warna dari latar belakang lama, itulah sebabnya hasilnya masih layak untuk diperiksa secara visual.

Apakah bukti visual yang membantu model

Model segmentasi boleh menggunakan lebih daripada satu petunjuk sekaligus. Petunjuk yang kuat selalunya termasuk:

• kontras antara subjek dan latar belakang;
• sempadan berterusan di sekeliling objek dominan;
• gabungan bentuk, tekstur dan kedudukan biasa;
• isyarat kedalaman seperti perbezaan fokus;
• kawasan yang secara visual tergolong bersama.

Tiada satu pun daripada petunjuk ini adalah jaminan. Jaket gelap pada dinding gelap menawarkan kontras sempadan yang lemah. Kerusi dengan jurang sempit mungkin mengandungi kawasan latar belakang yang menyerupai objek. Latar belakang bercorak boleh bersaing dengan subjek sebenar untuk mendapatkan perhatian.

Model ini membuat anggaran terbaik daripada piksel yang tersedia. Ia tidak dapat memulihkan butiran yang tidak pernah ditangkap oleh imej.

Apa yang model tidak tahu

Model ini tidak secara automatik mengetahui objek yang anda ingin simpan apabila beberapa subjek hadir. Ia tidak tahu bahawa gelas minuman lutsinar adalah penting secara komersial, bahawa bayangan harus kekal untuk realisme, atau tali kecil adalah milik beg.

Ia juga tidak menerima versi resolusi tinggi tersembunyi bagi sumber kabur. Blok mampatan, sorotan terpotong, kabur gerakan dan butiran yang sangat kecil mengehadkan bukti yang tersedia. Meningkatkan zum pratonton menjadikan piksel lebih besar pada skrin; ia tidak mencipta maklumat yang hilang.

Itulah sebabnya “AI mengesannya” dan “tepi sedia untuk diterbitkan” adalah tuntutan yang berbeza. Pengesanan memulakan pengeditan. Semakan menyelesaikannya.

Mengapa butiran nipis dan lutsinar sukar

Objek nipis menduduki beberapa piksel. Apabila imej diubah saiz untuk inferens, wayar satu piksel atau helai rambut boleh dipuratakan dengan latar belakang di sekelilingnya. Objek lutsinar sukar untuk sebab lain: warna yang boleh dilihat adalah sebahagian daripada latar belakang lama. Sempadan mungkin jelas kepada orang yang memahami objek, manakala corak piksel kekal samar-samar.

Bayang-bayang lembut mencipta kekaburan yang disengajakan. Tepi luarnya pudar secara beransur-ansur, dan tiada satu pun potongan yang betul secara objektif. Mengekalkan bayang-bayang penuh mungkin kelihatan semula jadi pada latar belakang yang serupa tetapi kotor pada isian baharu yang terang. Mengalih keluarnya mungkin menyebabkan subjek kelihatan terapung.

Ini adalah masalah penghakiman sama seperti masalah model.

Topeng model, topeng berfungsi dan topeng eksport

Ia membantu untuk memisahkan tiga peringkat:

1. Topeng model: anggaran automatik dikembalikan melalui inferens.
2. Topeng berfungsi: topeng yang ditunjukkan dalam editor selepas sebarang penapisan Tambah atau Padam.
3. Topeng eksport: topeng berfungsi digunakan apabila hasil semasa dimuat turun atau disalin.

Dalam Easy Background Remover, penghalusan berus mengedit topeng berfungsi. Eksport menggunakan hasil yang diedit semasa dan bukannya kembali ke topeng automatik yang tidak disentuh secara senyap. Ini membolehkan model mengendalikan pemisahan luas semasa anda membetulkan butiran yang bergantung pada niat.

Pratonton yang dipaparkan mungkin berskala agar sesuai dengan editor. Saiz paparan itu bukanlah ukuran yang boleh dipercayai bagi butiran dalaman topeng. Baca Resolusi topeng vs saiz pratonton untuk mengetahui perbezaannya.

Inferens setempat masih mempunyai langkah persediaan

Menjalankan model pada peranti memerlukan berat model dan masa jalan penyemak imbas yang serasi. Beratnya jauh lebih besar daripada kod antara muka biasa, jadi memuatkan segala-galanya pada setiap pelancaran editor akan membazir. Sesi pertama boleh memuat turun dan cache model; nanti sesi biasa biasanya boleh guna semula.

Sebab pertama kali dijalankan memuat turun model menerangkan sempadan itu tanpa mengelirukan muat turun aset model dengan muat naik foto. Inferens berat juga lari daripada benang antara muka utama; lihat asas pemprosesan imej Pekerja Web.

Cara praktikal untuk menilai keputusan

Jangan periksa bahagian tengah subjek sahaja. Periksa topeng di mana bukti paling lemah:

• rambut, bulu, misai, dan gentian kain;
• cermin mata, tali, wayar, dan jurang sempit;
• tepi kontras rendah;
• bahan separa lutsinar;
• bayang kenalan;
• sudut di mana warna latar belakang lama mungkin kekal.

Lihat hasil pada latar belakang terang dan gelap jika destinasi akhir tidak diketahui. Halo pucat boleh hilang pada warna putih dan menjadi jelas pada hitam. Kemudian perhalusi hanya kawasan yang mempengaruhi penggunaan yang dimaksudkan.

Pembahagian automatik paling berguna apabila dianggap sebagai hantaran pertama yang kuat, bukan pernyataan pemahaman yang sempurna. Untuk mencuba potongan tempatan penuh dan aliran penghalusan, lihat Bermula.