Cihaz üzerindeki kesme modelinin gördüğü şey

By Technical specialist

Cihaz üzeri kesme modeli, bir kişiyi, ayakkabıyı, evcil hayvanı veya sandalyeyi insani anlamda görmez. Görüntünün sayısal bir temsilini alır ve hangi alanların ana konuya ait olabileceğini piksel piksel tahmin eder. Yararlı çıktısı bir maskedir: sonucun şeffaflık kanalı haline gelebilecek gri tonlamalı bir harita.

Bu ayrım hem otomatik kesmelerin hızını hem de sınırlarını açıklıyor. Model, eğitim sırasında öğrenilen görsel kalıpları kullanabilir ancak niyetinizi bilmez. Merkeze yakın keskin bir nesne önemli görünebilir; soluk bir cam çerçeve veya gevşek bir saç teli arka plan gibi görünebilir.

Görüntü dosyasından model girişine

İlk seçtiğiniz dosyanın kodunun çözülmesi gerekir. Sıkıştırılmış bir fotoğraf, dosya baytlarından oluşan bir blok olarak doğrudan modele aktarılmaz. Tarayıcı bunu genişlik, yükseklik ve renk değerleriyle piksellere dönüştürür.

Çıkarım hattı daha sonra model boyutunda bir girdi hazırlar. Modele ve çalışma zamanına bağlı olarak hazırlık şunları içerebilir:

• kodu çözülmüş görüntünün modelin beklediği boyutlara göre yeniden boyutlandırılması;
• kırmızı, yeşil ve mavi değerlerin sayısal kanallar olarak düzenlenmesi;
• bu değerlerin ölçeklendirilmesi veya normalleştirilmesi;
• bunları çıkarım çalışma zamanı tarafından kullanılan dizi formatı olan bir tensöre paketlemek.

Kesin boyutlar ve normalizasyon kuralları model uygulamasına aittir. Önemli pratik nokta, çıkarımın genellikle orijinal boyutunda her kaynak pikselden değil, hazırlanmış bir gösterimden yapılmasıdır.

Easy Background Remover bu çıkarım adımını tarayıcıda cihaz içi segmentasyon modeliyle çalıştırır. Model dosyasının ilk kesme işleminden önce indirilmesi gerekebilir ancak görüntü işleme yolu, model hazır olduğunda yerel kalacak şekilde tasarlanmıştır. Model indirme bir varlık talebidir; seçilen fotoğrafı uzaktan çıkarım için yüklemekle aynı şey değildir.

Çıktı güven benzeri bir maskedir

Model, çıktısındaki her konum için daha çok konuya benzer veya daha çok arka plana benzer şekilde yorumlanabilecek bir değer üretir. Bunu gri tonlamalı bir görüntü olarak resmetmek faydalıdır:

• beyaz bu alanı korumak anlamına gelir;
• siyah bu alanın kaldırılması anlamına gelir;
• gri, kısmi kapsama veya bir kenara yakın belirsizlik anlamına gelir.

Tarayıcı bu çıktıyı çalışan alfa maskesine dönüştürür. Orijinal renk pikselleri daha sonra bir dama tahtası, düz bir dolgu, bir degrade veya başka bir görüntü üzerinde birleştirilebilir. Şeffaf bir dışa aktarma, dama tahtasını dosyaya boyamak yerine maskeyi alfa olarak saklar.

Yumuşak değerler önemlidir. Her maske değeri anında saf siyah veya beyaza zorlanırsa saç, kürk, kumaş lifleri, hareket bulanıklığı ve odaklanmamış kenarlar doğal olmayan bir şekilde sertleşir. Kısmi alfa daha yumuşak bir geçişi koruyabilir. Ayrıca eski arka plandaki renk saçaklarını da ortaya çıkarabilir; bu nedenle sonuç yine de görsel bir kontrolü hak eder.

Modele hangi görsel kanıtlar yardımcı olur?

Bir segmentasyon modeli aynı anda birden fazla ipucundan faydalanabilir. Güçlü ipuçları genellikle şunları içerir:

• konu ve arka plan arasındaki kontrast;
• baskın bir nesnenin etrafındaki sürekli sınırlar;
• tanıdık şekil, doku ve konum kombinasyonları;
• odak farklılıkları gibi derinlik ipuçları;
• görsel olarak birbirine ait olan bölgeler.

Bu ipuçlarının hiçbiri bir garanti değildir. Karanlık bir duvara koyu renk bir ceket, zayıf sınır kontrastı sunar. Dar aralıklı bir sandalye, nesneye benzeyen arka plan bölgeleri içerebilir. Desenli bir arka plan, dikkat çekmek için gerçek konuyla rekabet edebilir.

Model mevcut piksellerden en iyi tahmini yapıyor. Görüntünün hiç yakalanamadığı ayrıntıları kurtaramaz.

Modelin bilmediği şey

Model, birden fazla nesne mevcut olduğunda hangi nesneyi saklamayı planladığınızı otomatik olarak bilemez. Şeffaf bir bardağın ticari açıdan önemli olduğunu, gerçekçilik için gölgesinin kalması gerektiğini, küçük bir kayışın çantaya ait olduğunu bilmiyor.

Ayrıca bulanık bir kaynağın gizli yüksek çözünürlüklü versiyonunu da almaz. Sıkıştırma blokları, kırpılmış vurgular, hareket bulanıklığı ve çok küçük ayrıntılar mevcut kanıtları sınırlamaktadır. Önizleme yakınlaştırmasını artırmak, ekrandaki pikselleri büyütür; eksik bilgi yaratmaz.

Bu nedenle “Yapay zeka bunu tespit etti” ile “edge yayınlanmaya hazır” iddiaları farklı iddialar. Algılama düzenlemeyi başlatır. İnceleme bitirir.

İnce ve şeffaf detaylar neden zordur?

İnce nesneler birkaç piksel kaplar. Bir görüntü çıkarım için yeniden boyutlandırıldığında, bir piksellik telin veya saç telinin ortalaması, etrafındaki arka planla birlikte alınabilir. Saydam nesnelerin başka bir nedeni daha zordur: görünür renkleri kısmen eski arka plandır. Nesneyi anlayan kişi için sınır net olabilirken, piksel deseni belirsiz kalır.

Yumuşak gölgeler kasıtlı bir belirsizlik yaratır. Dış kenarları yavaş yavaş kaybolur ve objektif olarak doğru tek bir kesim yoktur. Tam gölgeyi korumak, benzer bir arka planda doğal görünebilir ancak yeni ve parlak bir dolguda kirli görünebilir. Bunu kaldırmak nesnenin yüzüyormuş gibi görünmesine neden olabilir.

Bunlar model problemleri olduğu kadar yargılama problemleridir.

Model maskesi, çalışma maskesi ve dışa aktarma maskesi

Üç aşamayı ayırmaya yardımcı olur:

1. Model maskesi: Çıkarımla döndürülen otomatik tahmin.
2. Çalışma maskesi: herhangi bir Ekleme veya Silme işlemi sonrasında düzenleyicide gösterilen maske.
3. Dışa aktarma maskesi: Geçerli sonuç indirildiğinde veya kopyalandığında uygulanan çalışma maskesi.

Easy Background Remover’de fırça iyileştirme çalışma maskesini düzenler. Dışa aktarma, dokunulmamış otomatik maskeye sessizce geri dönmek yerine, geçerli düzenlenmiş sonucu kullanır. Bu, siz amaca bağlı ayrıntıları düzeltirken modelin geniş ayrımı ele almasına olanak tanır.

Görüntülenen önizleme düzenleyiciye sığacak şekilde ölçeklendirilebilir. Bu ekran boyutu, maskenin iç detayı açısından güvenilir bir ölçü değil. Ayrım için Maske çözünürlüğü ve önizleme boyutu konusunu okuyun.

Yerel çıkarımın hala bir kurulum adımı var

Cihazda bir model çalıştırmak, model ağırlıklarını ve uyumlu bir tarayıcı çalışma zamanını gerektirir. Ağırlıklar sıradan arayüz kodundan çok daha büyüktür, bu nedenle her editör açılışında her şeyi yüklemek israf olacaktır. İlk oturum modeli indirip önbelleğe alabilir; daha sonraki sıradan oturumlar genellikle onu yeniden kullanabilir.

Neden ilk çalıştırmada bir model indirilir, model varlığı indirmeyi fotoğraf yüklemeyle karıştırmadan bu sınırı açıklıyor. Ağır çıkarım aynı zamanda ana arayüz iş parçacığından da kaçar; bkz. Web Worker görüntü işleme temelleri.

Sonucu değerlendirmenin pratik bir yolu

Nesnenin yalnızca merkezini incelemeyin. Kanıtların en zayıf olduğu yerde maskeyi kontrol edin:

• saç, kürk, bıyık ve kumaş lifleri;
• gözlükler, kayışlar, teller ve dar boşluklar;
• düşük kontrastlı kenarlar;
• yarı şeffaf malzeme;
• gölgelerle temas kurun;
• eski arka plan renginin kalabileceği köşeler.

Nihai hedef bilinmiyorsa sonucu hem açık hem de koyu arka planda görüntüleyin. Soluk bir hale beyaz üzerinde kaybolabilir ve siyah üzerinde belirgin hale gelebilir. Daha sonra yalnızca amaçlanan kullanımı etkileyen alanları hassaslaştırın.

Otomatik segmentasyon, mükemmel bir anlayışın ifadesi olarak değil, güçlü bir ilk geçiş olarak ele alındığında en kullanışlıdır. Yerel kesme ve ayrıntılandırma akışının tamamını denemek için bkz. Başlayın.