Ano ang makita sang isa ka on-device cutout model

By Technical specialist

Ang on-device cutout nga modelo wala makakita sang isa ka tawo, sapatos, hinuptanan, ukon pulungkuan sa tawhanon nga kahulugan. Nagabaton ini sang numero nga representasyon sang laragway kag nagabanta, pixel por pixel, kon ano nga mga lugar ang posible nga iya sang panguna nga subject. Ang mapuslanon nga output sini amo ang isa ka maskara: isa ka grayscale nga mapa nga mahimo mangin transparency channel sang resulta.

Ina nga kinatuhayan nagapaathag sang kadasigon sang awtomatiko nga mga pag-utod kag sang ila mga limitasyon. Ang modelo makagamit sang mga biswal nga mga sulundan nga natun-an sa tion sang paghanas, apang wala ini makahibalo sang imo tuyo. Ang isa ka matalom nga butang malapit sa sentro mahimo nga daw importante; ang isa ka mahinay nga rim sang bildo ukon ang mahinay nga higot sang buhok mahimo nga daw background.

Gikan sa file sang laragway pakadto sa input sang modelo

Ang file nga imo una nga pilion dapat ma-decode. Ang isa ka gin-compress nga litrato wala ginapasa direkta sa modelo bilang isa ka bloke sang mga byte sang file. Ginahimo ini sang browser nga mga pixel nga may kalaparon, kataason, kag mga balor sang kolor.

Ang inference pipeline dayon nagahanda sang isa ka modelo-kadaku nga input. Depende sa modelo kag runtime, ang paghanda mahimo maglakip sang:

pagbag-o sang kadakuon sang gin-decode nga laragway sa mga sukod nga ginapaabot sang modelo;
pag-areglo sang pula, berde, kag asul nga mga balor bilang mga numero nga mga alagyan;
pag-scale ukon pag-normalize sang mga balor;
pagputos sa ila sa isa ka tensor, ang format sang array nga ginagamit sang inference runtime.

Ang eksakto nga mga sukol kag mga pagsulundan sa normalisasyon iya sang implementasyon sang modelo. Ang importante nga praktikal nga punto amo nga ang inference masami nga nagatrabaho gikan sa isa ka ginhanda nga representasyon, indi gikan sa tagsa ka ginhalinan nga pixel sa orihinal nga kadakuon sini.

Ang Easy Background Remover nagapadalagan sini nga tikang sa paghinakop sa browser nga may on-device segmentation model. Ang modelo nga file mahimo nga kinahanglan nga i-download antes ang una nga pag-utod, apang ang dalan sa pagproseso sang laragway gindesinyo nga magpabilin nga lokal kon ang modelo handa na. Ang pag-download sang modelo isa ka pangabay sang asset; indi ini pareho sa pag-upload sang napili nga litrato para sa remote inference.

Ang output isa ka maskara nga daw pagsalig

Para sa tagsa ka lokasyon sa iya output, ang modelo nagapatubas sang isa ka balor nga mahimo mahangpan nga mas kaangay sang subject ukon mas kaangay sang background. Mapuslanon nga laragwayon ini subong isa ka grayscale nga laragway:

ang puti nagakahulugan nga huptan ini nga lugar;
ang itom nagakahulugan nga kuhaa ini nga lugar;
ang abohon nagakahulugan sang partial coverage ukon walay kapat-uran malapit sa isa ka ukbong.

Ang browser nagabaylo sang output sa nagatrabaho nga alpha mask. Ang orihinal nga mga pixel sang kolor mahimo dayon nga i-composite sa ibabaw sang checkerboard, isa ka solido nga pagpuno, isa ka gradient, ukon iban pa nga laragway. Ang isa ka transparent export nagatipig sang maskara bilang alpha sa baylo nga magpinta sang checkerboard sa file.

Ang mahumok nga mga bili importante. Kon ang tagsa ka bili sang maskara ginapilit gilayon sa puro itom ukon puti, ang buhok, balahibo, mga lanot sang tela, motion blur, kag defocused edges mangin indi kinaugali nga matig-a. Ang partial alpha makapreserbar sang mas matalunsay nga pagbalhin. Mahimo man sini ibuyagyag ang kolor nga fringe gikan sa daan nga background, amo kon ngaa ang resulta nagakadapat gihapon nga isa ka biswal nga pag-usisa.

Ano nga biswal nga ebidensya ang makabulig sa modelo

Ang isa ka modelo sang pagbahinbahin makakuha sang kapin sa isa ka clue sa isa ka tion. Ang mabakod nga mga clue masami nagalakip sang:

ang kinatuhayan sa tunga sang subject kag background;
padayon nga mga dulunan sa palibot sang isa ka nagapangibabaw nga butang;
pamilyar nga mga kombinasyon sang korte, texture, kag posisyon;
mga sinyales sang kadalumon pareho sang mga kinatuhayan sa pokus;
mga rehiyon nga biswal nga magkaupod.

Wala sa sini nga mga clue ang garantiya. Ang isa ka madulom nga dyaket batok sa isa ka madulom nga dingding nagahatag sang mahuyang nga kontras sa dulunan. Ang isa ka pulungkuan nga may makitid nga mga kal-ang mahimo nga may mga rehiyon sa likod nga kaanggid sa butang. Ang isa ka may sulundan nga backdrop mahimo makigkompetensya sa aktwal nga subject para sa atensyon.

Ang modelo nagahimo sang pinakamaayo nga pagbanta gikan sa mga magamit nga mga piksel. Indi sini mabawi ang detalye nga wala gid makuha sang laragway.

Ang wala mahibaluan sang modelo

Ang modelo wala awtomatiko nga makahibalo kon ano nga butang ang luyag mo nga taguon kon may pila ka mga subject. Wala ini makahibalo nga ang isa ka transparent nga baso nga ilimnon importante sa komersyo, nga ang isa ka landong dapat magpabilin para sa realismo, ukon nga ang isa ka gamay nga strap iya sang isa ka bag.

Wala man ini nagabaton sang natago nga mataas nga resolusyon nga bersyon sang isa ka blurry nga ginhalinan. Ang mga bloke sang pag-compress, gin-utod nga mga highlight, motion blur, kag tuman ka gamay nga mga detalye nagalimite sang ebidensya nga magamit. Ang pagdugang sang preview zoom nagahimo sang mga piksel nga mas daku sa screen; wala ini nagahimo sang nadula nga impormasyon.

Amo ini ang rason kon ngaa ang “natukiban ini sang AI” kag “ang ukbong handa na nga ibalhag” magkatuhay nga mga pag-angkon. Ang pagtukib nagasugod sa pag-edit. Ang pagrepaso nagatapos sini.

Ngaa mabudlay ang manipis kag hayag nga mga detalye

Ang manipis nga mga butang nagaokupar sang pila ka piksel. Kon ang isa ka laragway gina-resize para sa inference, ang isa ka-pixel nga alambre ukon hair strand mahimo nga i-average sa background sa palibot sini. Ang mga transparent nga mga butang mabudlay sa isa pa ka rason: ang ila makita nga kolor amo ang bahin sang daan nga background. Ang dulunan mahimo nga maathag sa isa ka tawo nga nakahangop sang butang, samtang ang pixel pattern nagapabilin nga indi maathag.

Ang mahumok nga mga landong nagahimo sang isa ka tinutuyo nga pagkadi-maathag. Ang ila naguwa nga ukbong amat-amat nga nagakadula, kag wala sing isa ka husto nga pag-utod. Ang paghupot sang bug-os nga landong mahimo nga daw natural sa kaanggid nga background apang mahigko sa isa ka masanag nga bag-o nga pagpuno. Ang pagkuha sini mahimo nga daw nagalutaw ang subject.

Mga problema ini sa paghukom pareho sang mga problema sa modelo.

Model mask, working mask, kag export mask

Makabulig ini sa pagseparar sang tatlo ka hugna:

Model mask: ang awtomatiko nga pagbanta nga ginbalik sang inference.
Working mask: ang maskara nga ginapakita sa editor pagkatapos sang bisan ano nga pagpino sang Add ukon Erase.
Export mask: ang working mask nga gin-apply kon ang karon nga resulta gin-download ukon ginkopya.

Sa Easy Background Remover, ang pagpino sang brush naga-edit sang nagatrabaho nga maskara. Ang pag-export nagagamit sang karon nga gin-edit nga resulta sa baylo nga hipos nga magbalik sa wala matandog nga awtomatiko nga maskara. Ginatugutan sini ang modelo nga mag-uyat sang malapad nga pagbulagay samtang ginatadlong mo ang mga detalye nga nagadepende sa tuyo.

Ang ginapakita nga preview mahimo nga ma-scale para mag-igo sa editor. Ina nga kadakuon sang display indi masaligan nga talaksan sang detalye sa sulod sang maskara. Basaha ang Mask resolution vs preview size para sa distinction.

Ang lokal nga paghinakop may yara gihapon sang tikang sa pag-setup

Ang pagpadalagan sang isa ka modelo sa-device nagakinahanglan sang mga kabug-aton sang modelo kag isa ka nagakaigo nga runtime sang browser. Ang mga kabug-aton mas daku sangsa ordinaryo nga interface code, gani ang pag-load sang tanan sa tagsa ka paglunsar sang editor mangin usik. Ang una nga sesyon mahimo mag-download kag mag-cache sang modelo; ang ulihi nga ordinaryo nga mga sesyon mahimo nga magamit liwat ini.

Ngaa ang una nga pagdalagan naga-download sang isa ka modelo nagapaathag sina nga dulunan nga wala ginalibog ang isa ka modelo nga pag-download sang asset sa isa ka pag-upload sang litrato. Ang mabug-at nga inference nagapalagyo man gikan sa panguna nga interface thread; tan-awa ang Web Worker image processing basics.

Isa ka praktikal nga paagi sa paghukom sang resulta

Ayaw inspeksyon lamang ang sentro sa hilisgutan. Tan-awa ang maskara kon diin ang ebidensya pinakamaluya:

buhok, balahibo, bungot, kag mga lanot sang tela;
mga baso, mga strap, mga alambre, kag makitid nga mga kal-ang;
manubo nga kontras nga mga ukbong;
semi-transparent nga materyal;
kontak ang mga landong;
mga kanto diin ang daan nga kolor sang background mahimo nga magpabilin.

Tan-awa ang resulta sa isa ka masanag kag madulom nga background kon ang katapusan nga destinasyon wala mahibal-an. Ang isa ka luspad nga halo mahimo madula sa puti kag mangin maathag sa itom. Dayon pino lamang ang mga lugar nga makaapekto sa gituyo nga paggamit.

Ang awtomatiko nga pag-segment labing mapuslanon kon ginakabig nga isa ka mabaskog nga una nga pag-agi, indi isa ka pahayag sang himpit nga paghangop. Para tilawan ang bug-os nga lokal nga pag-utod kag pag-ilig sang pagpino, tan-awa ang Magsugod.