Ano ang “nakikita” ng on-device cutout model

By Technical specialist

Hindi “naiintindihan” ng model ang larawan tulad ng tao. Naghahanap ito ng malamang na hangganan mula sa kulay, contrast, at hugis. Kaya mahirap ang low contrast at soft bokeh.

Ang magandang source ay nagbibigay ng mas malinaw na hint — hindi magic.

Mula sa file ng imahe hanggang sa input ng modelo

Ang file na una mong pipiliin ay kailangang i-decode. Ang isang naka-compress na larawan ay hindi direktang ipinapasa sa modelo bilang isang bloke ng mga byte ng file. Ginagawa ito ng browser sa mga pixel na may mga halaga ng lapad, taas, at kulay.

Ang pagproseso pipeline ay naghahanda ng isang input na laki ng modelo. Depende sa modelo at runtime, maaaring kasama sa paghahanda ang:

• pagbabago ng laki ng decoded na imahe sa mga sukat na inaasahan ng modelo;
• pag-aayos ng pula, berde, at asul na mga halaga bilang mga numeric na channel;
• pag-scale o pag-normalize ng mga halagang iyon;
• i-package ang mga ito sa isang tensor, ang array format na ginagamit ng pagproseso runtime.

Ang mga eksaktong sukat at panuntunan sa normalisasyon ay nabibilang sa pagpapatupad ng modelo. Ang mahalagang praktikal na punto ay ang pagproseso ay karaniwang gumagana mula sa isang inihandang representasyon, hindi mula sa bawat source pixel sa orihinal na laki nito.

Pinapatakbo ng Easy Background Remover ang hakbang na ito ng hinuha sa browser gamit ang isang on-device segmentation model. Maaaring kailangang i-download ang file ng modelo bago ang unang resulta ng pag-alis ng background, ngunit ang path ng pagproseso ng imahe ay idinisenyo upang manatiling lokal kapag handa na ang modelo. Ang pag-download ng modelo ay isang kahilingan sa asset; hindi ito katulad ng pag-upload ng napiling larawan para sa malayong hinuha.

Ang output ay parang kumpiyansa na maskara

Para sa bawat lokasyon sa output nito, ang modelo ay gumagawa ng isang halaga na maaaring bigyang-kahulugan bilang mas katulad ng paksa o higit pang katulad ng background. Ito ay kapaki-pakinabang upang ilarawan ito bilang isang grayscale na imahe:

• puti ay nangangahulugan na panatilihin ang lugar na ito;
• ang ibig sabihin ng itim ay alisin ang lugar na ito;
• ang kulay abo ay nangangahulugang bahagyang saklaw o kawalan ng katiyakan malapit sa isang gilid.

Kino-convert ng browser ang output na iyon sa gumaganang alpha mask. Ang orihinal na mga pixel ng kulay ay maaaring pagsama-samahin sa ibabaw ng isang checkerboard, isang solid fill, isang gradient, o isa pang larawan. Iniimbak ng isang transparent na pag-export ang mask bilang alpha sa halip na pagpinta ng checkerboard sa file.

Mahalaga ang malambot na halaga. Kung ang bawat halaga ng maskara ay pipilitin kaagad sa purong itim o puti, ang buhok, balahibo, mga hibla ng tela, motion blur, at defocused na mga gilid ay magiging hindi natural na matigas. Maaaring mapanatili ng bahagyang alpha ang mas maayos na paglipat. Maaari rin nitong ilantad ang kulay na palawit mula sa lumang background, kung kaya’t ang resulta ay nararapat pa rin sa isang visual na pagsusuri.

Anong visual na ebidensya ang nakakatulong sa modelo

Ang isang modelo ng pagse-segment ay maaaring makakuha ng higit sa isang palatandaan nang sabay-sabay. Ang mga malakas na pahiwatig ay kadalasang kinabibilangan ng:

• kaibahan sa pagitan ng paksa at background;
• tuloy-tuloy na mga hangganan sa paligid ng isang nangingibabaw na bagay;
• pamilyar na mga kumbinasyon ng hugis, texture, at posisyon;
• malalim na mga pahiwatig tulad ng mga pagkakaiba sa focus;
• mga rehiyon na nakikitang magkakasama.

Wala sa mga pahiwatig na ito ang isang garantiya. Ang isang madilim na dyaket sa isang madilim na dingding ay nag-aalok ng mahinang kaibahan ng hangganan. Ang isang upuan na may makitid na puwang ay maaaring maglaman ng mga rehiyon sa background na kahawig ng bagay. Ang isang may pattern na backdrop ay maaaring makipagkumpitensya sa aktwal na paksa para sa atensyon.

Gumagawa ang modelo ng pinakamahusay na pagtatantya mula sa mga available na pixel. Hindi nito mababawi ang detalyeng hindi nakuhanan ng larawan.

Ano ang hindi alam ng modelo

Hindi awtomatikong alam ng modelo kung aling bagay ang sinadya mong panatilihin kapag may ilang paksa. Hindi nito alam na ang isang transparent na baso ay mahalaga sa komersyo, na ang isang anino ay dapat manatili para sa pagiging totoo, o na ang isang maliit na strap ay kabilang sa isang bag.

Hindi rin ito nakakatanggap ng nakatagong high-resolution na bersyon ng malabong pinagmulan. Nililimitahan ng mga compression block, clipped highlight, motion blur, at napakaliit na detalye ang ebidensyang makukuha. Ang pagtaas ng preview zoom ay nagpapalaki ng mga pixel sa screen; hindi ito lumilikha ng nawawalang impormasyon.

Ito ang dahilan kung bakit “Natukoy ito ng AI” at “handa nang i-publish ang gilid” ay magkaibang claim. Sinisimulan ng detection ang pag-edit. Tinatapos ito ng pagsusuri.

Bakit mahirap ang manipis at transparent na mga detalye

Ang mga manipis na bagay ay sumasakop ng ilang mga pixel. Kapag na-resize ang isang imahe para sa pagproseso, maaaring i-average ang isang one-pixel wire o hair strand na may background sa paligid nito. Ang mga transparent na bagay ay mahirap para sa isa pang dahilan: ang kanilang nakikitang kulay ay bahagyang ang lumang background. Ang hangganan ay maaaring malinaw sa isang taong nauunawaan ang bagay, habang ang pattern ng pixel ay nananatiling hindi maliwanag.

Ang mga malambot na anino ay lumilikha ng isang sinadyang kalabuan. Ang kanilang panlabas na gilid ay unti-unting kumukupas, at walang iisang objectly correct cutoff. Ang pagpapanatiling buong anino ay maaaring magmukhang natural sa isang katulad na background ngunit marumi sa isang maliwanag na bagong fill. Ang pag-alis nito ay maaaring magmukhang lumulutang ang paksa.

Ito ay mga problema sa paghuhusga gaya ng mga problema sa modelo.

Model mask, working mask, at export mask

Nakakatulong ito na paghiwalayin ang tatlong yugto:

1. Model mask: ang awtomatikong pagtatantya na ibinalik sa pamamagitan ng hinuha.
2. Working mask: ang mask na ipinapakita sa editor pagkatapos ng anumang Add or Erase refinement.
3. I-export ang mask: ang gumaganang mask na inilapat kapag ang kasalukuyang resulta ay na-download o nakopya.

Sa Easy Background Remover, ini-edit ng brush refinement ang gumaganang mask. Ginagamit ng pag-export ang kasalukuyang na-edit na resulta sa halip na tahimik na bumalik sa hindi nagalaw na awtomatikong mask. Hinahayaan nito ang modelo na pangasiwaan ang malawak na paghihiwalay habang itinatama mo ang mga detalyeng nakadepende sa layunin.

Ang ipinapakitang preview ay maaaring i-scale upang magkasya sa editor. Ang laki ng display na iyon ay hindi isang maaasahang sukatan ng panloob na detalye ng maskara. Basahin ang Resolusyon ng maskara kumpara sa laki ng preview para sa pagkakaiba.

Ang lokal na hinuha ay mayroon pa ring hakbang sa pag-setup

Ang pagpapatakbo ng modelo sa device ay nangangailangan ng mga timbang ng modelo at isang katugmang runtime ng browser. Ang mga timbang ay mas malaki kaysa sa ordinaryong interface code, kaya ang paglo-load ng lahat sa bawat paglulunsad ng editor ay magiging aksaya. Maaaring i-download at i-cache ng unang session ang modelo; sa mga susunod na ordinaryong sesyon ay karaniwang magagamit ito muli.

Bakit nagda-download ng modelo ang unang pagtakbo ipinapaliwanag ang hangganang iyon nang hindi nalilito ang pag-download ng asset ng modelo sa pag-upload ng larawan. Ang mabigat na hinuha ay tumatakbo din palayo sa pangunahing thread ng interface; tingnan ang Mga pangunahing kaalaman sa pagproseso ng imahe ng Web Worker.

Isang praktikal na paraan upang hatulan ang resulta

Huwag suriin lamang ang sentro ng paksa. Suriin ang maskara kung saan pinakamahina ang ebidensya:

• buhok, balahibo, balbas, at mga hibla ng tela;
• baso, strap, wire, at makitid na puwang;
• mababang-contrast na mga gilid;
• semi-transparent na materyal;
• contact anino;
• mga sulok kung saan maaaring manatili ang lumang kulay ng background.

Tingnan ang resulta sa parehong maliwanag at madilim na background kung hindi alam ang huling destinasyon. Ang isang maputlang halo ay maaaring mawala sa puti at maging halata sa itim. Pagkatapos ay pinuhin lamang ang mga lugar na nakakaapekto sa nilalayon na paggamit.

Ang awtomatikong pagse-segment ay pinakakapaki-pakinabang kapag itinuturing bilang isang malakas na first pass, hindi isang pahayag ng perpektong pag-unawa. Upang subukan ang buong lokal na hiwalay na subject at daloy ng pagpipino, tingnan ang Magsimula.