X’jara mudell ta 'qtugħ fuq l-apparat
Mudell ta 'qtugħ fuq l-apparat ma jarax persuna, żarbun, annimali domestiċi jew siġġu fis-sens uman. Jirċievi rappreżentazzjoni numerika tal-immaġni u jistima, pixel b’pixel, liema żoni x’aktarx jappartjenu għas-suġġett ewlieni. L-output utli tiegħu huwa maskra: mappa fuq skala griża li tista ‘ssir il-kanal ta’ trasparenza tar-riżultat.
Dik id-distinzjoni tispjega kemm il-veloċità tal-qtugħ awtomatiku kif ukoll il-limiti tagħhom. Il-mudell jista 'juża mudelli viżwali tgħallmu waqt it-taħriġ, iżda ma jafx l-intenzjoni tiegħek. Oġġett li jaqta’ qrib iċ-ċentru jista’ jidher importanti; rimm tal-ħġieġ dgħajjef jew linja ta ‘xagħar maħlula tista’ tidher qisha sfond.
Mill-fajl tal-immaġni għall-input tal-mudell
Il-fajl li tagħżel l-ewwel irid jiġi dekodifikat. Ritratt kompressat ma jgħaddix direttament fil-mudell bħala blokk ta 'bytes tal-fajl. Il-browser jibdelha f’pixels b’valuri ta ‘wisa’, għoli u kulur.
Il-pipeline ta ‘inferenza mbagħad jipprepara input ta’ daqs ta 'mudell. Skont il-mudell u l-ħin tar-runtime, il-preparazzjoni tista 'tinkludi:
- tibdel id-daqs tal-immaġni dekodifikata għad-dimensjonijiet li l-mudell jistenna;
- tirranġa valuri ħomor, ħodor u blu bħala kanali numeriċi;
- l-iskala jew in-normalizzazzjoni ta’ dawk il-valuri;
- ippakkjarhom f’tensor, il-format tal-array użat mill-inference runtime.
Id-dimensjonijiet eżatti u r-regoli tan-normalizzazzjoni jappartjenu għall-implimentazzjoni tal-mudell. Il-punt prattiku importanti huwa li l-inferenza normalment taħdem minn rappreżentazzjoni ppreparata, mhux minn kull pixel sors fid-daqs oriġinali tiegħu.
Easy Background Remover imexxi dan il-pass ta’ inferenza fil-browser b’mudell ta’ segmentazzjoni fuq it-tagħmir. Il-fajl tal-mudell jista ‘jkollu bżonn jitniżżel qabel l-ewwel qtugħ, iżda l-mogħdija tal-ipproċessar tal-immaġni hija mfassla biex tibqa’ lokali ladarba l-mudell ikun lest. It-tniżżil tal-mudell huwa talba għall-assi; mhuwiex l-istess ħaġa bħal uploading tar-ritratt magħżul għall-inferenza remota.
L-output huwa maskra li tixbah il-kunfidenza
Għal kull post fl-output tiegħu, il-mudell jipproduċi valur li jista 'jiġi interpretat bħala aktar simili għas-suġġett jew aktar simili għall-isfond. Huwa utli li wieħed istampa dan bħala immaġni fuq skala griża:
- abjad ifisser żomm din iż-żona;
- iswed ifisser neħħi din iż-żona;
- griż tfisser kopertura parzjali jew inċertezza ħdejn xifer.
Il-browser jikkonverti dik l-output fil-maskra alfa tax-xogħol. Il-pixels tal-kulur oriġinali jistgħu mbagħad jiġu komposti fuq checkerboard, mili solidu, gradjent, jew immaġni oħra. Esportazzjoni trasparenti taħżen il-maskra bħala alpha aktar milli tpinġi l-checherboard fil-fajl.
Il-valuri artab huma importanti. Kieku kull valur tal-maskra kien imġiegħel immedjatament iswed jew abjad pur, xagħar, pil, fibri tad-drapp, ċċajpar tal-moviment, u truf defocused isiru iebsa b’mod mhux naturali. Alfa parzjali jista 'jippreserva transizzjoni aktar bla xkiel. Jista 'wkoll jesponi marġinali tal-kulur mill-isfond antik, u huwa għalhekk li r-riżultat għadu jistħoqqlu kontroll viżwali.
Liema evidenza viżwali tgħin lill-mudell
Mudell ta ‘segmentazzjoni jista’ jiġbed fuq aktar minn ħjiel wieħed f’daqqa. Ħjiel qawwi ħafna drabi jinkludu:
- kuntrast bejn is-suġġett u l-isfond;
- konfini kontinwi madwar oġġett dominanti;
- kombinazzjonijiet familjari ta’ forma, tessut, u pożizzjoni;
- indikazzjonijiet fil-fond bħal differenzi fil-fokus;
- reġjuni li viżwalment jappartjenu flimkien.
L-ebda waħda minn dawn il-ħjiel ma hija garanzija. Ġakketta skura kontra ħajt skur toffri kuntrast dgħajjef tal-konfini. Siġġu b’lakuni dojoq jista 'jkun fih reġjuni fl-isfond li jixbħu l-oġġett. Sfond imfassal jista 'jikkompeti mas-suġġett attwali għall-attenzjoni.
Il-mudell qed jagħmel l-aħjar stima mill-pixels disponibbli. Ma jistax jirkupra dettall li l-immaġni qatt ma nqabad.
Dak li l-mudell ma jafx
Il-mudell ma jafx awtomatikament liema oġġett riedet iżżomm meta diversi suġġetti jkunu preżenti. Ma jafx li tazza tax-xorb trasparenti hija kummerċjalment importanti, li dell għandu jibqa 'għal realiżmu, jew li ċinga żgħira tappartjeni għal borża.
Ma jirċievix ukoll verżjoni moħbija b’riżoluzzjoni għolja ta 'sors blurry. Il-blokki tal-kompressjoni, il-punti ewlenin maqtugħin, iċ-ċajt tal-moviment, u dettalji żgħar ħafna jillimitaw l-evidenza disponibbli. Iż-żieda fil-preview zoom tagħmel pixels akbar fuq l-iskrin; ma toħloqx informazzjoni nieqsa.
Din hija r-raġuni għaliex “AI skopraha” u “it-tarf huwa lest biex jippubblika” huma talbiet differenti. Is-sejbien jibda l-editjar. Ir-reviżjoni tispiċċaha.
Għaliex id-dettalji rqaq u trasparenti huma diffiċli
Oġġetti rqaq jokkupaw ftit pixels. Meta immaġini titqies mill-ġdid għall-inferenza, jista ‘jkun medja ta’ wajer ta ‘pixel wieħed jew linja tax-xagħar bl-isfond ta’ madwarha. Oġġetti trasparenti huma diffiċli għal raġuni oħra: il-kulur viżibbli tagħhom huwa parzjalment l-isfond antik. Il-konfini jista ‘jkun ċar għal persuna li tifhem l-oġġett, filwaqt li l-mudell tal-pixels jibqa’ ambigwu.
Dellijiet artab joħolqu ambigwità intenzjonata. It-tarf ta 'barra tagħhom jisparixxi gradwalment, u m’hemm l-ebda qtugħ wieħed oġġettivament korrett. Iż-żamma tad-dell sħiħ jista 'jidher naturali fuq sfond simili iżda maħmuġ fuq mili ġdid qawwi. It-tneħħija tista 'tagħmel is-suġġett jidher li jżomm f’wiċċ l-ilma.
Dawn huma problemi ta’ ġudizzju daqs kemm problemi ta’ mudell.
Mudell maskra, maskra tax-xogħol, u maskra tal-esportazzjoni
Jgħin biex jiġu separati tliet stadji:
- Mudell maskra: l-istima awtomatika rritornata b’inferenza.
- Maskra tax-xogħol: il-maskra murija fl-editur wara kwalunkwe rfinar Żid jew Ħassar.
- Maskra tal-esportazzjoni: il-maskra tax-xogħol applikata meta r-riżultat attwali jiġi mniżżel jew ikkupjat.
F’Easy Background Remover, ir-raffinament tal-pinzell jeditja l-maskra tax-xogħol. L-esportazzjoni tuża r-riżultat editjat attwali aktar milli lura fis-skiet għall-maskra awtomatika mhux mittiefsa. Dan iħalli lill-mudell jimmaniġġja s-separazzjoni wiesgħa filwaqt li tikkoreġi d-dettalji li jiddependu mill-intenzjoni.
Il-preview murija tista 'tiġi skalata biex taqbel mal-editur. Dak id-daqs tal-wiri mhuwiex kejl affidabbli tad-dettall intern tal-maskra. Aqra Riżoluzzjoni tal-maskra vs daqs tal-preview għad-distinzjoni.
L-inferenza lokali għad għandha pass ta’ setup
It-tħaddim ta’ mudell fuq it-tagħmir jeħtieġ il-piżijiet tal-mudell u runtime tal-browser kompatibbli. Il-piżijiet huma ħafna akbar mill-kodiċi tal-interface ordinarju, għalhekk it-tagħbija ta ‘kollox fuq kull tnedija tal-editur tkun ta’ ħela. L-ewwel sessjoni tista’ tniżżel u tpoġġi l-mudell fil-cache; sessjonijiet ordinarji aktar tard normalment jistgħu jerġgħu jużawha.
Why first run downloads a model jispjega dik il-konfini mingħajr ma tħawwad tniżżil ta’ assi mudell ma’ upload ta’ ritratt. Inferenza tqila wkoll taħrab mill-ħajta ta ’ l-interface prinċipali; ara Bażi tal-ipproċessar tal-immaġni tal-Web Worker.
Mod prattiku kif tiġġudika r-riżultat
Tispezzjonax biss iċ-ċentru tas-suġġett. Iċċekkja l-maskra fejn l-evidenza hija l-aktar dgħajfa:
- fibri tax-xagħar, tal-pil, tal-whiskers, u tad-drapp;
- nuċċalijiet, ċineg, wajers, u lakuni dojoq;
- truf b’kuntrast baxx;
- materjal semi-trasparenti;
- dellijiet ta’ kuntatt;
- kantunieri fejn jista’ jibqa’ l-kulur l-isfond antik.
Ara r-riżultat kemm fuq sfond ċar kif ukoll skur jekk id-destinazzjoni finali mhix magħrufa. Halo pallidu jista’ jisparixxi fuq l-abjad u jsir ovvju fuq l-iswed. Imbagħad irfina biss iż-żoni li jaffettwaw l-użu maħsub.
Is-segmentazzjoni awtomatika hija l-aktar utli meta tiġi ttrattata bħala l-ewwel pass b’saħħtu, mhux dikjarazzjoni ta 'fehim perfett. Biex tipprova l-qtugħ lokali sħiħ u l-fluss tar-raffinament, ara Ibda.