Што бачыць мадэль выразаў на прыладзе

By Technical specialist

Выразная мадэль на прыладзе не бачыць чалавека, абутку, хатняга гадаванца або крэсла ў чалавечым сэнсе. Ён атрымлівае лікавае прадстаўленне выявы і ацэньвае, піксель за пікселем, якія вобласці, верагодна, належаць асноўнаму аб’екту. Яго карысным вынікам з’яўляецца маска: карта адценняў шэрага, якая можа стаць каналам празрыстасці выніку.

Гэтае адрозненне тлумачыць як хуткасць аўтаматычных выключэнняў, так і іх абмежаванні. Мадэль можа выкарыстоўваць візуальныя шаблоны, вывучаныя падчас трэніроўкі, але яна не ведае вашага намеру. Востры прадмет паблізу цэнтра можа выглядаць важным; слабы шкляны абадок або распушчаная пасма валасоў могуць выглядаць фонам.

Ад файла выявы да ўводу мадэлі

Файл, які вы абралі першым, павінен быць дэкадзіраваны. Сціснутае фота не перадаецца непасрэдна ў мадэль у выглядзе блока байтаў файла. Браўзэр ператварае яго ў пікселі са значэннямі шырыні, вышыні і колеру.

Затым канвеер вываду рыхтуе ўваходныя дадзеныя памерам з мадэль. У залежнасці ад мадэлі і часу выканання падрыхтоўка можа ўключаць у сябе:

• змяненне памеру расшыфраванага малюнка да памераў, якія чакае мадэль;
• размяшчэнне чырвоных, зялёных і сініх значэнняў як лікавых каналаў;
• маштабаванне або нармалізацыя гэтых значэнняў;
• упакоўка іх у тэнзар, фармат масіва, які выкарыстоўваецца асяроддзем выканання вываду.

Дакладныя памеры і правілы нармалізацыі адносяцца да рэалізацыі мадэлі. Важным практычным момантам з’яўляецца тое, што вывад звычайна працуе з падрыхтаванага прадстаўлення, а не з кожнага зыходнага пікселя ў яго першапачатковым памеры.

Easy Background Remover запускае гэты этап вываду ў браўзеры з мадэллю сегментацыі на прыладзе. Магчыма, спатрэбіцца загрузіць файл мадэлі перад першым выразам, але шлях апрацоўкі выявы распрацаваны так, каб заставацца лакальным, калі мадэль будзе гатовая. Спампоўка мадэлі - гэта запыт актываў; гэта не тое ж самае, што загрузка абранага фота для аддаленага высновы.

Выхад - маска, падобная на ўпэўненасць

Для кожнага месца ў сваім вывадзе мадэль стварае значэнне, якое можна інтэрпрэтаваць як больш падобнае на прадмет або фон. Карысна ўявіць гэта як выяву ў адценнях шэрага:

• белы азначае захаваць гэтую вобласць;
• чорны азначае выдаліць гэтую вобласць;
• шэры азначае частковае пакрыццё або нявызначанасць каля краю.

Браўзер пераўтворыць гэты вывад у рабочую альфа-маску. Арыгінальныя каляровыя пікселі могуць быць нанесены на шахматную дошку, суцэльную заліўку, градыент або іншую выяву. Празрысты экспарт захоўвае маску як альфа-версію, а не зафарбоўвае шахматную дошку ў файл.

Мяккія каштоўнасці маюць значэнне. Калі б кожнае значэнне маскі было прымусова неадкладна зрабіць чыста чорным або белым, валасы, поўсць, валокны тканіны, размыццё руху і расфакусаваныя краю сталі б ненатуральна жорсткімі. Частковая альфа можа захаваць больш плыўны пераход. Ён таксама можа агаліць каляровыя махры са старога фону, таму вынік усё роўна заслугоўвае візуальнай праверкі.

Якое візуальнае сведчанне дапамагае мадэлі

Мадэль сегментацыі можа абапірацца на больш чым адну падказку адначасова. Важкія падказкі часта ўключаюць:

• кантраст паміж прадметам і фонам;
• суцэльныя межы вакол дамінуючага аб’екта;
• знаёмыя спалучэнні формы, тэкстуры і становішча;
• сігналы глыбіні, такія як розніца ў фокусе;
• рэгіёны, якія візуальна адносяцца адзін да аднаго.

Ні адна з гэтых падказак не з’яўляецца гарантыяй. Цёмны пінжак на фоне цёмнай сцяны стварае слабы межавы кантраст. Крэсла з вузкімі прамежкамі можа ўтрымліваць фонавыя вобласці, якія нагадваюць аб’ект. Узорны фон можа канкураваць з рэальным аб’ектам за ўвагу.

Мадэль робіць найлепшую ацэнку з даступных пікселяў. Ён не можа аднавіць дэталі, якія выява ніколі не фіксавала.

Чаго мадэль не ведае

Мадэль не ведае аўтаматычна, які аб’ект вы хочаце захаваць, калі прысутнічае некалькі суб’ектаў. Яно не ведае, што празрыстая шклянка камерцыйна важная, што для рэалістычнасці павінен заставацца цень, ці што да сумкі належыць маленькі раменьчык.

Ён таксама не атрымлівае схаванай версіі размытай крыніцы з высокім раздзяленнем. Блокі сціску, выразаныя блікі, размыццё руху і вельмі дробныя дэталі абмяжоўваюць даступныя доказы. Павелічэнне маштабу папярэдняга прагляду робіць пікселі на экране больш; гэта не стварае адсутную інфармацыю.

Вось чаму «AI выявіў гэта» і «край гатовы да публікацыі» - гэта розныя сцвярджэнні. Выяўленне пачынае рэдагаванне. Агляд завяршае гэта.

Чаму тонкія і празрыстыя дэталі складаныя

Тонкія аб’екты займаюць некалькі пікселяў. Пры змене памеру відарыса для вываду аднапіксельны провад або пасму валасоў могуць быць усярэднія з фонам вакол іх. Празрыстыя аб’екты цяжкія яшчэ па адной прычыне: іх бачны колер - гэта часткова стары фон. Мяжа можа быць зразумелай чалавеку, які разумее аб’ект, у той час як малюнак пікселяў застаецца неадназначным.

Мяккія цені ствараюць наўмысную двухсэнсоўнасць. Іх вонкавы край паступова бляднее, і адзінага аб’ектыўна правільнага зрэзу няма. Захаванне поўнага ценю можа выглядаць натуральна на аналагічным фоне, але брудна на новай яркай заліўцы. Пры выдаленні аб’екта можа здацца, што ён плавае.

Гэта праблемы асуджэння ў такой жа ступені, як і праблемы мадэлі.

Маска мадэлі, рабочая маска і маска экспарту

Гэта дапамагае падзяліць тры этапы:

1. Маска мадэлі: аўтаматычная ацэнка, вернутая высновай.
2. Працоўная маска: маска, якая паказваецца ў рэдактары пасля любога ўдакладнення Дадаць або Сцерці.
3. Маска экспарту: працоўная маска, якая прымяняецца пры спампоўцы або капіраванні бягучага выніку.

У Easy Background Remover удакладненне пэндзля рэдагуе рабочую маску. Экспарт выкарыстоўвае бягучы адрэдагаваны вынік, а не моўчкі вяртаецца да некранутай аўтаматычнай маскі. Гэта дазваляе мадэлі апрацоўваць шырокі падзел, а вы выпраўляеце дэталі, якія залежаць ад намеру.

Адлюстраваны папярэдні прагляд можа быць маштабаваны ў адпаведнасці з рэдактарам. Гэты памер дысплея не з’яўляецца надзейным паказчыкам унутраных дэталяў маскі. Прачытайце Раздзяленне маскі супраць памеру папярэдняга прагляду, каб даведацца пра адрозненне.

Лакальны вывад усё яшчэ мае этап наладкі

Для запуску мадэлі на прыладзе неабходны вага мадэлі і сумяшчальнае асяроддзе выканання браўзера. Вага значна большая, чым код звычайнага інтэрфейсу, таму загрузка ўсяго пры кожным запуску рэдактара была б марнатраўнай. Першы сеанс можа загрузіць і кэшаваць мадэль; больш познія звычайныя сеансы звычайна могуць выкарыстоўваць яго паўторна.

Чаму пры першым запуску спампоўваецца мадэль тлумачыць гэтую мяжу, не блытаючы спампоўку актываў мадэлі з загрузкай фота. Цяжкія высновы таксама ўцякаюць ад асноўнага патоку інтэрфейсу; гл. Асновы апрацоўкі малюнкаў Web Worker.

Практычны спосаб ацаніць вынік

Не аглядайце толькі цэнтр прадмета. Праверце маску там, дзе доказы найбольш слабыя:

• валасы, поўсць, вусы, валокны тканін;
• акуляры, папружкі, драты і вузкія шчыліны;
• слабоконтрастные краю;
• напаўпразрысты матэрыял;
• кантактныя цені;
• куты, дзе можа застацца стары фонавы колер.

Праглядзіце вынік як на светлым, так і на цёмным фоне, калі канчатковы пункт прызначэння невядомы. Бледны арэол можа знікнуць на белым і стаць відавочным на чорным. Затым удакладніце толькі вобласці, якія ўплываюць на мэтавае выкарыстанне.

Аўтаматычная сегментацыя найбольш карысная, калі разглядаць яе як моцны першы праход, а не як заяву аб поўным разуменні. Каб паспрабаваць поўную лакальную працэдуру выразання і ўдакладнення, глядзіце Пачаць.