Какво „вижда“ моделът за изрязване на устройството

By Technical specialist

Моделът за изрязване на устройството не вижда човек, обувка или стол по човешки начин. Получава числово представяне на изображението и оценява пиксел по пиксел кои зони вероятно принадлежат на основния обект.

Това разграничение обяснява както скоростта на автоматичните изрезки, така и техните граници. Моделът ползва визуални шаблони от обучението, но не знае вашето намерение.

От файл с изображение към въвеждане на модел

Файлът, който първо изберете, трябва да бъде декодиран. Компресирана снимка не се предава директно в модела като блок от файлови байтове. Браузърът го превръща в пиксели със стойности на ширина, височина и цвят.

След това конвейерът за изводи подготвя вход с размер на модел. В зависимост от модела и времето за изпълнение подготовката може да включва:

• преоразмеряване на декодираното изображение до очакваните от модела размери;
• подреждане на червени, зелени и сини стойности като цифрови канали;
• мащабиране или нормализиране на тези стойности;
• пакетирането им в тензор, форматът на масива, използван от времето за изпълнение на извода.

Точните размери и правилата за нормализиране принадлежат към изпълнението на модела. Важният практически момент е, че изводът обикновено работи от подготвено представяне, а не от всеки изходен пиксел в оригиналния му размер.

Easy Background Remover изпълнява тази стъпка на извод в браузъра с модел на сегментиране на устройството. Файлът на модела може да се наложи да бъде изтеглен преди първото изрязване, но пътят за обработка на изображението е проектиран да остане локален, след като моделът е готов. Изтеглянето на модела е заявка за актив; не е същото нещо като качването на избраната снимка за дистанционно заключение.

Резултатът е подобна на увереност маска

За всяко местоположение в своя изход моделът произвежда стойност, която може да се тълкува като по-подобна на обект или по-подобна на фон. Полезно е да си представите това като изображение в сива скала:

• бялото означава да запазите тази зона;
• черно означава премахване на тази област;
• сиво означава частично покритие или несигурност близо до ръба.

Браузърът преобразува този изход в работеща алфа маска. След това оригиналните цветни пиксели могат да бъдат съставени върху шахматна дъска, плътно запълване, градиент или друго изображение. Прозрачният експорт съхранява маската като алфа, вместо да рисува шахматната дъска във файла.

Меките ценности имат значение. Ако всяка стойност на маската бъде принудена да бъде незабавно чисто черна или бяла, косата, козината, тъканните влакна, замъгляването на движението и разфокусираните ръбове ще станат неестествено твърди. Частичната алфа може да запази по-плавен преход. Може също така да изложи цветни ресни от стария фон, поради което резултатът все още заслужава визуална проверка.

Какви визуални доказателства помагат на модела

Моделът на сегментиране може да използва повече от една следа наведнъж. Силните улики често включват:

• контраст между обект и фон;
• непрекъснати граници около доминиращ обект;
• познати комбинации от форма, текстура и позиция;
• знаци за дълбочина като разлики във фокуса;
• региони, които визуално си приличат.

Нито една от тези улики не е гаранция. Тъмно яке срещу тъмна стена предлага слаб граничен контраст. Стол с тесни пролуки може да съдържа фонови области, които приличат на обекта. Шареният фон може да се конкурира с действителния обект за внимание.

Моделът прави най-добра оценка от наличните пиксели. Не може да възстанови детайли, които изображението никога не е уловило.

Това, което моделът не знае

Моделът не знае автоматично кой обект сте искали да запазите, когато присъстват няколко обекта. То не знае, че прозрачната чаша за пиене е комерсиално важна, че трябва да остане сянка за реализъм или че малката каишка принадлежи на чанта.

Освен това не получава скрита версия с висока разделителна способност на размазан източник. Блокове за компресиране, изрязани акценти, замъгляване при движение и много малки детайли ограничават наличните доказателства. Увеличаването на мащаба на визуализацията прави пикселите по-големи на екрана; не създава липсваща информация.

Ето защо „AI го откри“ и „ръбът е готов за публикуване“ са различни твърдения. Откриването стартира редактирането. Прегледът го завършва.

Защо тънките и прозрачни детайли са трудни

Тънките обекти заемат малко пиксели. Когато едно изображение е преоразмерено за извод, жица от един пиксел или кичур коса може да бъде осреднена с фона около него. Прозрачните обекти са трудни поради друга причина: техният видим цвят е отчасти стария фон. Границата може да е ясна за човек, който разбира обекта, докато моделът на пикселите остава двусмислен.

Меките сенки създават умишлена неяснота. Външният им ръб избледнява постепенно и няма нито една обективно правилна граница. Запазването на пълната сянка може да изглежда естествено на подобен фон, но мръсно на ярко ново запълване. Премахването му може да накара обекта да изглежда като плаващ.

Това са проблеми с преценката толкова, колкото и проблеми с модела.

Маска на модела, работна маска и маска за експортиране

Помага да се разделят три етапа:

1. Маска на модела: автоматичната оценка, върната чрез извод.
2. Работна маска: маската, показана в редактора след всяко прецизиране на Добавяне или Изтриване.
3. Маска за експортиране: работната маска, приложена при изтегляне или копиране на текущия резултат.

В Easy Background Remover усъвършенстването на четката редактира работната маска. Експортирането използва текущия редактиран резултат, вместо да се връща тихо към недокоснатата автоматична маска. Това позволява на модела да се справи с широкото разделяне, докато коригирате подробности, които зависят от намерението.

Показаният преглед може да бъде мащабиран, за да пасне на редактора. Този размер на дисплея не е надеждна мярка за вътрешните детайли на маската. Прочетете Резолюция на маската спрямо размер на предварителен преглед за разликата.

Локалният извод все още има стъпка за настройка

Изпълнението на модел на устройство изисква теглата на модела и съвместима среда за изпълнение на браузъра. Теглата са много по-големи от обикновения интерфейсен код, така че зареждането на всичко при всяко стартиране на редактора би било разточително. Първата сесия може да изтегли и кешира модела; по-късните обикновени сесии обикновено могат да го използват повторно.

Защо първото стартиране изтегля модел обяснява тази граница, без да бърка изтеглянето на актив на модел с качване на снимка. Тежкият извод също бяга от основната интерфейсна нишка; вижте Основи за обработка на изображения на Web Worker.

Практичен начин за преценка на резултата

Не проверявайте само центъра на обекта. Проверете маската там, където доказателствата са най-слаби:

• коса, козина, мустаци и тъканни влакна;
• очила, ремъци, жици и тесни отвори;
• нискоконтрастни ръбове;
• полупрозрачен материал;
• контактни сенки;
• ъгли, където може да остане старият фонов цвят.

Вижте резултата както на светъл, така и на тъмен фон, ако крайната дестинация е неизвестна. Бледият ореол може да изчезне на бяло и да стане очевиден на черно. След това прецизирайте само областите, които засягат предназначението.

Автоматичното сегментиране е най-полезно, когато се третира като силно първо преминаване, а не като изявление за перфектно разбиране. За да изпробвате пълния локален процес на изрязване и уточняване, вижте Първи стъпки.