Що бачить модель вирізу на пристрої

By Technical specialist

Модель вирізу на пристрої не бачить людину, взуття, домашню тварину чи стілець у людському розумінні. Він отримує числове представлення зображення та оцінює, піксель за пікселем, які області, ймовірно, належатимуть основному об’єкту. Його корисним результатом є маска: карта градацій сірого, яка може стати каналом прозорості результату.

Ця різниця пояснює як швидкість автоматичних відрізів, так і їх обмеження. Модель може використовувати візуальні патерни, отримані під час навчання, але вона не знає вашого наміру. Гострий предмет поблизу центру може виглядати важливим; слабкий скляний обідок або розпущене пасмо волосся можуть виглядати як фон.

Від файлу зображення до вхідних даних моделі

Файл, який ви виберете спочатку, має бути розкодований. Стиснута фотографія не передається безпосередньо в модель як блок байтів файлу. Браузер перетворює його на пікселі зі значеннями ширини, висоти та кольору.

Потім конвеєр виведення готує вхідні дані розміром моделі. Залежно від моделі та часу виконання підготовка може включати:

• зміна розміру декодованого зображення до розмірів, які очікує модель;
• впорядкування червоних, зелених і синіх значень як числових каналів;
• масштабування або нормалізація цих значень;
• упаковка їх у тензор, формат масиву, який використовується середовищем виконання висновків.

Точні розміри та правила нормалізації належать до реалізації моделі. Важливим практичним моментом є те, що висновок зазвичай працює на основі підготовленого представлення, а не на основі кожного вихідного пікселя його початкового розміру.

Easy Background Remover виконує цей етап висновку в браузері за допомогою моделі сегментації на пристрої. Файл моделі може знадобитися завантажити перед першим вирізом, але шлях обробки зображення розроблено таким чином, щоб залишатися локальним, коли модель буде готова. Завантаження моделі є запитом ресурсу; це не те саме, що завантажити вибрану фотографію для віддаленого висновку.

Результатом є маска впевненості

Для кожного місця на виході модель створює значення, яке можна інтерпретувати як більш схоже на предмет або фон. Корисно представити це як зображення у градаціях сірого:

• білий означає зберегти цю область;
• чорний означає видалення цієї ділянки;
• сірий означає часткове покриття або невизначеність біля краю.

Браузер перетворює цей вивід на робочу альфа-маску. Оригінальні кольорові пікселі потім можна скомпонувати на шахову дошку, суцільну заливку, градієнт або інше зображення. Прозорий експорт зберігає маску як альфа-версію, а не малює шахову дошку у файлі.

М’які значення мають значення. Якби кожне значення маски одразу було примусово зробити чисто чорним або білим, волосся, хутро, волокна тканини, розмиття руху та розфокусовані краї стали б неприродно жорсткими. Часткова альфа може зберегти більш плавний перехід. Він також може виявити кольорову бахрому зі старого фону, тому результат все одно заслуговує візуальної перевірки.

Які візуальні докази допомагають моделі

Модель сегментації може спиратися на кілька підказок одночасно. Сильні підказки часто включають:

• контраст між предметом і фоном;
• суцільні межі навколо домінуючого об’єкта;
• знайомі комбінації форми, текстури та положення;
• сигнали глибини, такі як відмінності у фокусі;
• регіони, які візуально належать один одному.

Жодна з цих підказок не є гарантією. Темна куртка на фоні темної стіни створює слабкий межовий контраст. Крісло з вузькими проміжками може містити фонові області, які нагадують об’єкт. Фон з малюнком може конкурувати з реальним об’єктом за увагу.

Модель робить найкращу оцінку з доступних пікселів. Він не може відновити деталі, які ніколи не були зафіксовані на зображенні.

Чого модель не знає

Модель не визначає автоматично, який об’єкт ви хотіли зберегти, якщо присутні кілька суб’єктів. Воно не знає, що прозора склянка має комерційне значення, що тінь повинна залишатися для реалістичності, чи маленький ремінець належить до сумки.

Він також не отримує приховану версію розмитого джерела з високою роздільною здатністю. Блоки стиснення, вирізані світлі моменти, розмиття в русі та дуже дрібні деталі обмежують доступні докази. Збільшення масштабу попереднього перегляду робить пікселі на екрані більшими; це не створює відсутню інформацію.

Ось чому «штучний інтелект це виявив» і «край готовий до публікації» — це різні твердження. Виявлення починає редагування. Огляд завершує це.

Чому тонкі та прозорі деталі складні

Тонкі об’єкти займають кілька пікселів. Коли розмір зображення змінюється для висновку, однопіксельний дріт або пасмо волосся може бути усереднено з фоном навколо нього. Прозорі об’єкти складні з іншої причини: їхній видимий колір частково є старим фоном. Межа може бути чіткою для людини, яка розуміє об’єкт, тоді як піксельний візерунок залишається неоднозначним.

М’які тіні створюють навмисну ​​двозначність. Їх зовнішній край поступово тьмяніє, єдиного об’єктивно правильного обрізу немає. Збереження повної тіні може виглядати природно на подібному тлі, але брудно на новій яскравій заливці. Якщо його видалити, об’єкт може здаватись плаваючим.

Це проблеми судження так само, як і проблеми моделі.

Маска моделі, робоча маска та маска експорту

Це допомагає розділити три етапи:

1. Маска моделі: автоматична оцінка, отримана шляхом висновку.
2. Робоча маска: маска, яка відображається в редакторі після будь-якого уточнення Додати або Стерти.
3. Маска експорту: робоча маска, застосована під час завантаження або копіювання поточного результату.

У Easy Background Remover уточнення пензля редагує робочу маску. Експорт використовує поточний відредагований результат, а не мовчки повертається до недоторканої автоматичної маски. Це дозволяє моделі обробляти широке розділення, а ви виправляєте деталі, які залежать від наміру.

Відображений попередній перегляд можна масштабувати відповідно до редактора. Цей розмір дисплея не є надійним показником внутрішніх деталей маски. Прочитайте Роздільна здатність маски проти розміру попереднього перегляду, щоб дізнатися про різницю.

Локальний висновок все ще має крок налаштування

Для запуску моделі на пристрої потрібні ваги моделі та сумісне середовище виконання браузера. Вага набагато більша, ніж звичайний код інтерфейсу, тому завантаження всього під час кожного запуску редактора було б марним. Перший сеанс може завантажити та кешувати модель; пізніші звичайні сесії зазвичай можуть використовувати його повторно.

Чому під час першого запуску завантажується модель пояснюється ця межа, не плутаючи завантаження ресурсу моделі із завантаженням фотографії. Важкий висновок також втікає від основного потоку інтерфейсу; див. Основи обробки зображень Web Worker.

Практичний спосіб оцінити результат

Не перевіряйте лише центр предмета. Перевірте маску там, де докази найслабші:

• волосся, хутро, вуса, тканинні волокна;
• окуляри, ремінці, дроти та вузькі щілини;
• низькоконтрастні краї;
• напівпрозорий матеріал;
• контактні тіні;
• кути, де може залишитися старий фоновий колір.

Перегляньте результат як на світлому, так і на темному тлі, якщо кінцевий пункт призначення невідомий. Блідий ореол може зникнути на білому і стати очевидним на чорному. Потім уточніть лише ті області, які впливають на цільове використання.

Автоматичне сегментування є найбільш корисним, коли розглядається як сильний перший прохід, а не твердження про ідеальне розуміння. Щоб спробувати повний локальний процес вирізання та вдосконалення, перегляньте Початок роботи.