Что видит вырезанная модель на устройстве

By Technical specialist

Модель выреза на устройстве не видит человека, обувь, домашнее животное или стул в человеческом понимании. Он получает числовое представление изображения и попиксельно оценивает, какие области могут принадлежать основному объекту. Полезным результатом является маска: карта в оттенках серого, которая может стать каналом прозрачности результата.

Это различие объясняет как скорость автоматического отключения, так и его пределы. Модель может использовать визуальные шаблоны, изученные во время обучения, но не знает ваших намерений. Острый предмет рядом с центром может выглядеть важным; слабый стеклянный ободок или выбившаяся прядь волос могут выглядеть фоном.

Из файла изображения во входные данные модели

Сначала необходимо декодировать выбранный вами файл. Сжатая фотография не передается непосредственно в модель в виде блока байтов файла. Браузер преобразует его в пиксели со значениями ширины, высоты и цвета.

Затем конвейер вывода подготавливает входные данные размера модели. В зависимости от модели и времени выполнения подготовка может включать в себя:

• изменение размера декодированного изображения до размеров, ожидаемых моделью;
• расположение красных, зеленых и синих значений в числовых каналах;
• масштабирование или нормализация этих значений;
• упаковка их в тензор, формат массива, используемый средой выполнения вывода.

Точные размеры и правила нормализации относятся к реализации модели. Важным практическим моментом является то, что вывод обычно работает на основе подготовленного представления, а не на основе каждого исходного пикселя в его исходном размере.

Easy Background Remover выполняет этот шаг вывода в браузере с помощью модели сегментации на устройстве. Файл модели, возможно, потребуется загрузить перед первым вырезом, но путь обработки изображения спроектирован таким образом, чтобы оставаться локальным после того, как модель будет готова. Загрузка модели — это запрос ресурса; это не то же самое, что загрузка выбранной фотографии для удаленного анализа.

Результатом является маска, подобная доверительной.

Для каждого местоположения на выходе модель выдает значение, которое можно интерпретировать как более похожее на предмет или больше похожее на фон. Полезно представить это как изображение в оттенках серого:

• белый означает удержание этой территории;
• черный означает удаление этой области;
• серый цвет означает частичное покрытие или неопределенность вблизи края.

Браузер преобразует этот вывод в рабочую альфа-маску. Затем исходные цветные пиксели можно скомпоновать с шахматной доской, сплошной заливкой, градиентом или другим изображением. При прозрачном экспорте маска сохраняется как альфа, а не рисуется в файле шахматная доска.

Мягкие ценности имеют значение. Если бы каждое значение маски было немедленно изменено на чисто черный или белый, волосы, мех, волокна ткани, размытие в движении и расфокусированные края стали бы неестественно жесткими. Частичная альфа может сохранить более плавный переход. Он также может обнажить цветную бахрому на старом фоне, поэтому результат все равно заслуживает визуальной проверки.

Какие визуальные доказательства помогают модели

Модель сегментации может использовать более одной подсказки одновременно. К сильным подсказкам часто относятся:

• контраст между предметом и фоном;
• сплошные границы вокруг доминирующего объекта;
• знакомые сочетания формы, текстуры и положения;
• признаки глубины, такие как разница в фокусе;
• Области, которые визуально принадлежат друг другу.

Ни одна из этих подсказок не является гарантией. Темный пиджак на темной стене создает слабый контраст границ. Стул с узкими промежутками может содержать фоновые области, напоминающие объект. Узорчатый фон может конкурировать за внимание с самим объектом.

Модель делает наилучшую оценку на основе доступных пикселей. Он не может восстановить детали, которые не были запечатлены на изображении.

Чего не знает модель

Модель не знает автоматически, какой объект вы хотели сохранить, если присутствует несколько субъектов. Он не знает, что прозрачный стакан имеет коммерческое значение, что для реалистичности должна оставаться тень или что от сумки должен быть небольшой ремешок.

Он также не получает скрытую версию размытого источника в высоком разрешении. Блоки сжатия, обрезанные светлые участки, размытие при движении и очень мелкие детали ограничивают доступные доказательства. Увеличение масштаба предварительного просмотра приводит к увеличению пикселей на экране; он не создает недостающей информации.

Вот почему «ИИ обнаружил это» и «граница готова к публикации» — это разные утверждения. Обнаружение запускает редактирование. Обзор заканчивает это.

Почему тонкие и прозрачные детали сложны

Тонкие объекты занимают несколько пикселей. Когда размер изображения изменяется для вывода, однопиксельная проволока или прядь волос могут быть усреднены с фоном вокруг них. Прозрачные объекты сложны по другой причине: их видимый цвет частично представляет собой старый фон. Граница может быть ясна человеку, понимающему объект, тогда как рисунок пикселей остается неоднозначным.

Мягкие тени создают намеренную двусмысленность. Их внешний край постепенно тускнеет, и единого объективно правильного среза не существует. Сохранение полной тени может выглядеть естественно на аналогичном фоне, но грязно на новой яркой заливке. Если его удалить, может показаться, что объект плывет.

Это не только проблемы модели, но и проблемы суждения.

Маска модели, рабочая маска и маска экспорта

Это помогает разделить три этапа:

1. Маска модели: автоматическая оценка, полученная в результате вывода.
2. Рабочая маска: маска, отображаемая в редакторе после любых уточнений «Добавить» или «Стереть».
3. Маска экспорта: рабочая маска, применяемая при загрузке или копировании текущего результата.

В Easy Background Remover уточнение кисти редактирует рабочую маску. Экспорт использует текущий отредактированный результат, а не автоматически возвращается к нетронутой автоматической маске. Это позволяет модели обрабатывать широкое разделение, в то время как вы корректируете детали, зависящие от намерения.

Отображаемый предварительный просмотр может быть масштабирован в соответствии с редактором. Этот размер дисплея не является надежным показателем внутренних деталей маски. Прочтите Разрешение маски и размер предварительного просмотра, чтобы узнать разницу.

Локальный вывод все еще имеет этап настройки

Для запуска модели на устройстве требуются веса модели и совместимая среда выполнения браузера. Веса намного больше, чем у обычного кода интерфейса, поэтому загружать все при каждом запуске редактора было бы расточительно. Первый сеанс может загрузить и кэшировать модель; более поздние обычные сеансы обычно могут повторно использовать его.

Почему при первом запуске загружается модель объясняет эту границу, не путая загрузку ресурса модели с загрузкой фотографии. Тяжелый вывод также уходит за пределы основного потока интерфейса; см. Основы обработки изображений Web Worker.

Практичный способ оценить результат

Не проверяйте только центр объекта. Проверьте маску там, где доказательства наиболее слабы:

• волосы, мех, бакенбарды и волокна ткани;
• очки, ремешки, провода и узкие щели;
• малоконтрастные края;
• полупрозрачный материал;
• контактные тени;
• углы, где может остаться старый цвет фона.

Просмотрите результат как на светлом, так и на темном фоне, если конечный пункт назначения неизвестен. Бледный ореол может исчезнуть на белом и стать заметным на черном. Затем уточните только те области, которые влияют на предполагаемое использование.

Автоматическая сегментация наиболее полезна, когда ее рассматривают как сильный первый проход, а не как утверждение об идеальном понимании. Чтобы попробовать полный процесс локального вырезания и уточнения, см. Начало работы.