设备上剪切模型看到的内容

By Technical specialist

设备上的剪切模型看不到人类意义上的人、鞋子、宠物或椅子。它接收图像的数字表示，并逐像素估计哪些区域可能属于主要主题。它有用的输出是一个蒙版：可以成为结果的透明通道的灰度图。

这种区别解释了自动剪切的速度及其局限性。该模型可以使用训练期间学到的视觉模式，但它不知道你的意图。靠近中心的尖锐物体可能看起来很重要；淡淡的玻璃边缘或松散的一缕头发可能看起来像背景。

从图像文件到模型输入

您首先选择的文件必须被解码。压缩照片不会作为文件字节块直接传递到模型中。浏览器将其转换为具有宽度、高度和颜色值的像素。

然后推理管道准备模型大小的输入。根据型号和运行时间，准备工作可以包括：

确切的维度和标准化规则属于模型实现。重要的实用点是，推理通常是根据准备好的表示进行的，而不是根据原始大小的每个源像素进行的。

Easy Background Remover 使用设备上的分段模型在浏览器中运行此推理步骤。模型文件可能需要在第一次剪切之前下载，但图像处理路径被设计为在模型准备好后保留在本地。模型下载是资产请求；这与上传所选照片进行远程推理不是一回事。

对于输出中的每个位置，模型都会生成一个值，该值可以解释为更像主题或更像背景。将其描绘为灰度图像很有用：

浏览器将该输出转换为工作 alpha 蒙版。然后可以将原始颜色像素合成在棋盘、实心填充、渐变或其他图像上。透明导出将遮罩存储为 Alpha，而不是将棋盘绘制到文件中。

软价值观很重要。如果每个蒙版值立即强制为纯黑色或纯白色，头发、毛皮、织物纤维、运动模糊和散焦边缘将变得不自然地坚硬。部分 Alpha 可以保持更平滑的过渡。它还可以暴露旧背景的彩色条纹，这就是为什么结果仍然值得目视检查。

分割模型可以同时利用多个线索。强有力的线索通常包括：

这些线索都不能保证。深色夹克搭配深色墙壁提供了微弱的边界对比。间隙狭窄的椅子可能包含与物体相似的背景区域。带图案的背景可以与实际主题竞争注意力。

该模型正在根据可用像素进行最佳估计。它无法恢复图像从未捕获的细节。

当存在多个主体时，模型不会自动知道您打算保留哪个对象。它不知道透明的水杯在商业上很重要，不知道为了真实而应该留下阴影，也不知道一条小带子属于一个包。

它也不会接收模糊源的隐藏高分辨率版本。压缩块、高光剪切、运动模糊和非常小的细节限制了可用的证据。增加预览缩放会使屏幕上的像素变大；它不会产生缺失的信息。

这就是为什么“人工智能检测到它”和“边缘已准备好发布”是不同的说法。检测开始编辑。审核完毕。

薄的物体占据很少的像素。当调整图像大小以进行推理时，单像素线或发丝可能会与其周围的背景进行平均。透明物体之所以困难还有另一个原因：它们的可见颜色部分是旧背景。对于理解该物体的人来说，边界可能是清楚的，但像素图案仍然是模糊的。

柔和的阴影故意营造出一种模糊感。它们的外缘逐渐消失，并且没有一个客观正确的界限。保持完整的阴影在相似的背景上可能看起来很自然，但在明亮的新填充上看起来很脏。移除它可能会使拍摄对象看起来漂浮。

这些都是判断问题，也是模型问题。

它有助于区分三个阶段：

在 Easy Background Remover 中，画笔细化会编辑工作蒙版。导出使用当前编辑的结果，而不是默默地返回到未更改的自动蒙版。这使模型可以处理广泛的分离，同时您可以根据意图纠正细节。

显示的预览可以缩放以适合编辑器。该显示屏尺寸并不能可靠地衡量面罩的内部细节。请阅读蒙版分辨率与预览尺寸以了解区别。

在设备上运行模型需要模型权重和兼容的浏览器运行时。权重比普通界面代码大得多，因此在每次编辑器启动时加载所有内容将是浪费。第一个会话可以下载并缓存模型；以后的普通会话通常可以重用它。

为什么第一次运行会下载模型解释了该边界，而没有将模型资源下载与照片上传混淆。繁重的推理也会远离主界面线程；请参阅 Web Worker 图像处理基础知识。

不要只检查主体的中心。检查证据最薄弱的面具：

如果最终目的地未知，请在浅色和深色背景下查看结果。浅色光晕在白色上会消失，在黑色上会变得明显。然后仅细化影响预期用途的区域。

当自动分割被视为强大的第一遍而不是完美理解的陈述时，它是最有用的。要尝试完整的本地剪切和细化流程，请参阅入门。