기기 내 컷아웃 모델이 보는 것
온디바이스 모델은 이미지를 원격으로 보내지 않고 패턴을 찾아 피사체와 배경을 나눕니다. “이해”한다기보다 학습된 경계 단서를 따릅니다.
그래서 대비가 낮거나 가느다란 디테일은 여전히 사람 확인이 필요합니다. 모델이 보는 것은 의미보다 픽셀 통계에 가깝습니다.
이미지 파일에서 모델 입력까지
먼저 선택한 파일을 디코딩해야 합니다. 압축된 사진은 파일 바이트 블록으로 모델에 직접 전달되지 않습니다. 브라우저는 이를 너비, 높이 및 색상 값이 있는 픽셀로 변환합니다.
그런 다음 추론 파이프라인은 모델 크기의 입력을 준비합니다. 모델 및 런타임에 따라 준비에는 다음이 포함될 수 있습니다.
- 모델이 기대하는 크기로 디코딩된 이미지의 크기를 조정합니다.
- 빨간색, 녹색, 파란색 값을 숫자 채널로 배열합니다.
- 해당 값을 스케일링하거나 정규화합니다.
- 추론 런타임에서 사용하는 배열 형식인 텐서로 패키징합니다.
정확한 차원과 정규화 규칙은 모델 구현에 속합니다. 중요한 실제 점은 추론이 일반적으로 원래 크기의 모든 소스 픽셀에서가 아니라 준비된 표현에서 작동한다는 것입니다.
Easy Background Remover는 기기 내 세분화 모델을 사용하여 브라우저에서 이 추론 단계를 실행합니다. 첫 번째 컷아웃 전에 모델 파일을 다운로드해야 할 수도 있지만 이미지 처리 경로는 모델이 준비되면 로컬로 유지되도록 설계되었습니다. 모델 다운로드는 자산 요청입니다. 원격 처리을 위해 선택한 사진을 업로드하는 것과는 다릅니다.
출력은 자신감과 유사한 마스크입니다.
출력의 각 위치에 대해 모델은 더 주제와 유사하거나 배경과 유사한 것으로 해석될 수 있는 값을 생성합니다. 이를 회색조 이미지로 표현하는 것이 유용합니다.
- 흰색은 이 영역을 유지한다는 의미입니다.
- 검은색은 이 영역이 제거됨을 의미합니다.
- 회색은 가장자리 근처의 부분적 적용 범위 또는 불확실성을 의미합니다.
브라우저는 해당 출력을 작동하는 알파 마스크로 변환합니다. 그런 다음 원본 색상 픽셀을 체커보드, 단색 채우기, 그라데이션 또는 다른 이미지 위에 합성할 수 있습니다. 투명 내보내기는 체커보드를 파일에 그리는 대신 마스크를 알파로 저장합니다.
소프트 값이 중요합니다. 모든 마스크 값이 즉시 순수한 검정색이나 흰색으로 강제 적용되면 머리카락, 털, 직물 섬유, 모션 블러 및 초점이 흐려진 가장자리가 부자연스럽게 단단해집니다. 부분 알파는 더 부드러운 전환을 유지할 수 있습니다. 또한 오래된 배경의 색상 무늬가 노출될 수도 있으므로 결과를 여전히 시각적으로 확인할 가치가 있습니다.
모델에 도움이 되는 시각적 증거
세분화 모델은 한 번에 두 개 이상의 단서를 끌어낼 수 있습니다. 강력한 단서에는 다음이 포함되는 경우가 많습니다.
- 피사체와 배경 간의 대비;
- 지배적인 객체 주위의 연속적인 경계;
- 모양, 질감, 위치의 친숙한 조합
- 초점 차이와 같은 깊이 단서;
- 시각적으로 함께 속하는 영역.
이러한 단서 중 어느 것도 보장되지 않습니다. 어두운 벽에 어두운 재킷을 입으면 경계 대비가 약해집니다. 간격이 좁은 의자에는 개체와 유사한 배경 영역이 포함될 수 있습니다. 패턴이 있는 배경은 관심을 끌기 위해 실제 주제와 경쟁할 수 있습니다.
모델은 사용 가능한 픽셀에서 최상의 추정치를 내립니다. 이미지가 캡처하지 않은 세부 사항은 복구할 수 없습니다.
모델이 모르는 것
모델은 여러 주제가 존재할 때 어떤 객체를 유지하려고 했는지 자동으로 알지 못합니다. 투명한 유리잔이 상업적으로 중요한지, 사실성을 위해 그림자가 머물러야 하는지, 작은 끈이 가방에 속한다는 사실을 알지 못한다.
또한 흐릿한 소스의 숨겨진 고해상도 버전도 수신하지 않습니다. 압축 블록, 잘린 하이라이트, 동작 흐림 및 아주 작은 세부 사항으로 인해 사용 가능한 증거가 제한됩니다. 미리보기 확대/축소를 늘리면 화면의 픽셀이 더 커집니다. 누락된 정보를 생성하지 않습니다.
이것이 "AI가 감지했습니다"와 "에지가 게시할 준비가 되었습니다"가 다른 주장인 이유입니다. 감지가 편집을 시작합니다. 리뷰가 끝났습니다.
얇고 투명한 디테일이 어려운 이유
얇은 물체는 적은 픽셀을 차지합니다. 추론을 위해 이미지 크기를 조정할 때 1픽셀 와이어나 머리카락 가닥은 주변 배경과 평균을 낼 수 있습니다. 투명한 물체는 또 다른 이유 때문에 어렵습니다. 눈에 보이는 색상은 부분적으로 오래된 배경입니다. 대상을 이해하는 사람에게는 경계가 명확할 수 있지만 픽셀 패턴은 여전히 모호합니다.
부드러운 그림자는 의도적인 모호성을 만듭니다. 바깥쪽 가장자리는 점차적으로 희미해지고 객관적으로 올바른 단일 컷오프는 없습니다. 전체 그림자를 유지하면 유사한 배경에서는 자연스럽게 보일 수 있지만 밝은 새 채우기에서는 더러워 보일 수 있습니다. 제거하면 피사체가 떠 있는 것처럼 보일 수 있습니다.
이는 모델 문제 못지않게 판단 문제이기도 합니다.
모델 마스크, 작업 마스크, 내보내기 마스크
세 단계를 구분하는 데 도움이 됩니다.
- 모델 마스크: 추론을 통해 반환된 자동 추정치입니다.
- 작업 마스크: 추가 또는 지우기 개선 후 편집기에 표시되는 마스크입니다.
- 마스크 내보내기: 현재 결과를 다운로드하거나 복사할 때 적용되는 작업 마스크입니다.
Easy Background Remover에서는 브러시 다듬기가 작업 마스크를 편집합니다. 내보내기는 변경되지 않은 자동 마스크로 자동으로 돌아가는 대신 현재 편집된 결과를 사용합니다. 이를 통해 모델은 의도에 따라 세부 사항을 수정하면서 광범위한 분리를 처리할 수 있습니다.
표시된 미리보기는 편집기에 맞게 크기가 조정될 수 있습니다. 해당 디스플레이 크기는 마스크의 내부 세부 사항을 신뢰할 수 있는 척도가 아닙니다. 차이점을 알아보려면 마스크 해상도와 미리보기 크기를 읽어보세요.
로컬 추론에는 아직 설정 단계가 있습니다.
기기에서 모델을 실행하려면 모델 가중치와 호환되는 브라우저 런타임이 필요합니다. 가중치는 일반 인터페이스 코드보다 훨씬 크기 때문에 편집기를 시작할 때마다 모든 것을 로드하는 것은 낭비입니다. 첫 번째 세션에서는 모델을 다운로드하고 캐시할 수 있습니다. 나중에 일반 세션에서는 일반적으로 이를 재사용할 수 있습니다.
먼저 실행하여 모델을 다운로드하는 이유는 모델 자산 다운로드와 사진 업로드를 혼동하지 않고 해당 경계를 설명합니다. 무거운 추론은 기본 인터페이스 스레드에서도 실행됩니다. 웹 작업자 이미지 처리 기본 사항을 참조하세요.
결과를 판단하는 실용적인 방법
피사체의 중앙만 검사하지 마십시오. 증거가 가장 약한 마스크를 확인하십시오.
- 머리카락, 모피, 수염 및 직물 섬유;
- 안경, 끈, 전선 및 좁은 틈새;
- 저대비 가장자리;
- 반투명 소재;
- 접촉 그림자;
- 예전 배경색이 남아있을 수 있는 코너.
최종 목적지를 알 수 없는 경우 밝은 배경과 어두운 배경 모두에서 결과를 봅니다. 창백한 후광은 흰색에서는 사라지고 검은색에서는 뚜렷해질 수 있습니다. 그런 다음 의도된 용도에 영향을 미치는 영역만 다듬습니다.
자동 분할은 완벽한 이해에 대한 진술이 아니라 강력한 첫 번째 통과로 처리될 때 가장 유용합니다. 전체 로컬 컷아웃 및 개선 흐름을 시도하려면 시작하기를 참조하세요.