Mô hình cắt bỏ trên thiết bị nhìn thấy gì

By Technical specialist

Mô hình cắt bỏ trên thiết bị không nhìn thấy người, giày, vật nuôi hoặc ghế theo nghĩa của con người. Nó nhận được biểu diễn bằng số của hình ảnh và ước tính, từng pixel, khu vực nào có thể thuộc về chủ đề chính. Đầu ra hữu ích của nó là mặt nạ: bản đồ thang độ xám có thể trở thành kênh trong suốt của kết quả.

Sự khác biệt đó giải thích cả tốc độ cắt tự động và giới hạn của chúng. Mô hình có thể sử dụng các mẫu trực quan đã học được trong quá trình đào tạo nhưng nó không biết ý định của bạn. Một vật sắc nhọn ở gần trung tâm có thể trông quan trọng; một viền kính mờ hoặc một sợi tóc buông xõa có thể trông giống như nền.

Từ tệp hình ảnh đến đầu vào mô hình

Tệp bạn chọn đầu tiên phải được giải mã. Ảnh nén không được truyền trực tiếp vào mô hình dưới dạng khối byte tệp. Trình duyệt biến nó thành pixel với các giá trị chiều rộng, chiều cao và màu sắc.

Sau đó, đường dẫn suy luận sẽ chuẩn bị đầu vào có kích thước mô hình. Tùy thuộc vào mô hình và thời gian chạy, việc chuẩn bị có thể bao gồm:

thay đổi kích thước hình ảnh được giải mã theo kích thước mà mô hình mong đợi;
sắp xếp các giá trị màu đỏ, xanh lục và xanh lam dưới dạng kênh số;
chia tỷ lệ hoặc chuẩn hóa các giá trị đó;
đóng gói chúng thành một tensor, định dạng mảng được sử dụng trong thời gian chạy suy luận.

Kích thước chính xác và quy tắc chuẩn hóa thuộc về việc triển khai mô hình. Điểm thực tế quan trọng là suy luận thường hoạt động từ một biểu diễn đã được chuẩn bị sẵn chứ không phải từ mọi pixel nguồn ở kích thước ban đầu của nó.

Easy Background Remover chạy bước suy luận này trong trình duyệt bằng mô hình phân đoạn trên thiết bị. Có thể cần phải tải xuống tệp mô hình trước lần cắt đầu tiên, nhưng đường dẫn xử lý hình ảnh được thiết kế để duy trì cục bộ sau khi mô hình sẵn sàng. Việc tải xuống mô hình là một yêu cầu nội dung; nó không giống như việc tải ảnh đã chọn lên để suy luận từ xa.

Đầu ra là một chiếc mặt nạ giống như sự tự tin

Đối với mỗi vị trí trong đầu ra của nó, mô hình tạo ra một giá trị có thể được hiểu là giống chủ đề hơn hoặc giống nền hơn. Sẽ rất hữu ích khi hình dung đây là hình ảnh thang độ xám:

màu trắng có nghĩa là giữ khu vực này;
màu đen có nghĩa là loại bỏ khu vực này;
màu xám có nghĩa là phạm vi bao phủ một phần hoặc không chắc chắn ở gần một cạnh.

Trình duyệt chuyển đổi kết quả đầu ra đó thành mặt nạ alpha hoạt động. Sau đó, các pixel màu gốc có thể được tổng hợp trên bàn cờ, màu tô đặc, dải màu hoặc hình ảnh khác. Xuất trong suốt sẽ lưu mặt nạ dưới dạng alpha thay vì vẽ bàn cờ vào tệp.

Các giá trị mềm quan trọng. Nếu mọi giá trị mặt nạ bị buộc ngay lập tức chuyển sang màu đen hoặc trắng thuần túy thì tóc, lông thú, sợi vải, chuyển động mờ và các cạnh bị mất nét sẽ trở nên cứng một cách bất thường. Alpha một phần có thể duy trì quá trình chuyển đổi mượt mà hơn. Nó cũng có thể làm lộ viền màu của nền cũ, đó là lý do tại sao kết quả vẫn đáng được kiểm tra bằng hình ảnh.

Bằng chứng trực quan nào giúp ích cho mô hình

Một mô hình phân đoạn có thể dựa vào nhiều đầu mối cùng một lúc. Những manh mối mạnh mẽ thường bao gồm:

độ tương phản giữa chủ thể và nền;
ranh giới liên tục xung quanh một đối tượng chiếm ưu thế;
sự kết hợp quen thuộc của hình dạng, kết cấu và vị trí;
tín hiệu chiều sâu như sự khác biệt về tiêu điểm;
các khu vực trực quan thuộc về nhau.

Không có manh mối nào trong số này là một sự đảm bảo. Một chiếc áo khoác tối màu trên nền tường tối mang lại độ tương phản ranh giới yếu. Một chiếc ghế có khoảng trống hẹp có thể chứa các vùng nền giống với vật thể. Phông nền có hoa văn có thể cạnh tranh với chủ thể thực tế để thu hút sự chú ý.

Mô hình đang đưa ra ước tính tốt nhất từ các pixel có sẵn. Nó không thể khôi phục chi tiết mà hình ảnh chưa bao giờ chụp được.

Điều mà người mẫu không biết

Mô hình không tự động biết bạn muốn giữ đối tượng nào khi có nhiều đối tượng. Nó không biết rằng một chiếc ly uống nước trong suốt có tầm quan trọng về mặt thương mại, rằng một cái bóng nên ở lại để tạo ra chủ nghĩa hiện thực, hay một chiếc dây đeo nhỏ thuộc về một chiếc túi.

Nó cũng không nhận được phiên bản ẩn có độ phân giải cao của nguồn mờ. Các khối nén, phần đánh dấu bị cắt bớt, chuyển động mờ và các chi tiết rất nhỏ sẽ hạn chế bằng chứng có sẵn. Việc tăng mức thu phóng xem trước sẽ làm cho các pixel trên màn hình lớn hơn; nó không tạo ra thông tin bị thiếu.

Đây là lý do tại sao “AI đã phát hiện ra nó” và “cạnh đã sẵn sàng xuất bản” là những tuyên bố khác nhau. Phát hiện bắt đầu chỉnh sửa. Đánh giá kết thúc nó.

##Tại sao chi tiết mỏng và trong suốt lại khó

Các đối tượng mỏng chiếm vài pixel. Khi một hình ảnh được thay đổi kích thước để suy luận, một sợi dây hoặc sợi tóc một pixel có thể được tính trung bình với nền xung quanh nó. Các vật thể trong suốt rất khó vì một lý do khác: màu sắc nhìn thấy được của chúng một phần là nền cũ. Ranh giới có thể rõ ràng đối với người hiểu đối tượng, trong khi mẫu pixel vẫn còn mơ hồ.

Bóng mềm tạo ra sự mơ hồ có chủ ý. Mép ngoài của chúng mờ dần và không có đường cắt nào chính xác một cách khách quan. Giữ bóng đầy đủ có thể trông tự nhiên trên nền tương tự nhưng bị bẩn trên nền mới sáng. Việc loại bỏ nó có thể làm cho đối tượng có vẻ nổi.

Đây là những vấn đề phán đoán cũng giống như những vấn đề về mô hình.

##Mặt nạ mẫu, mặt nạ làm việc và mặt nạ xuất khẩu

Nó giúp phân biệt ba giai đoạn:

Mặt nạ mẫu: ước tính tự động được trả về bằng suy luận.
Mặt nạ làm việc: mặt nạ được hiển thị trong trình chỉnh sửa sau bất kỳ sàng lọc Thêm hoặc Xóa nào.
Xuất mặt nạ: mặt nạ làm việc được áp dụng khi kết quả hiện tại được tải xuống hoặc sao chép.

Trong Easy Background Remover, tinh chỉnh cọ vẽ sẽ chỉnh sửa mặt nạ làm việc. Xuất sử dụng kết quả đã chỉnh sửa hiện tại thay vì âm thầm quay lại mặt nạ tự động chưa được chạm vào. Điều này cho phép mô hình xử lý sự phân tách rộng rãi trong khi bạn sửa các chi tiết phụ thuộc vào ý định.

Bản xem trước được hiển thị có thể được thu nhỏ để phù hợp với trình chỉnh sửa. Kích thước hiển thị đó không phải là thước đo đáng tin cậy về chi tiết bên trong của mặt nạ. Đọc Độ phân giải mặt nạ so với kích thước xem trước để phân biệt.

Suy luận cục bộ vẫn còn bước thiết lập

Chạy mô hình trên thiết bị yêu cầu trọng lượng mô hình và thời gian chạy trình duyệt tương thích. Trọng lượng lớn hơn nhiều so với mã giao diện thông thường, vì vậy việc tải mọi thứ vào mỗi lần khởi chạy trình chỉnh sửa sẽ rất lãng phí. Phiên đầu tiên có thể tải xuống và lưu trữ mô hình; các phiên thông thường sau này thường có thể sử dụng lại nó.

Tại sao lần chạy đầu tiên lại tải xuống một mô hình giải thích ranh giới đó mà không nhầm lẫn giữa việc tải xuống nội dung mô hình với tải lên ảnh. Suy luận nặng nề cũng chạy xa khỏi luồng giao diện chính; xem Thông tin cơ bản về xử lý hình ảnh của Web Worker.

Một cách thiết thực để đánh giá kết quả

Đừng chỉ kiểm tra trung tâm của chủ đề. Kiểm tra mặt nạ ở nơi bằng chứng yếu nhất:

tóc, lông thú, râu và sợi vải;
kính, dây đai, dây điện và khoảng cách hẹp;
các cạnh có độ tương phản thấp;
vật liệu bán trong suốt;
bóng tiếp xúc;
các góc có thể vẫn còn màu nền cũ.

Xem kết quả trên cả nền sáng và tối nếu không xác định được đích đến cuối cùng. Quầng sáng nhạt có thể biến mất trên nền trắng và trở nên rõ ràng trên nền đen. Sau đó chỉ tinh chỉnh những khu vực ảnh hưởng đến mục đích sử dụng.

Phân đoạn tự động hữu ích nhất khi được coi là bước vượt qua mạnh mẽ đầu tiên chứ không phải là một tuyên bố về sự hiểu biết hoàn hảo. Để thử toàn bộ quy trình sàng lọc và cắt bỏ cục bộ, hãy xem Bắt đầu.