สิ่งที่โมเดลคัตเอาท์บนอุปกรณ์มองเห็น
โมเดลคัตเอาต์บนอุปกรณ์จะไม่เห็นบุคคล รองเท้า สัตว์เลี้ยง หรือเก้าอี้ในความรู้สึกของมนุษย์ ได้รับการแสดงตัวเลขของภาพและการประมาณค่าแบบพิกเซลต่อพิกเซล ซึ่งพื้นที่ที่น่าจะเป็นของวัตถุหลัก ผลลัพธ์ที่มีประโยชน์คือมาสก์: แผนที่ระดับสีเทาที่สามารถกลายเป็นช่องทางโปร่งใสของผลลัพธ์ได้
ความแตกต่างนั้นอธิบายทั้งความเร็วของการตัดอัตโนมัติและขีดจำกัดของมัน แบบจำลองสามารถใช้รูปแบบภาพที่เรียนรู้ระหว่างการฝึกได้ แต่ไม่ทราบเจตนาของคุณ วัตถุมีคมที่อยู่ใกล้ศูนย์กลางอาจดูมีความสำคัญ ขอบกระจกสีจางหรือเส้นผมที่หลวมอาจมีลักษณะเหมือนพื้นหลัง
จากไฟล์ภาพไปจนถึงอินพุตโมเดล
ไฟล์ที่คุณเลือกก่อนจะต้องถอดรหัส ภาพถ่ายที่บีบอัดจะไม่ส่งผ่านไปยังโมเดลโดยตรงในรูปแบบบล็อกไบต์ของไฟล์ เบราว์เซอร์จะเปลี่ยนเป็นพิกเซลพร้อมค่าความกว้าง ความสูง และสี
ไปป์ไลน์การอนุมานจะเตรียมอินพุตขนาดโมเดล ขึ้นอยู่กับรุ่นและรันไทม์ การเตรียมการอาจรวมถึง:
- การปรับขนาดภาพที่ถอดรหัสให้เป็นขนาดที่โมเดลคาดหวัง
- การจัดเรียงค่าสีแดง เขียว และน้ำเงินเป็นช่องตัวเลข
- ปรับขนาดหรือทำให้ค่าเหล่านั้นเป็นมาตรฐาน
- บรรจุลงในเทนเซอร์ ซึ่งเป็นรูปแบบอาเรย์ที่ใช้โดยรันไทม์การอนุมาน
มิติข้อมูลที่แน่นอนและกฎการทำให้เป็นมาตรฐานเป็นของการนำโมเดลไปใช้ ประเด็นสำคัญในทางปฏิบัติคือการอนุมานมักจะทำงานจากการนำเสนอที่เตรียมไว้ ไม่ใช่จากทุกพิกเซลต้นทางในขนาดดั้งเดิม
Easy Background Remover รันขั้นตอนการอนุมานนี้ในเบราว์เซอร์ด้วยโมเดลการแบ่งส่วนบนอุปกรณ์ อาจต้องดาวน์โหลดไฟล์โมเดลก่อนการตัดออกครั้งแรก แต่เส้นทางการประมวลผลภาพได้รับการออกแบบให้คงอยู่ในเครื่องเมื่อโมเดลพร้อม การดาวน์โหลดโมเดลเป็นคำขอสินทรัพย์ มันไม่เหมือนกับการอัพโหลดภาพถ่ายที่เลือกเพื่อการอนุมานระยะไกล
ผลลัพธ์ที่ได้คือหน้ากากที่เหมือนความมั่นใจ
สำหรับแต่ละตำแหน่งในเอาต์พุต โมเดลจะสร้างค่าที่สามารถตีความได้ว่าเหมือนตัวแบบมากกว่าหรือเหมือนพื้นหลังมากกว่า การนึกภาพสิ่งนี้เป็นภาพระดับสีเทามีประโยชน์:
- สีขาว หมายถึง รักษาบริเวณนี้ไว้
- สีดำ หมายถึง ลบบริเวณนี้ออก
- สีเทา หมายถึง ความครอบคลุมบางส่วนหรือความไม่แน่นอนใกล้กับขอบ
เบราว์เซอร์จะแปลงเอาต์พุตนั้นเป็นอัลฟ่ามาสก์ที่ใช้งานได้ พิกเซลสีดั้งเดิมสามารถนำมาประกอบบนกระดานหมากรุก การเติมสีทึบ การไล่ระดับสี หรือรูปภาพอื่นได้ การส่งออกแบบโปร่งใสจะจัดเก็บมาสก์ในรูปแบบอัลฟ่า แทนที่จะลงสีกระดานหมากรุกลงในไฟล์
ค่าอ่อนมีความสำคัญ หากค่ามาส์กทั้งหมดถูกบังคับให้เปลี่ยนเป็นสีดำหรือสีขาวล้วนทันที ผม ขน เส้นใยผ้า ภาพเบลอจากการเคลื่อนไหว และขอบที่ไม่โฟกัสจะแข็งอย่างผิดธรรมชาติ อัลฟ่าบางส่วนสามารถรักษาการเปลี่ยนแปลงที่ราบรื่นยิ่งขึ้น นอกจากนี้ยังสามารถเปิดเผยขอบสีจากพื้นหลังเก่าได้ ซึ่งเป็นเหตุผลว่าทำไมผลลัพธ์จึงสมควรได้รับการตรวจสอบด้วยภาพ
หลักฐานทางภาพอะไรที่ช่วยโมเดลได้
โมเดลการแบ่งเซ็กเมนต์สามารถดึงเบาะแสได้มากกว่าหนึ่งรายการในคราวเดียว เบาะแสที่ชัดเจนมักประกอบด้วย:
- ความแตกต่างระหว่างวัตถุและพื้นหลัง
- ขอบเขตต่อเนื่องรอบวัตถุที่โดดเด่น
- การผสมผสานรูปร่าง พื้นผิว และตำแหน่งที่คุ้นเคย
- ตัวชี้นำเชิงลึก เช่น ความแตกต่างของโฟกัส
- ภูมิภาคที่มองเห็นอยู่ด้วยกัน
ไม่มีเบาะแสเหล่านี้คือการรับประกัน เสื้อแจ็กเก็ตสีเข้มตัดกับผนังสีเข้มทำให้เกิดความเปรียบต่างของขอบเขตที่อ่อนแอ เก้าอี้ที่มีช่องว่างแคบอาจมีบริเวณพื้นหลังที่มีลักษณะคล้ายกับวัตถุ ฉากหลังที่มีลวดลายสามารถแย่งความสนใจกับตัวแบบจริงได้
โมเดลกำลังประมาณค่าที่ดีที่สุดจากพิกเซลที่มีอยู่ ไม่สามารถกู้คืนรายละเอียดที่ภาพไม่เคยบันทึกได้
##รุ่นอะไรไม่รู้
โมเดลจะไม่ทราบโดยอัตโนมัติว่าคุณต้องการเก็บวัตถุใดไว้เมื่อมีวัตถุหลายตัวอยู่ โดยไม่รู้ว่าแก้วน้ำใสมีความสำคัญในเชิงพาณิชย์ เงาควรจะคงอยู่เพื่อความสมจริง หรือมีสายเล็กๆ ของกระเป๋า
นอกจากนี้ยังไม่ได้รับแหล่งที่มาที่พร่ามัวในเวอร์ชันความละเอียดสูงที่ซ่อนอยู่อีกด้วย บล็อกการบีบอัด ไฮไลท์ที่ถูกตัด ภาพเบลอจากการเคลื่อนไหว และรายละเอียดเล็กๆ น้อยๆ จะจำกัดหลักฐานที่มีอยู่ การเพิ่มการซูมตัวอย่างจะทำให้พิกเซลบนหน้าจอใหญ่ขึ้น มันไม่สร้างข้อมูลที่ขาดหายไป
นี่คือเหตุผลว่าทำไม “AI ตรวจพบมัน” และ “Edge พร้อมที่จะเผยแพร่” จึงเป็นคำกล่าวอ้างที่แตกต่างกัน การตรวจจับเริ่มการแก้ไข รีวิวจบแล้ว.
ทำไมรายละเอียดบางและโปร่งใสถึงยาก
วัตถุบางใช้พื้นที่ไม่กี่พิกเซล เมื่อรูปภาพถูกปรับขนาดเพื่อการอนุมาน เส้นลวดหรือเส้นผมขนาดหนึ่งพิกเซลอาจถูกเฉลี่ยโดยมีพื้นหลังล้อมรอบ วัตถุโปร่งใสเป็นเรื่องยากด้วยเหตุผลอื่น: สีที่มองเห็นได้ส่วนหนึ่งเป็นพื้นหลังแบบเก่า บุคคลที่เข้าใจวัตถุอาจมีขอบเขตที่ชัดเจน ในขณะที่รูปแบบพิกเซลยังคงไม่ชัดเจน
เงาที่นุ่มนวลทำให้เกิดความกำกวมโดยเจตนา ขอบด้านนอกของพวกมันจะค่อยๆ จางลง และไม่มีจุดตัดที่ถูกต้องใดๆ เลย การรักษาเงาให้สมบูรณ์อาจดูเป็นธรรมชาติบนพื้นหลังที่คล้ายกัน แต่จะสกปรกเมื่อเติมสีใหม่สว่าง การถอดออกอาจทำให้ตัวแบบดูเหมือนลอยได้
สิ่งเหล่านี้เป็นปัญหาในการตัดสินพอๆ กับปัญหาแบบจำลอง
โมเดลมาสก์ หน้ากากทำงาน และหน้ากากส่งออก
ช่วยแยกสามขั้นตอน:
- ตัวพรางโมเดล: การประมาณอัตโนมัติที่ส่งคืนโดยการอนุมาน
- มาสก์การทำงาน: มาสก์ที่แสดงในเครื่องมือแก้ไขหลังจากการปรับแต่งเพิ่มหรือลบ
- มาสก์ส่งออก: มาสก์การทำงานจะใช้เมื่อมีการดาวน์โหลดหรือคัดลอกผลลัพธ์ปัจจุบัน
ใน Easy Background Remover การปรับแต่งแปรงจะแก้ไขมาสก์การทำงาน การส่งออกจะใช้ผลลัพธ์ที่แก้ไขในปัจจุบันแทนที่จะกลับไปใช้มาสก์อัตโนมัติที่ไม่มีใครแตะต้องอย่างเงียบๆ ซึ่งช่วยให้โมเดลจัดการกับการแยกในวงกว้างในขณะที่คุณแก้ไขรายละเอียดที่ขึ้นอยู่กับเจตนา
ภาพตัวอย่างที่แสดงอาจถูกปรับขนาดให้พอดีกับโปรแกรมแก้ไข ขนาดการแสดงผลนั้นไม่ใช่การวัดรายละเอียดภายในของหน้ากากที่เชื่อถือได้ อ่าน ความละเอียดของมาสก์เทียบกับขนาดตัวอย่าง เพื่อดูความแตกต่าง
การอนุมานเฉพาะที่ยังคงมีขั้นตอนการตั้งค่า
การเรียกใช้โมเดลบนอุปกรณ์ต้องใช้น้ำหนักของโมเดลและรันไทม์ของเบราว์เซอร์ที่เข้ากันได้ น้ำหนักนั้นใหญ่กว่าโค้ดอินเทอร์เฟซทั่วไปมาก ดังนั้นการโหลดทุกอย่างในการเปิดโปรแกรมแก้ไขทุกครั้งจะสิ้นเปลือง เซสชันแรกอาจดาวน์โหลดและแคชโมเดล เซสชันปกติในภายหลังมักจะสามารถนำมาใช้ซ้ำได้
เหตุใดจึงเรียกใช้การดาวน์โหลดโมเดลเป็นครั้งแรก อธิบายขอบเขตดังกล่าวโดยไม่ทำให้การดาวน์โหลดเนื้อหาโมเดลสับสนกับการอัปโหลดรูปภาพ การอนุมานจำนวนมากยังวิ่งหนีจากเธรดอินเทอร์เฟซหลัก โปรดดู พื้นฐานการประมวลผลรูปภาพของ Web Worker
วิธีปฏิบัติจริงในการตัดสินผลลัพธ์
อย่าตรวจสอบเฉพาะจุดศูนย์กลางของวัตถุ ตรวจสอบหน้ากากที่มีหลักฐานอ่อนที่สุด:
- ผม ขน หนวด และเส้นใยผ้า
- แก้ว สายรัด สายไฟ และช่องว่างแคบ
- ขอบคอนทราสต์ต่ำ
- วัสดุกึ่งโปร่งใส
- เงาสัมผัส;
- มุมที่อาจคงสีพื้นหลังเก่าไว้
ดูผลลัพธ์บนพื้นหลังทั้งแบบสว่างและมืดหากไม่ทราบจุดหมายปลายทางสุดท้าย รัศมีสีซีดอาจหายไปบนพื้นสีขาวและปรากฏชัดเจนบนสีดำ แล้วปรับแต่งเฉพาะบริเวณที่ส่งผลต่อการใช้งานที่ต้องการ
การแบ่งส่วนอัตโนมัติจะมีประโยชน์มากที่สุดเมื่อถือเป็นการส่งผ่านครั้งแรกที่ชัดเจน ไม่ใช่เป็นการแสดงถึงความเข้าใจที่สมบูรณ์ หากต้องการลองใช้ขั้นตอนการปรับแต่งและตัดส่วนท้องถิ่นทั้งหมด โปรดดูที่ เริ่มต้น