مدل روی دستگاه چه چیزی «می‌بیند»
مدل مثل انسان تصویر را «نمی‌فهمد». مرزهای محتمل سوژه را از رنگ، کنتراست و شکل می‌جوید. برای همین کنتراست کم و بوکه نرم ماسک را سخت می‌کند.
منبع خوب نشانه واضح‌تر می‌دهد — جادو نیست.
از فایل تصویر تا ورودی مدل
فایلی که انتخاب می کنید ابتدا باید رمزگشایی شود. یک عکس فشرده مستقیماً به عنوان بلوکی از بایت های فایل به مدل منتقل نمی شود. مرورگر آن را به پیکسل هایی با مقادیر عرض، ارتفاع و رنگ تبدیل می کند.
سپس خط لوله پردازش یک ورودی به اندازه مدل آماده می کند. بسته به مدل و زمان اجرا، آماده سازی می تواند شامل موارد زیر باشد:
- تغییر اندازه تصویر رمزگشایی شده به ابعاد مورد انتظار مدل.
- مرتب کردن مقادیر قرمز، سبز و آبی به عنوان کانال های عددی.
- مقیاس یا عادی سازی آن مقادیر؛
- بسته بندی آنها در یک تانسور، قالب آرایه ای که توسط زمان اجرا پردازش استفاده می شود.
ابعاد دقیق و قوانین عادی سازی متعلق به پیاده سازی مدل است. نکته عملی مهم این است که پردازش معمولاً از یک نمایش آماده کار می کند، نه از هر پیکسل منبع در اندازه اصلی آن.
Easy Background Remover این مرحله پردازش را در مرورگر با مدل بخش‌بندی روی دستگاه اجرا می‌کند. ممکن است لازم باشد فایل مدل قبل از اولین برش دانلود شود، اما مسیر پردازش تصویر طوری طراحی شده است که پس از آماده شدن مدل، محلی باقی بماند. دانلود مدل یک درخواست دارایی است. این همان بارگذاری عکس انتخاب شده برای پردازش از راه دور نیست.
خروجی ماسکی مانند اعتماد است
برای هر مکان در خروجی خود، مدل مقداری تولید می کند که می تواند بیشتر شبیه موضوع یا بیشتر شبیه پس زمینه تفسیر شود. مفید است که این را به عنوان یک تصویر در مقیاس خاکستری به تصویر بکشید:
- سفید به معنای حفظ این منطقه است.
- سیاه به معنای حذف این ناحیه است.
- خاکستری به معنای پوشش جزئی یا عدم قطعیت در نزدیکی لبه است.
مرورگر آن خروجی را به ماسک آلفای فعال تبدیل می کند. سپس پیکسل‌های رنگی اصلی را می‌توان روی یک صفحه شطرنجی، یک پرکننده جامد، یک گرادیان یا یک تصویر دیگر ترکیب کرد. یک صادرات شفاف ماسک را به‌عنوان آلفا ذخیره می‌کند تا اینکه صفحه شطرنجی را در فایل نقاشی کند.
ارزش های نرم اهمیت دارند. اگر هر مقدار ماسک بلافاصله به سیاه یا سفید خالص تبدیل شود، مو، خز، الیاف پارچه، تاری حرکت، و لبه‌های بدون فوکوس به طور غیر طبیعی سخت می‌شوند. آلفای جزئی می تواند یک انتقال صاف تر را حفظ کند. همچنین می‌تواند حاشیه‌های رنگی را از پس‌زمینه قدیمی نشان دهد، به همین دلیل است که نتیجه هنوز مستحق بررسی بصری است.
چه شواهد بصری به مدل کمک می کند
یک مدل تقسیم‌بندی می‌تواند همزمان از بیش از یک سرنخ استفاده کند. سرنخ های قوی اغلب عبارتند از:
- تضاد بین موضوع و پس زمینه
- مرزهای پیوسته در اطراف یک شی غالب؛
- ترکیبات آشنا از شکل، بافت، و موقعیت.
- نشانه های عمق مانند تفاوت فوکوس؛
- مناطقی که از نظر بصری به هم تعلق دارند.
هیچ یک از این سرنخ ها تضمینی نیست. یک ژاکت تیره در برابر یک دیوار تیره کنتراست مرزی ضعیفی را ارائه می دهد. یک صندلی با شکاف های باریک ممکن است دارای مناطق پس زمینه ای باشد که شبیه جسم باشد. یک پس زمینه طرح دار می تواند با سوژه واقعی برای جلب توجه رقابت کند.
این مدل بهترین تخمین را از پیکسل های موجود انجام می دهد. نمی تواند جزئیاتی را که تصویر هرگز ثبت نکرده است بازیابی کند.
آنچه مدل نمی داند
مدل به طور خودکار نمی داند که در صورت حضور چندین سوژه قصد دارید کدام شی را نگه دارید. نمی داند که یک لیوان نوشیدنی شفاف از نظر تجاری مهم است، یک سایه باید برای واقع گرایی باقی بماند، یا اینکه یک بند کوچک متعلق به یک کیسه است.
همچنین یک نسخه مخفی با وضوح بالا از یک منبع تار دریافت نمی کند. بلوک های فشرده، هایلایت های بریده شده، تاری حرکت، و جزئیات بسیار کوچک شواهد موجود را محدود می کنند. افزایش بزرگنمایی پیش نمایش، پیکسل ها را روی صفحه بزرگتر می کند. اطلاعات گمشده ایجاد نمی کند.
به همین دلیل است که «هوش مصنوعی آن را شناسایی کرد» و «لبه آماده انتشار است» ادعاهای متفاوتی هستند. تشخیص، ویرایش را شروع می کند. بررسی آن را تمام می کند.
چرا جزئیات نازک و شفاف دشوار هستند
اجسام نازک چند پیکسل را اشغال می کنند. هنگامی که اندازه یک تصویر برای استنباط تغییر می‌کند، ممکن است یک سیم تک پیکسلی یا رشته مو با پس‌زمینه اطراف آن به‌طور میانگین محاسبه شود. اشیاء شفاف به دلیل دیگری دشوار هستند: رنگ قابل مشاهده آنها تا حدی پس زمینه قدیمی است. مرز ممکن است برای فردی که شی را درک می کند واضح باشد، در حالی که الگوی پیکسل مبهم باقی می ماند.
سایه های نرم یک ابهام عمدی ایجاد می کنند. لبه بیرونی آنها به تدریج محو می‌شود، و هیچ برش منفردی از نظر عینی درست وجود ندارد. حفظ سایه کامل ممکن است در یک پس‌زمینه مشابه طبیعی به نظر برسد، اما در یک پر شده جدید کثیف به نظر برسد. با حذف آن ممکن است سوژه شناور به نظر برسد.
اینها به اندازه مشکلات مدل، مشکلات قضاوتی هستند.
ماسک مدل، ماسک کار، و ماسک صادراتی
به تفکیک سه مرحله کمک می کند:
- ماسک مدل: تخمین خودکار با پردازش برگردانده می شود.
- ماسک کاری: ماسکی که پس از اصلاح افزودن یا پاک کردن در ویرایشگر نشان داده شده است.
- Export mask: ماسک کاری که هنگام دانلود یا کپی کردن نتیجه فعلی اعمال می شود.
در Easy Background Remover، brush refinement ماسک کار را ویرایش می کند. صادرات به جای بازگشت بی سر و صدا به ماسک خودکار دست نخورده از نتیجه ویرایش شده فعلی استفاده می کند. این به مدل اجازه می دهد تا جداسازی گسترده را مدیریت کند در حالی که جزئیاتی را که به قصد بستگی دارد تصحیح می کنید.
پیش نمایش نمایش داده شده ممکن است برای تناسب با ویرایشگر کوچک شود. این اندازه نمایشگر معیار قابل اعتمادی برای جزئیات داخلی ماسک نیست. رزولوشن ماسک در مقابل اندازه پیش نمایش را برای تمایز بخوانید.
پردازش محلی هنوز یک مرحله راه اندازی دارد
اجرای یک مدل روی دستگاه به وزن مدل و زمان اجرا مرورگر سازگار نیاز دارد. وزن ها بسیار بزرگتر از کد رابط معمولی هستند، بنابراین بارگیری همه چیز در هر راه اندازی ویرایشگر بیهوده خواهد بود. یک جلسه اول ممکن است مدل را دانلود و کش کند. جلسات معمولی بعدی معمولاً می توانند دوباره از آن استفاده کنند.
چرا برای اولین بار یک مدل را اجرا کنید این مرز را بدون اشتباه گرفتن دانلود دارایی مدل با آپلود عکس توضیح می‌دهد. پردازش سنگین نیز از موضوع رابط اصلی دور می شود. مبانی پردازش تصویر Web Worker را ببینید.
یک راه عملی برای قضاوت در نتیجه
فقط مرکز سوژه را بررسی نکنید. نقاب را بررسی کنید که در آن شواهد ضعیف‌تر هستند:
- مو، خز، سبیل و الیاف پارچه؛
- عینک، تسمه، سیم، و شکاف های باریک.
- لبه های کم کنتراست؛
- مواد نیمه شفاف؛
- سایه های تماس؛
- گوشه هایی که ممکن است رنگ پس زمینه قدیمی باقی بماند.
اگر مقصد نهایی ناشناخته است، نتیجه را در پس زمینه روشن و تاریک مشاهده کنید. هاله رنگ پریده می تواند روی سفید ناپدید شود و روی سیاه آشکار شود. سپس فقط مناطقی را که بر استفاده مورد نظر تأثیر می گذارند، اصلاح کنید.
تقسیم‌بندی خودکار زمانی بسیار مفید است که به‌عنوان یک پاس اول قوی در نظر گرفته شود، نه بیانیه درک کامل. برای امتحان کامل برش محلی و جریان اصلاح، به شروع به کار مراجعه کنید.