ماذا «يرى» نموذج القص على الجهاز
نموذج القص على الجهاز لا يرى شخصًا أو حذاء أو كرسيًا بالمعنى البشري. يتلقى تمثيلًا رقميًا للصورة ويقدّر بكسلًا بكسل أي المناطق يرجح انتماؤها للهدف الرئيسي.
هذا الفرق يفسر سرعة القص التلقائي وحدوده معًا. يستخدم النموذج أنماطًا بصرية من التدريب، لكنه لا يعرف نيتك.
من ملف الصورة إلى إدخال النموذج
يجب فك تشفير الملف الذي تختاره أولاً. لا يتم تمرير الصورة المضغوطة مباشرة إلى النموذج ككتلة من بايتات الملف. يقوم المتصفح بتحويلها إلى وحدات بكسل ذات قيم العرض والارتفاع واللون.
يقوم خط أنابيب الاستدلال بعد ذلك بإعداد مدخلات بحجم النموذج. اعتمادًا على النموذج ووقت التشغيل، يمكن أن يشمل الإعداد ما يلي:
- تغيير حجم الصورة التي تم فك تشفيرها إلى الأبعاد التي يتوقعها النموذج؛
- ترتيب القيم الحمراء والخضراء والزرقاء كقنوات رقمية؛
- توسيع نطاق تلك القيم أو تطبيعها؛
- تجميعها في موتر، وهو تنسيق المصفوفة المستخدم في وقت تشغيل الاستدلال.
تنتمي الأبعاد الدقيقة وقواعد التطبيع إلى تطبيق النموذج. النقطة العملية المهمة هي أن الاستدلال يعمل عادةً من تمثيل مُجهز، وليس من كل بكسل مصدر بحجمه الأصلي.
يقوم Easy Background Remover بتشغيل خطوة الاستدلال هذه في المتصفح باستخدام نموذج التجزئة على الجهاز. قد يلزم تنزيل ملف النموذج قبل الفصل الأول، ولكن مسار معالجة الصور مصمم ليظل محليًا بمجرد أن يصبح النموذج جاهزًا. تنزيل النموذج هو طلب أصول؛ إنه ليس نفس الشيء مثل تحميل الصورة المحددة للمعالجة عن بُعد.
الإخراج هو قناع يشبه الثقة
بالنسبة لكل موقع في مخرجاته، ينتج النموذج قيمة يمكن تفسيرها على أنها أكثر شبهاً بالموضوع أو أكثر شبهاً بالخلفية. من المفيد تصوير ذلك كصورة ذات تدرج رمادي:
- اللون الأبيض يعني الحفاظ على هذه المنطقة؛
- اللون الأسود يعني إزالة هذه المنطقة؛
- اللون الرمادي يعني تغطية جزئية أو عدم اليقين بالقرب من الحافة.
يقوم المتصفح بتحويل هذا الإخراج إلى قناع ألفا العامل. يمكن بعد ذلك تركيب وحدات البكسل الملونة الأصلية على رقعة الشطرنج، أو تعبئة صلبة، أو تدرج، أو صورة أخرى. يقوم التصدير الشفاف بتخزين القناع كألفا بدلاً من رسم رقعة الشطرنج داخل الملف.
القيم الناعمة مهمة. إذا تم إجبار كل قيمة قناع على الفور على اللون الأسود أو الأبيض النقي، فسيصبح الشعر والفراء وألياف القماش وضبابية الحركة والحواف غير المركزة قاسية بشكل غير طبيعي. يمكن للألفا الجزئية الحفاظ على انتقال أكثر سلاسة. ويمكنه أيضًا كشف هامش اللون من الخلفية القديمة، ولهذا السبب لا تزال النتيجة تستحق الفحص البصري.
ما هي الأدلة المرئية التي تساعد النموذج
يمكن لنموذج التجزئة أن يعتمد على أكثر من دليل في وقت واحد. غالبًا ما تتضمن الأدلة القوية ما يلي:
- التباين بين الموضوع والخلفية؛
- حدود مستمرة حول كائن مهيمن؛
- مجموعات مألوفة من الشكل والملمس والموضع؛
- إشارات العمق مثل اختلافات التركيز؛
- المناطق التي تنتمي بصريًا معًا.
لا شيء من هذه القرائن هو الضمان. توفر السترة الداكنة على الحائط الداكن تباينًا ضعيفًا في الحدود. قد يحتوي الكرسي ذو الفجوات الضيقة على مناطق خلفية تشبه الكائن. يمكن أن تتنافس الخلفية المنقوشة مع الموضوع الفعلي لجذب الانتباه.
يقوم النموذج بإجراء أفضل تقدير من وحدات البكسل المتاحة. لا يمكنه استعادة التفاصيل التي لم يتم التقاطها في الصورة مطلقًا.
ما لا يعرفه النموذج
لا يعرف النموذج تلقائيًا الكائن الذي قصدت الاحتفاظ به عند وجود عدة مواضيع. فهي لا تعرف أن كأس الشرب الشفاف له أهمية تجارية، أو أن الظل يجب أن يبقى من أجل الواقعية، أو أن الحزام الصغير ينتمي إلى الحقيبة.
كما أنه لا يتلقى نسخة مخفية عالية الدقة من مصدر ضبابي. كتل الضغط، والإبرازات المقطوعة، وضبابية الحركة، والتفاصيل الصغيرة جدًا تحد من الأدلة المتاحة. تؤدي زيادة تكبير/تصغير المعاينة إلى زيادة حجم وحدات البكسل على الشاشة؛ ولا يقوم بإنشاء معلومات مفقودة.
ولهذا السبب فإن “اكتشاف الذكاء الاصطناعي” و"الحافة جاهزة للنشر" هما ادعاءان مختلفان. يبدأ الاكتشاف في التحرير. مراجعة تنتهي منه.
لماذا يصعب الحصول على تفاصيل رقيقة وشفافة؟
تشغل الأجسام الرقيقة عددًا قليلًا من البكسلات. عندما يتم تغيير حجم الصورة للاستدلال، قد يتم حساب متوسط سلك أو خصلة شعر ذات بكسل واحد مع الخلفية المحيطة بها. الكائنات الشفافة صعبة لسبب آخر: لونها المرئي هو الخلفية القديمة جزئيًا. قد تكون الحدود واضحة للشخص الذي يفهم الكائن، بينما يظل نمط البكسل غامضًا.
الظلال الناعمة تخلق غموضًا متعمدًا. تتلاشى حوافها الخارجية تدريجيًا، ولا يوجد قطع واحد صحيح بشكل موضوعي. قد يبدو الحفاظ على الظل الكامل طبيعيًا على خلفية مشابهة ولكنه متسخ عند التعبئة الجديدة الساطعة. قد تؤدي إزالته إلى ظهور الموضوع وكأنه عائم.
هذه هي مشاكل الحكم بقدر ما هي مشاكل النموذج.
قناع النموذج وقناع العمل وقناع التصدير
يساعد على الفصل بين ثلاث مراحل:
- قناع النموذج: التقدير التلقائي الذي يتم إرجاعه عن طريق الاستدلال.
- قناع العمل: القناع الذي يظهر في المحرر بعد أي تحسين إضافة أو مسح.
- قناع التصدير: يتم تطبيق قناع العمل عند تنزيل النتيجة الحالية أو نسخها.
في Easy Background Remover، يقوم تحسين الفرشاة بتحرير قناع العمل. يستخدم التصدير النتيجة المعدلة الحالية بدلاً من العودة بصمت إلى القناع التلقائي الذي لم يتم لمسه. يتيح ذلك للنموذج التعامل مع الفصل الواسع أثناء تصحيح التفاصيل التي تعتمد على النية.
قد يتم تغيير حجم المعاينة المعروضة لتناسب المحرر. حجم العرض هذا ليس مقياسًا موثوقًا لتفاصيل القناع الداخلية. اقرأ دقة القناع مقابل حجم المعاينة للتمييز.
لا يزال للاستدلال المحلي خطوة إعداد
يتطلب تشغيل نموذج على الجهاز أوزان النموذج ووقت تشغيل متصفح متوافق. الأوزان أكبر بكثير من كود الواجهة العادي، لذا فإن تحميل كل شيء عند كل إطلاق للمحرر سيكون إهدارًا. قد تقوم الجلسة الأولى بتنزيل النموذج وتخزينه مؤقتًا؛ يمكن عادةً إعادة استخدامه في الجلسات العادية اللاحقة.
لماذا يتم التشغيل لأول مرة لتنزيل نموذج يشرح هذا الحد دون الخلط بين تنزيل أصل النموذج وتحميل الصورة. يتم أيضًا تشغيل الاستدلال الثقيل بعيدًا عن مؤشر ترابط الواجهة الرئيسية؛ راجع أساسيات معالجة صور Web Worker.
طريقة عملية للحكم على النتيجة
لا تقم بفحص مركز الموضوع فقط. تحقق من القناع حيث تكون الأدلة أضعف:
- الشعر، والفراء، والشعيرات، وألياف النسيج؛
- النظارات والأشرطة والأسلاك والفجوات الضيقة؛
- حواف منخفضة التباين؛
- مادة شبه شفافة؛
- الظلال الاتصال؛
- الزوايا التي قد يبقى فيها لون الخلفية القديم.
اعرض النتيجة على خلفية فاتحة ومظلمة إذا كانت الوجهة النهائية غير معروفة. يمكن أن تختفي الهالة الشاحبة باللون الأبيض وتصبح واضحة باللون الأسود. ثم قم بتنقيح المناطق التي تؤثر على الاستخدام المقصود فقط.
يكون التقسيم التلقائي مفيدًا للغاية عندما يتم التعامل معه على أنه تمريرة أولى قوية، وليس بيانًا للفهم المثالي. لتجربة المقطع المحلي الكامل وتدفق التحسين، راجع البدء.