מה מודל הסרת רקע במכשיר ”רואה“
המודל לא ”מבין“ תמונה כמו אדם. הוא מחפש גבולות סבירים לפי צבע, ניגודיות וצורה. לכן ניגודיות נמוכה ובוקה רכה מקשים על המסיכה.
מקור טוב נותן רמזים ברורים יותר — זה לא קסם.
מקובץ תמונה לקלט דגם
יש לפענח תחילה את הקובץ שתבחר. תמונה דחוסה לא מועברת ישירות למודל כגוש של בתים של קבצים. הדפדפן הופך אותו לפיקסלים עם ערכי רוחב, גובה וצבע.
לאחר מכן, צינור ההסקה מכין קלט בגודל דגם. בהתאם לדגם ולזמן הריצה, ההכנה יכולה לכלול:
- שינוי גודל התמונה המפוענחת לממדים שהמודל מצפה לו;
- סידור ערכי אדום, ירוק וכחול כערוצים מספריים;
- שינוי קנה מידה או נורמליזציה של ערכים אלה;
- אריזתן לטנזור, פורמט המערך המשמש את זמן הריצה של ההסקה.
הממדים המדויקים וכללי הנורמליזציה שייכים ליישום המודל. הנקודה המעשית החשובה היא שהמסק פועל בדרך כלל מתוך ייצוג מוכן, לא מכל פיקסל מקור בגודלו המקורי.
Easy Background Remover מריץ את שלב ההסקה הזה בדפדפן עם מודל פילוח במכשיר. ייתכן שיהיה צורך להוריד את קובץ הדגם לפני החיתוך הראשון, אך נתיב עיבוד התמונה מתוכנן להישאר מקומי ברגע שהדגם מוכן. הורדת הדגם היא בקשת נכס; זה לא אותו דבר כמו העלאת התמונה שנבחרה לעיבוד מרחוק.
הפלט הוא מסכה דמוית ביטחון
עבור כל מיקום בפלט שלו, המודל מייצר ערך שניתן לפרש כמו יותר נושא או רקע יותר. כדאי לתאר את זה כתמונה בגווני אפור:
- לבן פירושו לשמור על אזור זה;
- שחור פירושו להסיר את האזור הזה;
- אפור פירושו כיסוי חלקי או אי ודאות ליד קצה.
הדפדפן ממיר את הפלט הזה למסכת האלפא הפועלת. לאחר מכן ניתן להרכיב את פיקסלי הצבע המקוריים על גבי לוח דמקה, מילוי מוצק, מעבר צבע או תמונה אחרת. ייצוא שקוף מאחסן את המסכה כאלפא במקום לצבוע את לוח השחמט בקובץ.
הערכים הרכים חשובים. אם כל ערך מסכה היה נאלץ מיד לשחור או לבן טהור, שיער, פרווה, סיבי בד, טשטוש תנועה וקצוות לא ממוקדים היו הופכים לקשים בצורה לא טבעית. אלפא חלקי יכול לשמר מעבר חלק יותר. זה גם יכול לחשוף שוליים צבעוניים מהרקע הישן, וזו הסיבה שהתוצאה עדיין ראויה לבדיקה ויזואלית.
אילו ראיות חזותיות עוזרות למודל
מודל פילוח יכול להסתמך על יותר מרמז אחד בו-זמנית. רמזים חזקים כוללים לעתים קרובות:
- ניגודיות בין נושא לרקע;
- גבולות רציפים סביב אובייקט דומיננטי;
- שילובים מוכרים של צורה, מרקם ומיקום;
- סימני עומק כגון הבדלי מיקוד;
- אזורים השייכים זה לזה מבחינה ויזואלית.
אף אחד מהרמזים הללו אינו ערובה. ז’קט כהה על קיר כהה מציע ניגודיות גבול חלשה. כיסא עם מרווחים צרים עשוי להכיל אזורי רקע הדומים לאובייקט. רקע מעוצב יכול להתחרות עם הנושא האמיתי על תשומת הלב.
המודל עושה הערכה מיטבית מהפיקסלים הזמינים. זה לא יכול לשחזר פרטים שהתמונה מעולם לא צילמה.
מה שהדגם לא יודע
המודל אינו יודע אוטומטית איזה אובייקט התכוונת לשמור כאשר מספר נבדקים נוכחים. היא לא יודעת שכוס שתיה שקופה חשובה מבחינה מסחרית, שצללית צריכה להישאר בשביל המציאות, או שרצועה קטנה שייכת לתיק.
הוא גם לא מקבל גרסה נסתרת ברזולוציה גבוהה של מקור מטושטש. בלוקים של דחיסה, הבהרה חתוכה, טשטוש תנועה ופרטים קטנים מאוד מגבילים את הראיות הזמינות. הגדלת זום התצוגה המקדימה הופכת את הפיקסלים לגדולים יותר על המסך; זה לא יוצר מידע חסר.
זו הסיבה ש"AI זיהה את זה" ו"הקצה מוכן לפרסום" הן טענות שונות. זיהוי מתחיל את העריכה. סקירה מסיימת אותה.
מדוע פרטים דקים ושקופים הם קשים
אובייקטים דקים תופסים פיקסלים ספורים. כאשר גודל תמונה משתנה לשם הסקת מסקנות, ממוצע של חוט או קווצת שיער של פיקסל אחד עם הרקע סביבו. אובייקטים שקופים קשים מסיבה אחרת: הצבע הנראה שלהם הוא בחלקו הרקע הישן. הגבול עשוי להיות ברור לאדם שמבין את האובייקט, בעוד שתבנית הפיקסלים נשארת מעורפלת.
צללים רכים יוצרים עמימות מכוונת. הקצה החיצוני שלהם דוהה בהדרגה, ואין חיתוך אחד נכון אובייקטיבית. שמירה על הצל המלא עשויה להיראות טבעית על רקע דומה אך מלוכלכת על מילוי חדש ומבריק. הסרתו עלולה לגרום לנושא להיראות צף.
אלו הן בעיות שיפוט כמו בעיות מודל.
מסכת דגם, מסכת עבודה ומסכת ייצוא
זה עוזר להפריד בין שלושה שלבים:
- מסיכת דגם: האומדן האוטומטי המוחזר על ידי הסקת מסקנות.
- מסכת עבודה: המסכה המוצגת בעורך לאחר כל חידוד הוספה או מחק.
- ייצוא מסכת: מסכת העבודה שהוחלה כאשר התוצאה הנוכחית מורידה או מועתקת.
ב-Easy Background Remover, חידוד המברשת עורך את מסכת העבודה. ייצוא משתמש בתוצאה הערוכה הנוכחית במקום לחזור בשקט למסכה האוטומטית הבלתי נגועה. זה מאפשר למודל להתמודד עם ההפרדה הרחבה תוך כדי תיקון פרטים התלויים בכוונה.
ניתן לשנות את קנה המידה של התצוגה המקדימה המוצגת כך שתתאים לעורך. גודל התצוגה הזה אינו מדד אמין לפרטים הפנימיים של המסכה. קרא את רזולוציית מסכה לעומת גודל תצוגה מקדימה לקבלת ההבחנה.
להסקה מקומית עדיין יש שלב הגדרה
הפעלת דגם במכשיר דורשת את משקלי הדגם וזמן ריצה תואם של הדפדפן. המשקלים הרבה יותר גדולים מקוד ממשק רגיל, כך שטעינת הכל בכל השקת עורך תהיה בזבזנית. הפעלה ראשונה עשויה להוריד ולשמור את הדגם במטמון; מפגשים רגילים מאוחרים יותר יכולים בדרך כלל לעשות בו שימוש חוזר.
מדוע הפעלה ראשונה מורידה מודל מסביר את הגבול הזה מבלי לבלבל הורדה של נכס דגם עם העלאת תמונה. מסקנות כבדות בורחות גם מהשרשור הראשי של הממשק; ראה יסודות עיבוד תמונות של Web Worker.
דרך מעשית לשפוט את התוצאה
אל תבדוק רק את מרכז הנושא. בדוק את המסכה היכן שהראיות החלשות ביותר:
- שיער, פרווה, שפם וסיבי בד;
- משקפיים, רצועות, חוטים ומרווחים צרים;
- קצוות בעלי ניגודיות נמוכה;
- חומר חצי שקוף;
- צללי מגע;
- פינות שבהן צבע הרקע הישן עשוי להישאר.
הצג את התוצאה על רקע בהיר וגם כהה אם היעד הסופי אינו ידוע. הילה חיוורת יכולה להיעלם בלבן ולהיות ברורה בשחור. לאחר מכן חידד רק את האזורים המשפיעים על השימוש המיועד.
פילוח אוטומטי שימושי ביותר כאשר מתייחסים אליו כאל מעבר ראשון חזק, לא הצהרה של הבנה מושלמת. כדי לנסות את זרימת החיתוך והחידוד המקומיים המלאים, ראה תחילת העבודה.