מתי נראה super resolution upscaling?

[mark13]

עקב שאלה בפורום אחר, על upscaling, מצאתי מעניין להעלות את הנושא הזה, שעניין אותי מאז ומתמיד
סופר רזולוציה מאפשרת יצירת תמונה עם רזולוציה גבוה מהמקור ע"י כל מיני טכניקות
הכי מבטיחה לוידאו משתמשת ב-AI
מאוד מקוה שזה יהיה חלק מהטלויזיות בקרוב, כי הרבה פעמים תוכן מוצג כ-4K או FHD אבל בעצם דוגמים מקור לא איכותי. וזה יכול באמת להביא את כל התוכן הישן לרמה של 4K או 8K אמיתי

רוצים להיות מופתעים מהיכולות של סופר רזולוציה? , צפו בוידאו הזה ביוטיוב:
https://www.youtube.com/watch?v=MwCgvYtOLS0

[oferlaor]

התחלה של זה כבר קיימת במסכים מהדור האחרון של 2020. יש לציין שזה תמיד יוגבל בעקבות המגבלה שהעיבוד צריך להתבצע בזמן אמץ. כלומר, עיבוד offline בהכרח יכולים לשפר תמונה משמעותית יותר.

[udif]

אני חושב ש super resolution עובד טוב יותר עם קבצי RAW. שים לב שבסרטון לא הראו לך העלאה ברזולוציה של סרטי FHD לרמה גבוהה יותר, אלא לקחו סרט, הורידו לו באופן מלאכותי את הרזולוציה לרמה נמוכה יותר, ואז העלו אותה חזרה . זה מנטרל במידה רבה את אי הדיוקים הקטנים שנגרמים בדחיסה.

אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.

[mark13]

...
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.

...

תן לזה זמן, וזמני עיבוד יהיו נמוכים יותר, מעבדים יהיהו חזקים יותר. ואז גם עיבוד בזמן אמיתי יהיה אפשרי.
לגבי משחקים, כנראה אתה טועה, תתקדם לזמן 5:23 בוידאו למטה:
https://www.youtube.com/watch?v=KULkSwLk62I

[Huber]

mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.

[oferlaor]

זה גם נכון שמנגנונים כאלה משתפרים לאורך זמן, אבל קחו בחשבון שגם פתרונות שמורידים את התלות בזמן אמת (למשל lipsync delay חכם) יכולים לתת למנגנונים האלה לעבוד לאורך זמן עם פחות מגבלות.

בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.

[mark13]

mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.

...

@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
DLSS עושה שימוש בדיוק בטכניקה שמציין עופר בהודעה למעלה, להקטין רזולוציה מ-4K או 16K עד איפה שאפשר כדי לחסוך בפיקסלים ולשחזר מחדש ע"י רשת ניורונים שאומנה לעשות זאת.

[udif]

@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.

...

אני ממש לא מתעניין בגיימינג. ציינתי אבל כמה דברים אחרים:
1. Super Resolution קלאסי, טרום DNN, מבוסס על סדרת תמונות ועל עודף האינפורמציה שנובעת מהן, כמו שמוצג בסרטון שהפנית אליו.
2. אמרתי שבעיבוד וידאו רגיל, כדי לקבל multiple frames אתה צריך השהייה. זו השהייה אינהרנטית שנובעת מכך שהעיבוד מתבצע על יותר מפריים אחד, ולא מכך שזמן העיבוד עצמו ארוך. שיפור מהירות העיבוד לא יכול לעזור כאן, כי הפריימים ימשיכו להגיחע ב 50/60 תמונות לשניה במקרה הטוב, אם לא 24.
3. ההתייחסות היחידה שלי לגיימינג היתה שטכניקה שמוסיפה השהייה כדי לעבוד על multiple frames לא מתאימה לגיימינג, אבל שם היא פחות חשובה כי הרבה יחותר קל להגדיל רזולוציה במשחק מאשר לעשות את זה עם עיבוד חיצוני והתוצאה תהיה גם יותר טובה. זה כל מה שציינתי. אין לי שום עניין בגיימינג.

לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.

[oferlaor]

להבנתי יש אלמנטים של super resolution בכמה מעבדי תמונה, כולל HD fury Envy (לא בטוח שזה רשמית יצא). הם פותרים את בעיית הדיליי פשוט עם הוספת דיליי אודיו מקביל (או דיווח אחורה של lipsync delay שהרסיבר אמור לזהות ולתקן לפיו).

[mark13]

...
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.

...

כן, ברור שהטכניקה שמוצגת עובדת על "ניחושים" ולא באמת מביא מידע חדש.
אז, זה לא טוב ל-medical imaging, אבל מספיק טוב בשביל סרטי הוליווד

דרך אגב, הטכניקה של multiple frames משתמשים גם למשהו שקשור אבל לא בדיוק סופר רזולוציה: יש אלגוריטמים שממלאים את הפסים השחורים בסרטים שיחס התמונה הוא 4:3 והופכות אותם ל- 16:9 (כלומר, לא ע"י חיתוך התמונה אלה להיפך, ע"י הוספת מידע חסר בצדדים. פשוט מדהים)
(יש גם על זה וידאו ביוטיוב, מאותו ערוץ Two Minutes Paper)

[Huber]

AMD מציגה את הפתרון שלה לגיימינג: