מתי נראה super resolution upscaling?

איך מכיילים מסך, מי יכול לכייל לי? מה הערכים הנכונים לכיול...

DEINTERLACING, SCALING, הורדת רעשים, UPCONVERSION, TRANSCODING.
mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 965
הצטרף: יולי 2006
נתן תודות: 107 פעמים
קיבל תודות: 37 פעמים

מתי נראה super resolution upscaling?

נושא שלא נקרא #1 

עקב שאלה בפורום אחר, על upscaling, מצאתי מעניין להעלות את הנושא הזה, שעניין אותי מאז ומתמיד
סופר רזולוציה מאפשרת יצירת תמונה עם רזולוציה גבוה מהמקור ע"י כל מיני טכניקות
הכי מבטיחה לוידאו משתמשת ב-AI
מאוד מקוה שזה יהיה חלק מהטלויזיות בקרוב, כי הרבה פעמים תוכן מוצג כ-4K או FHD אבל בעצם דוגמים מקור לא איכותי. וזה יכול באמת להביא את כל התוכן הישן לרמה של 4K או 8K אמיתי

רוצים להיות מופתעים מהיכולות של סופר רזולוציה? , צפו בוידאו הזה ביוטיוב:
https://www.youtube.com/watch?v=MwCgvYtOLS0
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 75317
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 640 פעמים
קיבל תודות: 4750 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #2 

התחלה של זה כבר קיימת במסכים מהדור האחרון של 2020. יש לציין שזה תמיד יוגבל בעקבות המגבלה שהעיבוד צריך להתבצע בזמן אמץ. כלומר, עיבוד offline בהכרח יכולים לשפר תמונה משמעותית יותר.

udif
חבר ותיק
חבר ותיק
הודעות: 2067
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 124 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #3 

אני חושב ש super resolution עובד טוב יותר עם קבצי RAW. שים לב שבסרטון לא הראו לך העלאה ברזולוציה של סרטי FHD לרמה גבוהה יותר, אלא לקחו סרט, הורידו לו באופן מלאכותי את הרזולוציה לרמה נמוכה יותר, ואז העלו אותה חזרה . זה מנטרל במידה רבה את אי הדיוקים הקטנים שנגרמים בדחיסה.

אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 965
הצטרף: יולי 2006
נתן תודות: 107 פעמים
קיבל תודות: 37 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #4 

14/11/2020 19:14  
udif כתב:
...
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.
...
תן לזה זמן, וזמני עיבוד יהיו נמוכים יותר, מעבדים יהיהו חזקים יותר. ואז גם עיבוד בזמן אמיתי יהיה אפשרי.
לגבי משחקים, כנראה אתה טועה, תתקדם לזמן 5:23 בוידאו למטה:
https://www.youtube.com/watch?v=KULkSwLk62I

Huber
סמל אישי של משתמש
חבר במועדון HT
חבר במועדון HT
הודעות: 70328
הצטרף: מאי 2005
שם מלא: ערן
נתן תודות: 518 פעמים
קיבל תודות: 4198 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #5 

mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 75317
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 640 פעמים
קיבל תודות: 4750 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #6 

זה גם נכון שמנגנונים כאלה משתפרים לאורך זמן, אבל קחו בחשבון שגם פתרונות שמורידים את התלות בזמן אמת (למשל lipsync delay חכם) יכולים לתת למנגנונים האלה לעבוד לאורך זמן עם פחות מגבלות.

בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 965
הצטרף: יולי 2006
נתן תודות: 107 פעמים
קיבל תודות: 37 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #7 

15/11/2020 11:11  
Huber כתב:
mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
...
@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
DLSS עושה שימוש בדיוק בטכניקה שמציין עופר בהודעה למעלה, להקטין רזולוציה מ-4K או 16K עד איפה שאפשר כדי לחסוך בפיקסלים ולשחזר מחדש ע"י רשת ניורונים שאומנה לעשות זאת.
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

udif
חבר ותיק
חבר ותיק
הודעות: 2067
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 124 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #8 

15/11/2020 19:08  
mark13 כתב:

@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
...
אני ממש לא מתעניין בגיימינג. ציינתי אבל כמה דברים אחרים:
1. Super Resolution קלאסי, טרום DNN, מבוסס על סדרת תמונות ועל עודף האינפורמציה שנובעת מהן, כמו שמוצג בסרטון שהפנית אליו.
2. אמרתי שבעיבוד וידאו רגיל, כדי לקבל multiple frames אתה צריך השהייה. זו השהייה אינהרנטית שנובעת מכך שהעיבוד מתבצע על יותר מפריים אחד, ולא מכך שזמן העיבוד עצמו ארוך. שיפור מהירות העיבוד לא יכול לעזור כאן, כי הפריימים ימשיכו להגיחע ב 50/60 תמונות לשניה במקרה הטוב, אם לא 24.
3. ההתייחסות היחידה שלי לגיימינג היתה שטכניקה שמוסיפה השהייה כדי לעבוד על multiple frames לא מתאימה לגיימינג, אבל שם היא פחות חשובה כי הרבה יחותר קל להגדיל רזולוציה במשחק מאשר לעשות את זה עם עיבוד חיצוני והתוצאה תהיה גם יותר טובה. זה כל מה שציינתי. אין לי שום עניין בגיימינג.

לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 75317
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 640 פעמים
קיבל תודות: 4750 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #9 

להבנתי יש אלמנטים של super resolution בכמה מעבדי תמונה, כולל HD fury Envy (לא בטוח שזה רשמית יצא). הם פותרים את בעיית הדיליי פשוט עם הוספת דיליי אודיו מקביל (או דיווח אחורה של lipsync delay שהרסיבר אמור לזהות ולתקן לפיו).

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 965
הצטרף: יולי 2006
נתן תודות: 107 פעמים
קיבל תודות: 37 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #10 

16/11/2020 13:35  
udif כתב:
...
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.
...
כן, ברור שהטכניקה שמוצגת עובדת על "ניחושים" ולא באמת מביא מידע חדש.
אז, זה לא טוב ל-medical imaging, אבל מספיק טוב בשביל סרטי הוליווד

דרך אגב, הטכניקה של multiple frames משתמשים גם למשהו שקשור אבל לא בדיוק סופר רזולוציה: יש אלגוריטמים שממלאים את הפסים השחורים בסרטים שיחס התמונה הוא 4:3 והופכות אותם ל- 16:9 (כלומר, לא ע"י חיתוך התמונה אלה להיפך, ע"י הוספת מידע חסר בצדדים. פשוט מדהים)
(יש גם על זה וידאו ביוטיוב, מאותו ערוץ Two Minutes Paper)
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

Huber
סמל אישי של משתמש
חבר במועדון HT
חבר במועדון HT
הודעות: 70328
הצטרף: מאי 2005
שם מלא: ערן
נתן תודות: 518 פעמים
קיבל תודות: 4198 פעמים

Re: מתי נראה super resolution upscaling?

נושא שלא נקרא #11 

AMD מציגה את הפתרון שלה לגיימינג:



שלח תגובה

חזור אל “כיול ועיבוד תמונה”