מתי נראה super resolution upscaling?

איך מכיילים מסך, מי יכול לכייל לי? מה הערכים הנכונים לכיול...

DEINTERLACING, SCALING, הורדת רעשים, UPCONVERSION, TRANSCODING.

מנהל: מנהלי וידאו

שלח תגובה
mark13
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 846
הצטרף: יולי 2006
נתן תודות: 91 פעמים
קיבל תודות: 28 פעמים

מתי נראה super resolution upscaling?

לינק להודעה #1 

עקב שאלה בפורום אחר, על upscaling, מצאתי מעניין להעלות את הנושא הזה, שעניין אותי מאז ומתמיד
סופר רזולוציה מאפשרת יצירת תמונה עם רזולוציה גבוה מהמקור ע"י כל מיני טכניקות
הכי מבטיחה לוידאו משתמשת ב-AI
מאוד מקוה שזה יהיה חלק מהטלויזיות בקרוב, כי הרבה פעמים תוכן מוצג כ-4K או FHD אבל בעצם דוגמים מקור לא איכותי. וזה יכול באמת להביא את כל התוכן הישן לרמה של 4K או 8K אמיתי

רוצים להיות מופתעים מהיכולות של סופר רזולוציה? , צפו בוידאו הזה ביוטיוב:
https://www.youtube.com/watch?v=MwCgvYtOLS0
לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 70224
הצטרף: נובמבר 2004
מיקום: מודיעין, ישראל
נתן תודות: 501 פעמים
קיבל תודות: 3874 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #2 

התחלה של זה כבר קיימת במסכים מהדור האחרון של 2020. יש לציין שזה תמיד יוגבל בעקבות המגבלה שהעיבוד צריך להתבצע בזמן אמץ. כלומר, עיבוד offline בהכרח יכולים לשפר תמונה משמעותית יותר.

udif
סמל אישי של משתמש
חבר ותיק
חבר ותיק
הודעות: 2035
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 116 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #3 

אני חושב ש super resolution עובד טוב יותר עם קבצי RAW. שים לב שבסרטון לא הראו לך העלאה ברזולוציה של סרטי FHD לרמה גבוהה יותר, אלא לקחו סרט, הורידו לו באופן מלאכותי את הרזולוציה לרמה נמוכה יותר, ואז העלו אותה חזרה . זה מנטרל במידה רבה את אי הדיוקים הקטנים שנגרמים בדחיסה.

אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.

mark13
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 846
הצטרף: יולי 2006
נתן תודות: 91 פעמים
קיבל תודות: 28 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #4 

14/11/2020 19:14  
udif כתב:
...
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.
...
תן לזה זמן, וזמני עיבוד יהיו נמוכים יותר, מעבדים יהיהו חזקים יותר. ואז גם עיבוד בזמן אמיתי יהיה אפשרי.
לגבי משחקים, כנראה אתה טועה, תתקדם לזמן 5:23 בוידאו למטה:
https://www.youtube.com/watch?v=KULkSwLk62I

Huber
סמל אישי של משתמש
חבר במועדון HT
חבר במועדון HT
הודעות: 50371
הצטרף: מאי 2005
נתן תודות: 128 פעמים
קיבל תודות: 2984 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #5 

mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
ה FAQ - הכרחי לקרוא לפני פרסום תגובה בדילים המפורסמים על ידי:


https://www.hometheater.co.il/vt284213.html

"ההבדל בין גאונות לטיפשות הוא שלגאונות יש גבולות."

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 70224
הצטרף: נובמבר 2004
מיקום: מודיעין, ישראל
נתן תודות: 501 פעמים
קיבל תודות: 3874 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #6 

זה גם נכון שמנגנונים כאלה משתפרים לאורך זמן, אבל קחו בחשבון שגם פתרונות שמורידים את התלות בזמן אמת (למשל lipsync delay חכם) יכולים לתת למנגנונים האלה לעבוד לאורך זמן עם פחות מגבלות.

בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.

mark13
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 846
הצטרף: יולי 2006
נתן תודות: 91 פעמים
קיבל תודות: 28 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #7 

15/11/2020 11:11  
Huber כתב:
mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
...
@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
DLSS עושה שימוש בדיוק בטכניקה שמציין עופר בהודעה למעלה, להקטין רזולוציה מ-4K או 16K עד איפה שאפשר כדי לחסוך בפיקסלים ולשחזר מחדש ע"י רשת ניורונים שאומנה לעשות זאת.
לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

udif
סמל אישי של משתמש
חבר ותיק
חבר ותיק
הודעות: 2035
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 116 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #8 

15/11/2020 19:08  
mark13 כתב:

@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
...
אני ממש לא מתעניין בגיימינג. ציינתי אבל כמה דברים אחרים:
1. Super Resolution קלאסי, טרום DNN, מבוסס על סדרת תמונות ועל עודף האינפורמציה שנובעת מהן, כמו שמוצג בסרטון שהפנית אליו.
2. אמרתי שבעיבוד וידאו רגיל, כדי לקבל multiple frames אתה צריך השהייה. זו השהייה אינהרנטית שנובעת מכך שהעיבוד מתבצע על יותר מפריים אחד, ולא מכך שזמן העיבוד עצמו ארוך. שיפור מהירות העיבוד לא יכול לעזור כאן, כי הפריימים ימשיכו להגיחע ב 50/60 תמונות לשניה במקרה הטוב, אם לא 24.
3. ההתייחסות היחידה שלי לגיימינג היתה שטכניקה שמוסיפה השהייה כדי לעבוד על multiple frames לא מתאימה לגיימינג, אבל שם היא פחות חשובה כי הרבה יחותר קל להגדיל רזולוציה במשחק מאשר לעשות את זה עם עיבוד חיצוני והתוצאה תהיה גם יותר טובה. זה כל מה שציינתי. אין לי שום עניין בגיימינג.

לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 70224
הצטרף: נובמבר 2004
מיקום: מודיעין, ישראל
נתן תודות: 501 פעמים
קיבל תודות: 3874 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #9 

להבנתי יש אלמנטים של super resolution בכמה מעבדי תמונה, כולל HD fury Envy (לא בטוח שזה רשמית יצא). הם פותרים את בעיית הדיליי פשוט עם הוספת דיליי אודיו מקביל (או דיווח אחורה של lipsync delay שהרסיבר אמור לזהות ולתקן לפיו).

mark13
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 846
הצטרף: יולי 2006
נתן תודות: 91 פעמים
קיבל תודות: 28 פעמים

Re: מתי נראה super resolution upscaling?

לינק להודעה #10 

16/11/2020 13:35  
udif כתב:
...
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.
...
כן, ברור שהטכניקה שמוצגת עובדת על "ניחושים" ולא באמת מביא מידע חדש.
אז, זה לא טוב ל-medical imaging, אבל מספיק טוב בשביל סרטי הוליווד

דרך אגב, הטכניקה של multiple frames משתמשים גם למשהו שקשור אבל לא בדיוק סופר רזולוציה: יש אלגוריטמים שממלאים את הפסים השחורים בסרטים שיחס התמונה הוא 4:3 והופכות אותם ל- 16:9 (כלומר, לא ע"י חיתוך התמונה אלה להיפך, ע"י הוספת מידע חסר בצדדים. פשוט מדהים)
(יש גם על זה וידאו ביוטיוב, מאותו ערוץ Two Minutes Paper)
לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

שלח תגובה

חזור אל “כיול ועיבוד תמונה”