מבחן עיוור

[epony]

בעקבות הכתבה של איתי חזום על מיתוסים נפוצים ברמקולים ביתיים התפתח דיון ארוך ומסועף לגבי חלק ניכר מהסוגיות.

אחת התובנות הברורות מהדיון היא שיש אנשים שמשוכנעים שהצדק עימם, אך לא מוכנים להעמיד את הטיעונים שלהם למבחן.

לאחר מאות הודעות בנידון, נמצא צדיק בסדום (ואני מקווה שבעקבותיו יגיעו עוד שכאלה): שמעון מור יוסף, מנכ"ל AV1 ואושיית אודיו מקומית.

בעקבות היוזמה של שמעון, החלטתי להרים את הכפפה ולארגן מבחן ABX/עיוור לכל מי שמעוניין להצטרף ו/או להתנסות בחווית ביקורת מדעית על התחום אותו כולנו אוהבים.

שמעון הציב מספר תנאים למבחן:

• המבחן יבוצע על ציוד, מוסיקה ומקום שמוכרים לו
• הוא מעוניין לדעת לפני כן אילו מוצרים אמורים להיות בהשוואה (אבל הסדר לא חשוב)
• האנשים שיהיו נוכחים יהיו אמיתיים ולא מוטים בדעתם
• הוא מעוניין בסיקור ושיתוף פעולה נרחבים (לא 2 אנשים)

לי אישית אין שום השגות על הנ"ל, אבל היות והמטרה היא לא בהכרח "לבחון" רק את שמעון, אלא לשתף במידת האפשר יותר מבנאדם אחד במבחן, אזי אולי בצד המיקום, מוזיקה וציוד צריכה להיות קצת יותר נכונות להתפשר לטובת כלל המשתתפים (כך גם נזכה ככל הנראה לסיקור ושת"פ נרחבים כפי ששמעון מבקש).

לגבי המבחן עצמו, חשבתי כאמור לעשות מבחן ABX שיתמקד בנושאים הבאים:

• MP3 בקצבי דגימה שונים (נניח 128 לעמות 320 קסל"ש)
• MP3 בקצב דגימה גבוה לעומת WAV ו-FLAC
• השוואת רכיבים שקופים שונים (הגברה/DAC/כבלים)
• השוואת רמקולים לפני/אחרי הרצה (שני זוגות של אותם רמקולים, אבל זוג אחד חדש מהניילונים וזוג אחר שעבר הרצה של כמה עשרות שעות...) - אבל זה כנראה דורש מבחן נפרד בהזדמנות אחרת...

מבחינת ציוד, אני מניח שזה פחות קריטי, אבל הייתי מתעקש על שני רכיבים פחות סטנדרטיים ועם זאת קריטיים למבחן:

• מד SPL מדוייק ככל האפשר (עד רמה של 0.1dB יהיה מעולה, וחצובה גם לא תזיק...)
• מטריצה מהירה ושקטה ככל האפשר, רצוי כזו שמאפשרת למתג מקורות, הגברה ורמקולים.

בכל אופן, אשמח אם המעוניינים יציינו זאת כאן, וכמובן שהצעות נוספות לגבי מיקום, תכנים, מקורות, הגברה, כבילה, רמקולים ושאר ירקות יתקבלו בברכה. בואו ננסה להתכנס לכדי קונצנזוס כזה או אחר בשבוע הקרוב, ואז עוד שבועיים-שלושה בערך אפשר יהיה כבר להיפגש ולהעמיד את כל ארבעים ומשהו עמודי השרשור תגובות על הכתבה של איתי חזום למבחן מסודר.

שיהיה בהצלחה לכולנו!

[epony]

אוסיף שבהחלט מקובל עלי שמפאת המורכבות של מבחנים שכאלה, נתמקד בשלב ראשון רק בהשוואת קטעי מוזיקה דיגיטליים באיכויות שונות זה לזה (MP3/WAV/FLAC), ואת המבחנים השאפתניים יותר נשמור למועד אחר.

[PCingAddict]

אני הייתי שמח להיות נוכח במבחן כזה, כצופה וכמאזין.
לצערי אין לי מה לתרום, אולי להכין דגימות של שירים מסויימים (במידה ויש לי את המקור כמובן).

[שמעון-מור-יוסף]

אבל למה בפורום אודיו רב ערוצי ולא באודיו דו/ יוקרתי

[freedom_il]

מה עם הכבלים? זה החלק המעניין.
בקשר ל MP3 בקצבי דגימה שונים: בזה אני מבחין. קרה לי כמה פעמים שהבחנתי בזה בטעות (היו לי 2 גרסאות של אותם אלבומים והשמעתי את האיכות הנמוכה יותר. מייד שמתי לב. אחרי זה עשיתי לעצמי מבחן עיוור ועמדתי בו בהצלחה).
אני חייב לציין שהצלחתי להבחין בזה ולהצליח במבחן העיוור רק בשירים מאוד מוכרים לי שההקלטה המקורית שלהם איכותית ורק באוזניות איכותיות שאני מכיר הייטב (מפאת העובדה שאין לי מערכת כל כך איכותית זה הגיוני...). הדוגמא שאני זוכר כרגע בוודאות היא הדיסק "בין קירות ביתי" של עידן רייכל.

Disclaimer: לא אני עשיתי ריפ לקבצים באיכות 128kb ו 320kb ויכול להיות שהריפ של ה 128kb סתם היה פחות טוב...

WAV נגד FLAC: זה באמת להתעלל באנשים, נו באמת... כבר הסבירו בשרשור הקודם. אם מישהו לא מאמין שקובץ שהוא כיווץ ב zip ושלח ב email יפתח לקובץ זהה בצד המקבל באמת אין טעם להתווכח איתו.

[avilior]

אני אצטרף בכיף אם המפגש יערך בצפון. לגבי המבחן, נראה לי שהדבר שהכי בוער כאן הוא מבחן על כבלים. למרות שחלק מההתניות של שמעון נראות תמוהות (שיהיו אנשים אמיתיים?) אני חושב שאפשר לעשות מבחן בתנאים האלו אבל שמספר אנשים ישתתפו ושזה לא יראה כאילו עושים פה מבחן לשמעון ואם הוא עובר או לא זו תהיה אינדיקציה לאמת כלשהיא. אם אנחנו עושים בדיקה צריכים להיות לפחות 15 נסיינים ואז יהיה גם אפשר לנתח את התוצאות ולהסיק מסקנות.

[ארז_וחני]

אם אנחנו עושים בדיקה צריכים להיות לפחות 15 נסיינים ואז יהיה גם אפשר לנתח את התוצאות ולהסיק מסקנות.

...

למה צריך 15 נסיינים?
מספיק אחד (שצריך להיות מיומן במבחנים עיוורים) שמצליח.

ארז

[DigiSUN]

חשוב לזכור שתקן MP3 לא מכתיב איך האודיו נדחס, אלא רק איך הוא נפרש.
איכות האודיו ב-MP3 תלויה באיכות המקודד ובמודל הפסיכואקוסטי שלו.
קיימים מקודדים טובים יותר ופחות, שבאותו קצב תזרים (128kbps) ייתנו תוצאה שונה.

רוצה לומר - זו לא חוכמה להסתמך על מקודד שאיכותו ירודה לשם המבחן.
מקודד טוב לדוגמא הוא "LAME".

[papiron]

השוואת FLAC ו WAV באמת נשמעת משעממת... בטח ביחס לכבלים.
וריפ של MP3 די מוסכם על כולם שיש הבדל באיכות. לכן אני אומר - כבלים.

[avilior]

ארז וחני,
בדיקה איכותית מחייבת מספר נסיינים בשל הסיכוי להטיות וגם כדי שהמסקנות מהבדיקה יהיו רחבות יותר מעבר ל"שמעון זיהה כך וכך פעמים", מה בדיוק תשיג בזה? ואם הוא לא זיהה פעם אחת? אז?
בקיצור, הבנת לאן אני חותר. בדיקה רצינית. מסקנות איכותיות.

[ארז_וחני]

ארז וחני,
בדיקה איכותית מחייבת מספר נסיינים בשל הסיכוי להטיות וגם כדי שהמסקנות מהבדיקה יהיו רחבות יותר מעבר ל"שמעון זיהה כך וכך פעמים", מה בדיוק תשיג בזה? ואם הוא לא זיהה פעם אחת? אז?
בקיצור, הבנת לאן אני חותר. בדיקה רצינית. מסקנות איכותיות.

...

אבל צורך ההוכחה שיש הבדלים נשמעים בין כבלים מספיק שאדם אחד יצליח. האם מקובל עליך?

ארז

[roberts]

ארז וחני,
בדיקה איכותית מחייבת מספר נסיינים בשל הסיכוי להטיות וגם כדי שהמסקנות מהבדיקה יהיו רחבות יותר מעבר ל"שמעון זיהה כך וכך פעמים", מה בדיוק תשיג בזה? ואם הוא לא זיהה פעם אחת? אז?
בקיצור, הבנת לאן אני חותר. בדיקה רצינית. מסקנות איכותיות.

...

אבל צורך ההוכחה שיש הבדלים נשמעים בין כבלים מספיק שאדם אחד יצליח. האם מקובל עליך?

ארז

...

אם נבחן בודד מצליח נניח ב-27 מתוך 30 נסיונות אז מקובל שגם אדם בודד בכל העולם מספיק כדי לקבוע שניתן לשמוע .....ענייני סטטיסטיקה .

למרות שגם אז קיים% 0,00000001 שהתוצאה נבעה מיד המקרה .........אבל נעזוב זאת כרגע.

[ufffnick]

תחילה יש להגדיר את מטרת הניסוי, או לחילופין מה ההנחה שהניסוי בא לאשש או לסתור (אחת מהאפשרויות הבאות):
1. האם הנבחן שנבחר מסוגל להבדיל במובהקות סטטיסטית תקנית (מה גודל הסיגמא? סיגמא 1? סיגמא 2?) - דורש ריבוי חזרות
2. האם ההבדלים שמיעים לאדם הממוצע/אודיופיל (תלוי בבחירת המדגם) - דורש ריבוי נבדקים
(שווה משאל וכן דיון על הניסוח כדי להמנע מהתפלספויות אח"כ)
אח"כ יש להתמקד בשאלה על פרמטרים מסויימים (סוגי קבצים? כבילה? וכו') - הסיבה לכך שכדי שיהיו מספר חזרות סביר (וזה הליך מאוד מתיש), כדאי להתמקד על מספר מצומצם. אולי אפשר לעשות מזה סדרה של מבחנים ולא הכל במכה אחת.

לעניות דעתי האופציה השנייה מקילה משמעותית, ולתפיסתי את השונות הסטטיסטית הסבירה - יש להגדיר מראש מהי מובהקות סטטיסטית ולהתאים לה מספר חזרות/אנשים סביר. אני מניח שאופציה 2 תלך יותר לכיוון האדם הממוצע ויש לוודא שמקובל על כל הצדדים הגדרה שכזו.

לגבי ציוד לדעתי יש לוודא שהנתונים הטכניים (פיסיקליים) דומים בכל המטריצה הנבחנת שלא נתקל במקרה בווקמן כמקור או חוט דנטלי ככבילה .
ההבדל המרכזי בין כל הרכיבים שיתמודדו ראש בראש יהיה המחיר ו/או מותג לעומת מוצר בעלות נמוכה או שאינו ממותג אך עם נתונים טכניים דומים.

מקודדים - כפי שהזכיר דיגיסאן LAME עבור MP3 ועבור FLAC מקודד תיקני מהאתר שלהם, המקור אחיד ויחיד (מחשב עם יציאה אופטית).
הקבצים ייוצרו מדיסקים מקוריים בקצבי דגימה ודחיסה מוגדרים מראש.

אולי (ואני מציע כאן משהו אולי טיפה קיצוני),
את החלק של הקבצים שווה לבצע מרחוק.
קודם כל השאלה שתוצג לאשש או לסתור תהיה - האם לאודיופיל יש שמיעה/האזנה/חישה שונה מהמאזין ההדיוט, כאשר מדובר בקבצים בעלי קידוד שונה.
לעשות זאת כך:
לפתוח דף אינטרנטי בו כל אחד יכול להיכנס למלא מסמך קצר (האם הוא רואה עצמו כאודיופיל) ולהיבחן לבד, בסביבה שהוא בוחר.
במבחן תהיה אפשרות לשמוע את שלושת הקבצים באופן חופשי כמה פעמים שרוצים (כל קובץ יסומן בזהות שלו אם MP3, WAVE או FLAC), וכשהנבחן מרגיש מוכן הוא יכול להפעיל את הקובץ X (כמה פעמים שרק ירצה) ולבחור את זהותו על בסיס ההאזנה. כך נגיד על 5 טרקים ויש להגיע ל30 האזנות סה"כ (לדעתי זה מעט, אבל אם תהיה היענות רחבה אולי אפשר להתייחס לזה אחרת על פי השונות בכל מדגם).
התוצאות יפורסמו אנונימית ויחפשו הבדל מובהק בין קבוצת ה"אודיופילים" לבין קבוצת ה"אדם הממוצע".
(אפשר לחשוב יחד איך מייצרים אמינות גבוהה יותר לדיווח לקבוצת השיוך).

[avilior]

ארז וחני,
בדיקה איכותית מחייבת מספר נסיינים בשל הסיכוי להטיות וגם כדי שהמסקנות מהבדיקה יהיו רחבות יותר מעבר ל"שמעון זיהה כך וכך פעמים", מה בדיוק תשיג בזה? ואם הוא לא זיהה פעם אחת? אז?
בקיצור, הבנת לאן אני חותר. בדיקה רצינית. מסקנות איכותיות.

...

אבל צורך ההוכחה שיש הבדלים נשמעים בין כבלים מספיק שאדם אחד יצליח. האם מקובל עליך?

ארז

...

אם נבחן בודד מצליח נניח ב-27 מתוך 30 נסיונות אז מקובל שגם אדם בודד בכל העולם מספיק כדי לקבוע שניתן לשמוע .....ענייני סטטיסטיקה .

למרות שגם אז קיים% 0,00000001 שהתוצאה נבעה מיד המקרה .........אבל נעזוב זאת כרגע.

...

וודאי שאם מבצעים מספר נסיונות רב כמו שהצעת ניתן יהיה לגבש דעה על העניין. אבל אתה לא חושב שיהיה פורה יותר להסיק מסקנות אחרות מאשר אדם x הצליח לזהות אז יש הבדל?

[roberts]

בעקבות הכתבה של איתי חזום על מיתוסים נפוצים ברמקולים ביתיים התפתח דיון ארוך ומסועף לגבי חלק ניכר מהסוגיות.

אחת התובנות הברורות מהדיון היא שיש אנשים שמשוכנעים שהצדק עימם, אך לא מוכנים להעמיד את הטיעונים שלהם למבחן.

לאחר מאות הודעות בנידון, נמצא צדיק בסדום (ואני מקווה שבעקבותיו יגיעו עוד שכאלה): שמעון מור יוסף, מנכ"ל AV1 ואושיית אודיו מקומית.

בעקבות היוזמה של שמעון, החלטתי להרים את הכפפה ולארגן מבחן ABX/עיוור לכל מי שמעוניין להצטרף ו/או להתנסות בחווית ביקורת מדעית על התחום אותו כולנו אוהבים.



שיהיה בהצלחה לכולנו!

...

ברשותך מספר רעיונות / הצעות לשיפור הבדיקה:

1. בשום פנים ואופן לא מד SPL - הבדיקה צריכה להתבצע "חשמלית" על הדקי הרמקול (אוטובוס שעובר בחוץ או תזוזה של מס' מילימטרים של ה-SPL יכול להשפיע על תוצאת המדידה) - אני אנדב כמובן את הציוד הדרוש (יש לי בבית ציוד מדידה לאודיו של HP שעלה בזמנו (לפני כ-30 שנה ) שווה ערך למכונית מאזדה משפחתית+דלק לכמה שנים ).

2. אני מציע להתחיל בבדיקת אינטרקונקטים , כי רוב ה"מריבות" בפורומים השונים הם על כבלים .
כבלי רמקול במקרים מסויימים (עם מגברים שפופרתיים ) נשמעים שונה ולכן אין עניין לבדוק אותם , אינטרקונקטים (תקינים) לעומת זאת נשמעים זהה.

3. כדי לסגור עניין נוסף , בדיקת האינטרקונקטים צריכה להתבצע בין כבל של "תחנה מרכזית" ב-5 שקל מול הכבל המטורף ביותר (אם ניתן לארגן כבל של 10,000 דולר אזי בכיף )....כאמור, כדי "לסגור את העניין סופית "

4. מספר הבדיקות הרצוי לכל מאזין הוא בין 16 ל-20 כאשר מותר לטעות כ-2-3 פעמים - למען האמינות הסטטיסטית.

5. כדי להמנע מעיפות , רצוי לפצל את הבדיקה ל-2-3 סשנים כך שמס' הבדיקות לסשן יהיה בין 5-10 .....כדי שלא תהיה טענה (מוצדקת בהחלט לדעתי ) ל"עייפות החומר" .

.....ודרך אגב בעברי (לפני כ-20 שנה ) בצעתי כ-25 בדיקות מעין אלו .........אתם מוזמנים לנחש מה היו התוצאות .................

[roberts]

ארז וחני,
בדיקה איכותית מחייבת מספר נסיינים בשל הסיכוי להטיות וגם כדי שהמסקנות מהבדיקה יהיו רחבות יותר מעבר ל"שמעון זיהה כך וכך פעמים", מה בדיוק תשיג בזה? ואם הוא לא זיהה פעם אחת? אז?
בקיצור, הבנת לאן אני חותר. בדיקה רצינית. מסקנות איכותיות.

...

אבל צורך ההוכחה שיש הבדלים נשמעים בין כבלים מספיק שאדם אחד יצליח. האם מקובל עליך?

ארז

...

אם נבחן בודד מצליח נניח ב-27 מתוך 30 נסיונות אז מקובל שגם אדם בודד בכל העולם מספיק כדי לקבוע שניתן לשמוע .....ענייני סטטיסטיקה .

למרות שגם אז קיים% 0,00000001 שהתוצאה נבעה מיד המקרה .........אבל נעזוב זאת כרגע.

...

וודאי שאם מבצעים מספר נסיונות רב כמו שהצעת ניתן יהיה לגבש דעה על העניין. אבל אתה לא חושב שיהיה פורה יותר להסיק מסקנות אחרות מאשר אדם x הצליח לזהות אז יש הבדל?

...

בתשובתי התייחסתי לשאלתו של ארז .........ולשאלתך , כמובן שאתה צודק .

[tea]

לדעתי יהיו הרבה אנשים שמאמינים בהבדלים בין כבלים שלא תהיה להם בעיה להיות זה שנבדק.
אפשר לפנות לפורום השני, זה שצוחקים ומשעים "טכנוקראטים, זה שטוענים שההבדלים בין כבלים כל כך ברורים ולהזמין מישהו מהם להיות זה שנבדק במבחן העיוור. מאחר והם קוראים בפורום הזה בשקיקיה -יהיו הרבה מתנדבים מישם.
לא תהיה להם כל בעיה להבחין באוזנים האודיופיליות שלהם מאחר והם יודעים לשמוע.

[oferlaor]

כמה דברים

1. כפי שאחרים אמרו - זה קונצנזוס שיש הבדלים בין mp3 ושניתן לזהות 128kbps מהמקור (אם יש מאזין וציוד מתאימים). יותר מעניין להשוות mp3 320kbps מול המקור (flac או wav)

2. השוואה בין flac ל wav מעניינת אבל מעט איזוטרית. יחסית ראיתי מעטים שטוענים להבדל. אולי פשוט לא נתתי צ׳אנס לזה להתפתח לדיון סוער.

3. שני הדברים המעניינים הם השוואת כבלי טרנספורט והגברות.

כבלי טרנספורט מאוד רצוי להשוות כבלים ממש זולים לכבלים אקזוטיים ויוקרתיים. אם אפשר גם לבדוק דברים כמו כבלי חשמל זה גם יהיה מאוד מעניין.

לגבי הגברה - מעניין לבדוק הבדלים בין מגברים שידועים כלא מעוותים (קרי: אין טעם להשוות הגברת מנורות כי מסוכם שהיא בפירוש משנה את הסיגנל).

לגבי נוכחים, אני חושב שכדאי לבחור עד 10 אנשים ולא להפוך את זה לפסטיבל שעלול להפריע ולמנוע מהנבחנים לשמוע כראוי.

לגבי מובהקות סטטיסטית. ברגע שיורדים מתחת לסף ה 10%- קולקטיבית או אינדיבידואלית זה כבר מתחיל להיות מעניין. בכלל, כל מספר שמתרחק מ-50% הצלחה או כישלון ה מספר מעניין.

לגבי הפורום, אם רוצים להעביר אותו - נא לדווח ואחד המנהלים יעשה זאת.

[sufgi]

אני יכול לתרום את הנסיון האישי שלי עם כבלים.
בזמנו בדקתי אצלי במערכת מספר כבלים ברמות מחיר כמעט זהות.

כבלי אינטרקוננקט - יש הבדלים, אם כי צריך לשים לב לדקויות כדי להבחין בהם.
כבלי רמקול - יש הבדלים ברורים.

ושוב פעם, ההשוואה לא היתה בין כבל פשוט של שקלים בודדים לכבל יקר, אלא בין כבלים באותה רמת מחיר
אינטרקוננקט - רמת מחירים של כ 500 ש"ח לזוג
רמקולים - רמת מחירים של כ 1000-1500 ש"ח ל 3 מטר לכל צד

[epony]

תודה לכולם על ההשתתפות בדיון עד כה!

אם כן, עושה רושם שהקונצנזוס סביב אי-הקונצנזוס הוא בנוגע לבחינה האם קיימים הבדלים שמיעים בין:

• MP3 באיכות גבוהה (320 קסל"ש), WAV ו-FLAC
• כבלי רמקולים ואינטרקונקטים (וכבלי חשמל אם יש עניין) - אני מציע שנתארגן על זוג או שניים של כבלים ב-3-4 רמות מחיר, כגון: כמה ש"ח בודדים למטר, כמה עשרות ש"ח למטר וכמה מאות ש"ח למטר
• מגברים טרנזיסטוריים (לא מנורות) ברמות מחיר שונות (כניסה/ביניים/יקר/היי-אנד), שייבדקו כולם מתחת לווליום שמביא ל-Clipping

מבחינת משתתפים, עושה רושם שיש כבר כמה מתעניינים, אבל בהחלט עוד יש מקום לעוד כמה חברים שמעוניינים להצטרף.

כאמור, המטרה שלי היא לערוך מבחן ABX שיהיה במקרה הכי גרוע Single Blind (סמיות יחידה) . במבחן כזה, בשלב ראשון כל המשתתפים שומעים את כל הציוד הנבחן ורושמים רשמים אישיים מכל מוצר. בשלב הבא, המשתתפים יכולים לבקש/לבצע בעצמם את ההחלפה, ולאחר כל החלפה הם יציינו איזה רכיב הם שומעים לדעתם (ושורה או שתיים של נימוקים לא יזיקו), מבלי לדעת לאיזה רכיב הם מאזינים בכל רגע נתון. במבחן Double Blind ABX (סמיות כפולה), גם המחליף לא יודע איזה רכיב מחובר בכל רגע נתון.

את המבחנים על קבצי הקול נראה לי שנעשה באמצעות מחשב עם יציאה דיגיטלית ושימוש בפונקציית ה-ABX של נגן Foobar 2000 (שמאפשרת סמיות כפולה, כי רק בסוף המבחן אחרי כמה החלפות שרק רוצים מגלים איזה קטע נוגן בכל החלפה), כאשר את הקטעים נבחר מראש בהסכמת הנבחנים.
אופציה נוספת היא לשלוח למשתתפים דיסק "אודיופילי" הביתה (שממנו נדגום את קבצי המבחן) כמה שבועות קודם, כדי שיתרגלו את החומר לבחינה...

את המבחנים "הפיזיים" (כבלים, הגברה וכיו"ב) נצטרך לתכנן קצת יותר בקפידה. אני חשבתי לבצע אותם ע"י שימוש במטריצה שמאפשרת מיתוג מקורות/הגברה/רמקולים, ושיש לה כמה "זכרונות" - ככה אפשר לתכנת את הזכרונות ע"י אדם אחד, ולבצע את ההחלפות ע"י אדם אחר, ובאופן זה לקבל סמיות כפולה (המחליף לא יודע לאיזה ציוד הוא מחליף).

נ.ב. אל תדאגו לניתוח הסטטיסטי, סחבק די בקיא בכל הזבל המשעמם הזה