@alchemy
אם כך, אז לפי המחשבון אין טעם בבניית raid5 לנפחים גדולים.
הסיכויים שאצליח לשחזר את המערך לאחר נפילת דיסק אחד הם אחוזים בודדים.
פניתי עכשיו לסינולוגי ישראל ושאלתי אותם לגבי הנושא, ואין להם מושג על מה אנחנו מדברים. לדבריהם אין שום בעיה בשחזור מערכים גדולים, והם לא נתקלו בתלונות.
יתכן שיש להם מימוש מיוחד בזמן שחזור, כזה אולי שבמקרה של כשל בביט מסויים, מנסה לקרוא שוב או משהו כזה ? ...
עזרה בבחירת nas ביתי
- Amir64
-
- גורו
- תגובות: 10913
- הצטרף: אוגוסט 2012
- נתן תודות: 215 פעמים
- קיבל תודות: 1941 פעמים
ניסית את המחשבון שקישרת אליו?alchemy כתב:·......
ההסתברות לשגיאות בתהליך ה-Rebuild לא כזאת גבוהה, יש הרבה מחשבונים שיודעים לחשב אותה, כמו זה :
http://www.raid-failure.com/raid5-failure.aspx
יחד עם זאת צריך לזכור ש-RAID5 זה לא תחליף לגיבוי, יש צורך להחזיק העתק(ים) נוספים של מידע קריטי....
עם 3 דיסקים של 6 טרה, הסיכוי להצלחת rebuild הוא 23.7%
כלומר 76.3% סיכוי לכשלון!
עם 8 דיסקים של 6 טרה, הסיכוי להצלחת rebuild הוא רק 2.2%
כלומר 97.8% סיכוי לכשלון!
זו הסתברות לא גבוהה לכישלון?
בפועל זה לא כל כך נורא.
המתמטיקה אינה מסתדרת עם העובדות בשטח. אפשר לראות כאן סיכומים של כל מני מקורות מידע:
https://holtstrom.com/michael/blog/post ... lures.html
תתייחס בעיקר למספרים המוצגים לבדיקות בפועל שבוצעו.
בפועל דיסקים קשיחים אמינים הרבה יותר מהנתון התיאורטי הזה ויוצרים הרבה פחות שגיאות בעת קריאה ממה שניתן לצפות על ידי התבוננות בנתון בלבד.
יתכן ויצרני הדיסקים רושמים נתון שהוא נמוך בהרבה מאשר היציבות האמיתית.
השערה נוספת - היא התייחסות ליחידת המידע שהם נקטו בה - ביט. דיסק קשיח אינו קורא ביט מהדיסק, הוא קורא סקטור שלם. סקטור בעבר היה 512 בתים, היום 4096 בתים. תכפיל את זה בשמונה כדי לקבל ביטים.
אם יש שגיאת קריאה, כל הסקטור לא נקרא ואתה בעצם מאבד 4096 או 32,768 ביטים בקריאה אחת שכשלה. ייתכן והם מעבדים את הנתון הזה ליצור איזה מספר ממוצע לביט אחד. ייתכן גם והנתון מתייחס לביט אחד שהושחת והכונן לא יודע על כך (למרות שיש ECC).
בקיצור, בפועל המצב לא כזה נורא.
אצלי למשל יש 2 מערכים של 4 דיסקים, אחד בעל דיסקים של 2 טרה ואחד בעל דיסקים של 3 טרה. על המערכים מבוצע Scrub - ווידוא נכונות הנתונים מדי שבוע ותיקון על ידי Checksum תוכנתי במקרה הצורך. לפי המספרים המצוטטים, הייתי צריך לצבור כבר מספר רב של שגיאות שתוקנו תוכנתית. בפועל מלבד כונן אחד שכשל לחלוטין והוחלף (המערך נבנה מחדש) - לא היו שגיאות קריאה כלל.
במידה ויש לך מידע חשוב בנפח רב, הייתי מעדיף RAID6. אני את המידע הקריטי מגבה גם ב- Dropbox, כך שכשל טוטאלי של מערך יכאב, אבל כל דבר שחסרונו יגרום לנזק גדול מגובה בענן.
המתמטיקה אינה מסתדרת עם העובדות בשטח. אפשר לראות כאן סיכומים של כל מני מקורות מידע:
https://holtstrom.com/michael/blog/post ... lures.html
תתייחס בעיקר למספרים המוצגים לבדיקות בפועל שבוצעו.
בפועל דיסקים קשיחים אמינים הרבה יותר מהנתון התיאורטי הזה ויוצרים הרבה פחות שגיאות בעת קריאה ממה שניתן לצפות על ידי התבוננות בנתון בלבד.
יתכן ויצרני הדיסקים רושמים נתון שהוא נמוך בהרבה מאשר היציבות האמיתית.
השערה נוספת - היא התייחסות ליחידת המידע שהם נקטו בה - ביט. דיסק קשיח אינו קורא ביט מהדיסק, הוא קורא סקטור שלם. סקטור בעבר היה 512 בתים, היום 4096 בתים. תכפיל את זה בשמונה כדי לקבל ביטים.
אם יש שגיאת קריאה, כל הסקטור לא נקרא ואתה בעצם מאבד 4096 או 32,768 ביטים בקריאה אחת שכשלה. ייתכן והם מעבדים את הנתון הזה ליצור איזה מספר ממוצע לביט אחד. ייתכן גם והנתון מתייחס לביט אחד שהושחת והכונן לא יודע על כך (למרות שיש ECC).
בקיצור, בפועל המצב לא כזה נורא.
אצלי למשל יש 2 מערכים של 4 דיסקים, אחד בעל דיסקים של 2 טרה ואחד בעל דיסקים של 3 טרה. על המערכים מבוצע Scrub - ווידוא נכונות הנתונים מדי שבוע ותיקון על ידי Checksum תוכנתי במקרה הצורך. לפי המספרים המצוטטים, הייתי צריך לצבור כבר מספר רב של שגיאות שתוקנו תוכנתית. בפועל מלבד כונן אחד שכשל לחלוטין והוחלף (המערך נבנה מחדש) - לא היו שגיאות קריאה כלל.
במידה ויש לך מידע חשוב בנפח רב, הייתי מעדיף RAID6. אני את המידע הקריטי מגבה גם ב- Dropbox, כך שכשל טוטאלי של מערך יכאב, אבל כל דבר שחסרונו יגרום לנזק גדול מגובה בענן.
- Amir64
-
- גורו
- תגובות: 10913
- הצטרף: אוגוסט 2012
- נתן תודות: 215 פעמים
- קיבל תודות: 1941 פעמים
@Nemesis
ההשערה שלך שגוייה.
הראש המגנטי בדיסק קורא ביטים, הוא לא מכיר משהו אחר.
המערכת הלוגית שהיא שכבה גבוהה יותר, עוסקת בחלוקה הלוגית לסקטורים.
לא מדובר על שגיאת קריאה פיזית, שאז באמת כל הסקטור לא נקרא.
מדובר על שגיאה בה הסיבית נקראה 0 למרות שהיא אמורה להכיל 1, או להיפך.
אין מה להשוות דיסקים 2-3 טרה, לדיסקים 6 טרה ומעלה.
בדיסק 3 טרה רוב הסיכויים הם שלא תקרה שגיאת URE בקריאה רציפה של כל הדיסק.
בדיסק 6 טרה, הסיכוי לשגיאת URE הוא די גבוה, ברור שלא וודאי.
אבל ברייד 5 של 3 דיסקים, בזמן rebuild קוראים 6 טרה רצוף משני דיסקים מה שמכפיל את הסיכוי לכשל.
נכון, שאם הסיכוי האמיתי ל- URE בדיסק הוא 1 ל-15^10 ביטים, ולא 1 ל- 14^10 ביטים כפי שמצהיר היצרן, הסיכוי לכשל נמוך בהרבה.
מי שרוצה להמר על הצלחה, שיהמר.
כמו בכל ההימורים, לפעמים ההימור מצליח, גם אם הסיכוי קטן מאוד.
ההשערה שלך שגוייה.
הראש המגנטי בדיסק קורא ביטים, הוא לא מכיר משהו אחר.
המערכת הלוגית שהיא שכבה גבוהה יותר, עוסקת בחלוקה הלוגית לסקטורים.
לא מדובר על שגיאת קריאה פיזית, שאז באמת כל הסקטור לא נקרא.
מדובר על שגיאה בה הסיבית נקראה 0 למרות שהיא אמורה להכיל 1, או להיפך.
אין מה להשוות דיסקים 2-3 טרה, לדיסקים 6 טרה ומעלה.
בדיסק 3 טרה רוב הסיכויים הם שלא תקרה שגיאת URE בקריאה רציפה של כל הדיסק.
בדיסק 6 טרה, הסיכוי לשגיאת URE הוא די גבוה, ברור שלא וודאי.
אבל ברייד 5 של 3 דיסקים, בזמן rebuild קוראים 6 טרה רצוף משני דיסקים מה שמכפיל את הסיכוי לכשל.
נכון, שאם הסיכוי האמיתי ל- URE בדיסק הוא 1 ל-15^10 ביטים, ולא 1 ל- 14^10 ביטים כפי שמצהיר היצרן, הסיכוי לכשל נמוך בהרבה.
מי שרוצה להמר על הצלחה, שיהמר.
כמו בכל ההימורים, לפעמים ההימור מצליח, גם אם הסיכוי קטן מאוד.
·Amir64 כתב:@Nemesis
ההשערה שלך שגוייה.
הראש המגנטי בדיסק קורא ביטים, הוא לא מכיר משהו אחר.
המערכת הלוגית שהיא שכבה גבוהה יותר, עוסקת בחלוקה הלוגית לסקטורים.
לא מדובר על שגיאת קריאה פיזית, שאז באמת כל הסקטור לא נקרא.
מדובר על שגיאה בה הסיבית נקראה 0 למרות שהיא אמורה להכיל 1, או להיפך.
אין מה להשוות דיסקים 2-3 טרה, לדיסקים 6 טרה ומעלה.
בדיסק 3 טרה רוב הסיכויים הם שלא תקרה שגיאת URE בקריאה רציפה של כל הדיסק.
בדיסק 6 טרה, הסיכוי לשגיאת URE הוא די גבוה, ברור שלא וודאי.
אבל ברייד 5 של 3 דיסקים, בזמן rebuild קוראים 6 טרה רצוף משני דיסקים מה שמכפיל את הסיכוי לכשל.
נכון, שאם הסיכוי האמיתי ל- URE בדיסק הוא 1 ל-15^10 ביטים, ולא 1 ל- 14^10 ביטים כפי שמצהיר היצרן, הסיכוי לכשל נמוך בהרבה.
מי שרוצה להמר על הצלחה, שיהמר.
כמו בכל ההימורים, לפעמים ההימור מצליח, גם אם הסיכוי קטן מאוד....
זה נורא תלוי בהגדרה. לפי איך שאתה מגדיר, אתה מגדיר URE כ- Flipped Bit. במקרה כזה זה בכלל לא רלוונטי ל- Rebuild של RAID. כל עוד לא מתרחשת שגיאת קריאה ה- Rebuild ימשיך כאשר מידע מסויים למעשה הושחת בלי לדעת מכך. זה לא תואם כל כך על הסכנה המדווחת של Rebuild שיכשל באמצע בגלל שגיאת קריאה.
אבל גם אם נלך לפי שיטה זו, בבדיקות שקישרתי קראו מידע מדיסקים של 10^14 בכמות כזו ששגיאה היתה צריכה לקרות בסבירות גבוהה, ועדיין לא דווחה שום שגיאה. גם בדיסקים שלי, אני עושה Scrub של כ- 12 טרה בשבוע. הייתי אמור לראות שגיאה אחת בשבוע שתוקנה, אבל במשך כשנתיים אין אפילו שגיאה אחת.
רב הנסתר על הגלוי, אך כאשר המציאות מצביעה על תוצאות אחרות קשה להתייחס נטו לחישוב הנובע מתוך ה-URE כאשר בכל בדיקה שאני מכיר השגיאות לא קרובות להיות נפוצות מחישוב פשוט של ה-URE.
- Amir64
-
- גורו
- תגובות: 10913
- הצטרף: אוגוסט 2012
- נתן תודות: 215 פעמים
- קיבל תודות: 1941 פעמים
בינתיים? RAID6.
אבל גם תורו להיות בעייתי יגיע...
לא יודע אם דווקא באיזור שנת 2019, כמו שכתוב כאן:
http://www.zdnet.com/article/why-raid-6 ... g-in-2019/
למה RAID5 טוב יותר מ-JBOD?
אני עובד עם JBOD, עם 4 דיסקים 6tb.
יש גיבוי של חומר חשוב (אוטומאטי) מדיסק לדיסק בתוך הנאס, חוץ מלפחות עוד עותק שנמצא מחוץ לנאס\בית.
יילך דיסק?
אחליף אותו, אעתיק אליו את החומר שהיה עליו, ולא קרה שום דבר.
נרצה דיסק גדול יותר? נחליף אחד או יותר. ב- RAID5 אתה לא יכול, או שזה מסובך וצריך להחליף כל פעם אחד, עד שתחליף את כולם, ואז להגדיל את ה volume.
אבל גם תורו להיות בעייתי יגיע...
לא יודע אם דווקא באיזור שנת 2019, כמו שכתוב כאן:
http://www.zdnet.com/article/why-raid-6 ... g-in-2019/
למה RAID5 טוב יותר מ-JBOD?
אני עובד עם JBOD, עם 4 דיסקים 6tb.
יש גיבוי של חומר חשוב (אוטומאטי) מדיסק לדיסק בתוך הנאס, חוץ מלפחות עוד עותק שנמצא מחוץ לנאס\בית.
יילך דיסק?
אחליף אותו, אעתיק אליו את החומר שהיה עליו, ולא קרה שום דבר.
נרצה דיסק גדול יותר? נחליף אחד או יותר. ב- RAID5 אתה לא יכול, או שזה מסובך וצריך להחליף כל פעם אחד, עד שתחליף את כולם, ואז להגדיל את ה volume.
- Amir64
-
- גורו
- תגובות: 10913
- הצטרף: אוגוסט 2012
- נתן תודות: 215 פעמים
- קיבל תודות: 1941 פעמים
@Nemesis
כמו שכתבתי קודם,
אם הנתון שמספק היצרן הוא ״שמרני״ ובפועל רוב הדיסקים שלו מגיעים ל- URE בסדר גודל של אחד או שניים יותר מהמוצהר, אז החישוב הסטטיסטי מציג מצב גרוע מהאמיתי.
מי שרוצה לסמוך על זה, מוזמן.
רק שיהיה מגובה ולא יופתע ויאבד מידע.
כמו שכתבתי קודם,
אם הנתון שמספק היצרן הוא ״שמרני״ ובפועל רוב הדיסקים שלו מגיעים ל- URE בסדר גודל של אחד או שניים יותר מהמוצהר, אז החישוב הסטטיסטי מציג מצב גרוע מהאמיתי.
מי שרוצה לסמוך על זה, מוזמן.
רק שיהיה מגובה ולא יופתע ויאבד מידע.
ברור שצריך להתנהג במשנה זהירות, אבל לדעתי עדיין יש מקום לרייד.
לפי חישוב UER, הרי רק אחד מתוך 4 Rebuilds צפויים להצליח במערך של 4 דיסקים של 4 טרה.
ברור שזה לא המצב, אפילו לא קרוב. אם זה היה המצב, RAID5 היה חסר תועלת לחלוטין היום.
לפי חישוב UER, הרי רק אחד מתוך 4 Rebuilds צפויים להצליח במערך של 4 דיסקים של 4 טרה.
ברור שזה לא המצב, אפילו לא קרוב. אם זה היה המצב, RAID5 היה חסר תועלת לחלוטין היום.
RAID-6 לא הגיוני לעשות על כמות קטנה של דיסקים, על 4 דיסקים RAID-10 יהיה יותר טוב, בכל מקרה RAID-6 לא ממש רלוונטי למשתמש הביתי.
יש עוד פרמטר שלא התייחסנו בדיון - חישבנו הסתברויות לשגיעה ב- REBUILD כאשר כל הדיסקים מלאים ב-100%, לרוב זה לא המקרה, אז גם ההסתברות לשגיעה קטנה בהתאם.
נכנסתי למפרטים של WD RED וגיליתי שההסתברות לשגיעה המוצהרת, עבור WD RED קטנה מ-14^10 ועבור RED PRO קטנה מ-15^10, אז למי שדואג אפשר להשקיע עוד כמה שקלים ולישון יותר טוב בלילה.
לי אישית יש 2 שרתי NAS, אחד לאחסון עם 4 דיסקים של 2TB ב- RAID-5.
שני עם 2 דיסקים של 6TB ב-JBOD להורדות.
כל הדיסקים WD RED.
בנוסף גיבוי לדיסק חיציני שלא נמצא בתוך הדירה + גיבוי על ענן של הדברים החשובים באמת.
יש עוד פרמטר שלא התייחסנו בדיון - חישבנו הסתברויות לשגיעה ב- REBUILD כאשר כל הדיסקים מלאים ב-100%, לרוב זה לא המקרה, אז גם ההסתברות לשגיעה קטנה בהתאם.
נכנסתי למפרטים של WD RED וגיליתי שההסתברות לשגיעה המוצהרת, עבור WD RED קטנה מ-14^10 ועבור RED PRO קטנה מ-15^10, אז למי שדואג אפשר להשקיע עוד כמה שקלים ולישון יותר טוב בלילה.
לי אישית יש 2 שרתי NAS, אחד לאחסון עם 4 דיסקים של 2TB ב- RAID-5.
שני עם 2 דיסקים של 6TB ב-JBOD להורדות.
כל הדיסקים WD RED.
בנוסף גיבוי לדיסק חיציני שלא נמצא בתוך הדירה + גיבוי על ענן של הדברים החשובים באמת.
- pixies
-
- אחראי תחום HTPC
- תגובות: 32977
- הצטרף: מרץ 2007
- מיקום: פאתי מלאבס
- נתן תודות: 769 פעמים
- קיבל תודות: 2315 פעמים
RAID-Z אמין הרבה יותר מ-RAID5.
כבר יצא לי לעשות איתו 4 rebuild-ים (ממש החלפתי את כל ה-4 הכוננים), ולא הייתה שום בעייה.
כבר יצא לי לעשות איתו 4 rebuild-ים (ממש החלפתי את כל ה-4 הכוננים), ולא הייתה שום בעייה.
"החלפתי כבל דיגיטלי ונפתח לי הסאונד"
- Amir64
-
- גורו
- תגובות: 10913
- הצטרף: אוגוסט 2012
- נתן תודות: 215 פעמים
- קיבל תודות: 1941 פעמים
הדיון היום התחיל משאלה של @sufgi, שמדבר על מערך של 8 דיסקים.alchemy כתב:RAID-6 לא הגיוני לעשות על כמות קטנה של דיסקים, על 4 דיסקים RAID-10 יהיה יותר טוב, בכל מקרה RAID-6 לא ממש רלוונטי למשתמש הביתי.
...
בוודאי שעבור 4 דיסקים, עם "איבוד" 50% מהנפח, עדיף RAID10, על RAID6.
לצערינו הרב ZFS לא נתמך בשרתי NAS ביתיים, בשביל ZFS צריך לבנות NAS לבד ולשים מערכת FREENAS.pixies כתב:RAID-Z אמין הרבה יותר מ-RAID5.
כבר יצא לי לעשות איתו 4 rebuild-ים (ממש החלפתי את כל ה-4 הכוננים), ולא הייתה שום בעייה....
אני פעם בניתי שרת מבוסס FREENAS בשביל העבודה, עם 8 דיסקים ב- RAID-Z2, המערכת עבדה מצויין.
אבל לבית קניתי סינולוג'י מטעמי נוחות ופשטות.
·pixies כתב:RAID-Z אמין הרבה יותר מ-RAID5.
כבר יצא לי לעשות איתו 4 rebuild-ים (ממש החלפתי את כל ה-4 הכוננים), ולא הייתה שום בעייה....
RAIDZ בהחלט מצויין, בשימוש אצלי.
אתה עושה Scrub תקופתי? כמה זמן המערך אצלך?
תסתכל בנתוני הדיסקים, האם יש איזשהי שגיאת קריאה? שקרתה אי פעם?
- pixies
-
- אחראי תחום HTPC
- תגובות: 32977
- הצטרף: מרץ 2007
- מיקום: פאתי מלאבס
- נתן תודות: 769 פעמים
- קיבל תודות: 2315 פעמים
המערך אצלי מאז 2012, וב-2015 הכוננים החלו לתת שגיאות, אחד אחרי השני (מדהים, כולם נפלו כמה חודשים לאחר תום השלוש שנות אחריותNemesis כתב:·......
RAIDZ בהחלט מצויין, בשימוש אצלי.
אתה עושה Scrub תקופתי? כמה זמן המערך אצלך?
תסתכל בנתוני הדיסקים, האם יש איזשהי שגיאת קריאה? שקרתה אי פעם?...
). הם תפקדו טוב וזה לא הגיע למצב של degraded, אבל לא לקחתי סיכון והחלפתי כשראיתי שיש checksum errors בודדים.היו לי בהתחלה 4x2GB, והחלפתי בהדרגה לכוננים של 3GB, כולל אחד פגום שעשה לי דפיקות לב בהחלפה שנכשלה אבל החליפו לי אותו וההחלפה הצליחה.
כל החלפה לקחה יום-יומיים. בהתחלה יותר זמן ואחרי זה פחות זמן כי הכוננים החדשים שיפרו ביצועים.
אני לא עושה Scrub תקופתי, אבל צריך. אני סתם שוכח וזה לא טוב...
"החלפתי כבל דיגיטלי ונפתח לי הסאונד"
- pixies
-
- אחראי תחום HTPC
- תגובות: 32977
- הצטרף: מרץ 2007
- מיקום: פאתי מלאבס
- נתן תודות: 769 פעמים
- קיבל תודות: 2315 פעמים
הכוננים הקודמים היו של סמסונג.
צודק לגבי ה-Scrub, צריך רק למצוא את הזמן האופטימלי לזה.
צודק לגבי ה-Scrub, צריך רק למצוא את הזמן האופטימלי לזה.
"החלפתי כבל דיגיטלי ונפתח לי הסאונד"
