מנסה לגבש החלטה, NAS או דיסקים בודדים

Amir64 · שליחה #41 08/10/2018 19:55

@Nemesis
בכל מקרה דיסקים רגילים למחשב ול- NAS
הם ברמה של 14^1/10 Non-recoverable read errors.
זה הרבה פחות אמין מ- 15^1/10, ובטח מ- 16^1/10

rm1 · שליחה #42 08/10/2018 20:40

אם זה מעניין אתכם קצת מספרים מעשיים של חברת backblaze לאחסון מידע, שמפיקה דו"ח רבעוני ושנתי על שרידות הדיסקים שהם משתמשים:
https://www.backblaze.com/blog/hard-dri ... r-q1-2018/
במקור נזכרתי בגלל כתבה של עפר מלפני שנתיים:
https://www.hometheater.co.il/article07153.html

IamEzio · שליחה #43 08/10/2018 21:24

@rm1
·

כתבתי כבר לא מעט פעמים, כל הבדיקות האלו של Backblaze לא שוות את הביטים שמאחסנים אותם.

הם משתמשים בכוננים ביתיים שלא מיועדים לתנאי העבודה הזאת, הם משווים כוננים מסדרות שונות לגמרי שמיועדות לשימושים שונים לגמרי, קבוצות הנתונים שלהם גם בגדלים שונים, זה טוב ויפה שהם חוסכים עלויות של דיסקים קשיחים, אבל שלא יציגו את ה'נתונים' שלהם כמדוייקים או משקפים משהו מעבר להזייה של לבנות DATA CENTER ולהשתמש בMix הזוי של כוננים לא קשורים למציאות..

https://www.hometheater.co.il/vp2421992#2421992

שליחה #44 08/10/2018 21:36

IamEzio,
Backblaze נתנו הסברים מאוד משכנעים לסיבה שלהם להשתמש בכוננים כאלו. מעבר לזה, הם אחת מחברות ה- Online Bakcup הידידותיות ומאלו שצמחו בצורה גבוהה מאוד ב- 11~ שנים שהם קיימים, הם חיים ונושמים Storage. סביר להניח שהם יודעים מה הם עושים.

eran405 · שליחה #45 08/10/2018 22:14

למיטב הבנתי אילו נתונים אחרים לגמרי ממה שאנחנו מדברים עליו כאן: אצל Backblaze מדובר על drive failures שקשה לי להאמין שהם מתכוונים ל-URE אחד בודד. הרי בכל פתרון חוץ מבניה מחדש של RAID5/6 ברגע שיש URE פשוט מסמנים את ה-bad sector ואפשר להשתמש בשאר הדיסק בלי בעיה. כמובן שבמיוחד משתמש ביתי שאין לו גיבוי עדכני צריך לראות את זה כנורת אזהרה שאולי הדיסק בדרך לקבר אבל נתקלתי בדיסקים שעוד חיו חיים ארוכים עם מספר מועט של bad sectors.

ממה שאני מבין ברגע שדיסק אחד ב-RAID5 מת ויש אפילו URE אחד בודד באחד הדיסק האחרים אז התהליך נכשל באופן גורף. מומלץ לעשות דברים כמו scrub תקופתי בדיוק בשביל לגלות את ה-URE מבעוד מועד ולמפות אותם כך שהם לא יכשילו תהליך של שיחזור. יש הרבה מידע על זה באינטרנט, לדוגמא:
https://holtstrom.com/michael/blog/post ... lures.html
לגבי RAID 6 אני לא בטוח אבל לכל הפחות זה אומר שאתה צריך 2 URE בשביל להכשיל את התהליך, בתקווה רק 2 URE על אותו "בלוק" של מידע יכשילו את התהליך. בכל מקרה ל-RAID 6 יש בעיות אחרות כמו זה שיכול לקחת זמן מאד ארוך בשביל להתאושש מקריסה (עשרות שעות ויותר).

Gico · שליחה #46 09/10/2018 14:15

מה לגבי פתרון DAS שכולל סוג כלשהו של יתירות, ושיתוף ברשת באמצעות SMB?
המחשב הזה יצטרך לעבוד כל הזמן, אבל לא תהיה מגבלת מהירות רשת לצרכן העיקרי.

Amir64 · שליחה #47 09/10/2018 14:36

ziv_r כתב:IamEzio,
Backblaze נתנו הסברים מאוד משכנעים לסיבה שלהם להשתמש בכוננים כאלו.
...

ההסברים שלהם לגבי הסיבות לשימוש בדיסקים לא מתאימים למשימה, לא הופך את הסטטיסטיקה שלהם לאמינה.
זה שזה כדאי להם כלכלית, לא אומר שזה גם מייצר סטטיסטיקה אמינה על איכות הדיסקים.
הרי יכולים להיות הרבה דיסקים תקולים, שאם היו עובדים בסביבה לה נועדו, היו ממשיכים לעבוד עוד שנים ללא תקלה.

spacedude · שליחה #48 09/10/2018 14:43

Gico כתב:מה לגבי פתרון DAS שכולל סוג כלשהו של יתירות, ושיתוף ברשת באמצעות SMB?
המחשב הזה יצטרך לעבוד כל הזמן, אבל לא תהיה מגבלת מהירות רשת לצרכן העיקרי.
...

·
אני חושש שלאט לאט אני מתחיל לרדת מזה,
אני עובד עם 18 דיסקים קשיחים ויוצא שאחת לכמה זמן אחד הולך.
גם בנאס זה רק עניין של זמן עד שאחד יפול, עם כשל של דיסק בודד יש סבירות לא נמוכה שכל המערך יפול,
אפילו שהחומרים לא קריטיים עוגמת הנפש לאבד מעל 30 טרה של חומר במכה אחת לא שווה את זה.

אני חושב שאני אמשיך לעבוד באותה צורה.
עם דיסקים של 4טרה ככה שברגע שאיבדתי 4טרה זה לא סוף העולם.

שליחה #49 09/10/2018 14:51

Amir64,
למה שזה לא ייצר סטטיסטיקה אמינה? כיצד אתה יודע שהיא לא אמינה? אתה רואה סטטיסטיקה אחרת אמינה יותר שנעשתה על נפח כזה גבוה של כוננים?
שים לב לפרק "Enterprise versus Consumer Hard Drives" בדוח האחרון שלהם:
https://www.backblaze.com/blog/hard-dri ... or-q2-2018

אחרון, אין קשר בין הדוח הזה לבין נושא השרשור.

Amir64 · שליחה #50 09/10/2018 15:16

ziv_r כתב:Amir64,
למה שזה לא ייצר סטטיסטיקה אמינה? כיצד אתה יודע שהיא לא אמינה? אתה רואה סטטיסטיקה אחרת אמינה יותר שנעשתה על נפח כזה גבוה של כוננים?
שים לב לפרק "Enterprise versus Consumer Hard Drives" בדוח האחרון שלהם:
https://www.backblaze.com/blog/hard-dri ... or-q2-2018

אחרון, אין קשר בין הדוח הזה לבין נושא השרשור.
...

כתבתי בשורה האחרונה למה.
ואת זה לא אומר אני, אלא חוקרים שבדקו את המתודולוגיות של החברה.

Gico · שליחה #51 09/10/2018 15:24

spacedude כתב:
...
...
·
אני חושש שלאט לאט אני מתחיל לרדת מזה,
אני עובד עם 18 דיסקים קשיחים ויוצא שאחת לכמה זמן אחד הולך.
גם בנאס זה רק עניין של זמן עד שאחד יפול, עם כשל של דיסק בודד יש סבירות לא נמוכה שכל המערך יפול,
אפילו שהחומרים לא קריטיים עוגמת הנפש לאבד מעל 30 טרה של חומר במכה אחת לא שווה את זה.

אני חושב שאני אמשיך לעבוד באותה צורה.
עם דיסקים של 4טרה ככה שברגע שאיבדתי 4טרה זה לא סוף העולם.
...

אני עם מספר דומה של דיסקים (19), ועם 50TB של Data, וגם לי יכאב לאבד נתונים של דיסק כלשהו.
יש אפשרויות להגן על מערך נתונים בלי לסכן את כולו כפי ש-RAID5 או RAID6 עושים.
הצעתי דרך אחת, אך אני די בטוח שאינה היחידה. מודה שאיני מכיר אחרות כי לא הזדקקתי לחפש כאלה.

Nemesis · שליחה #52 09/10/2018 15:28

במידה ומדובר ב-4 דיסקים, אפשר כמובן להשתמש גם ב- RAID10.

rm1 · שליחה #53 09/10/2018 19:20

rm1 כתב:@spacedude
·
נראה לי שיש לי פתרון בשבילך שגם יפתור את המהירות וגם את הדרישה לגישה ממחשבים אחרים
מה דעתך להריץ VMware Workstation או VirtualBox על המחשב הראשי שלך?
כבר יש לך מחשב חזק עם הרבה פורטים של SATA שרובם לא בשימוש.
חבר להם דיסקים פנימיים ותנתב אותם למכונה וירטואלית שתרוץ על אותו המחשב.
למכונה הווירטואלית אתה יכול להגדיר חיבור רשת וירטואלי שמגיע ל 10G ואפילו יותר כי הוא חיבור תוכנתי ולא פיזי.
על המכונה אפשר להריץ כל דבר OpenMediaVault / FreeNas / xpenology וכו
מהירות הגישה מהמחשב הראשי ל NAS תהיה מקסימלית ומוגבלת רק בקונפיגורצית הדיסקים שתבחר ב NAS.
אני בקונפיגורציה דומה עם שני מכונות וירטואליות מגיע לקצבים של מעל 200MB בכתיבה וקריאה.
אם חשוב לך החומר תגדיר RAID6 גם עם דיסק אחד תקול ובשני יש RE עדיין תוכל להתגבר כי יש גיבוי כפול ואז להחליף את הדיסק הנוסף עם ה RE או שה NAS פשוט יסמן אותו כשטח לא תקין וימפה לו שטח חדש.

באופן כללי אם אתה רוצה מהירות אולטימטיבית לצורך עריכה תתקין כונן NVMe SSD בחיבור על הלוח או ככרטיס PCIe.
הכוננים האלה מגיעים למהירויות של מעל 1200MB.
אתה יכול להשתמש בו ככונן עבודה ולהעביר בסוף ל NAS.
...

·

@spacedude
שקלת?
אל תרים ידיים בגלל הבילבולים על נפילות דיסקים אחרי 14^10 או 16^10
אתה יכול להרים את הקונפיגורציה שהצעתי ללא הוצאות מיותרות בתוך זמן קצר יחסית
ולבדוק בעצמך איך זה עובד.
אתה יכול גם לפרק דיסקים חיצוניים ולהכניס אותם לתוך המחשב הקיים (בפנים זה דיסק SATA רגיל).

שליחה #54 09/10/2018 19:34

לא קראתי את כל השרשור אבל אתן לך את שתי הסנט שלי

יש לי NAS עם 12 דיסקים של 4 טרה כל אחד מחוברים ב RAID 5

במשך חצי שנה האחרונה 2 דיסקים הפסיקו לעבוד כל אחד בהפרש של חדשיים אחד מהשני

כל פעם החלפתי דיסק אחד

החלפה של הדיסק הדפוק בדיסק חדש עבר בלי שום בעיות.

כאמור החלפתי פעמיים דיסקים

כך שאני די מרוצה מהתפקוד של ה NAS בחיבור של RAID 5

Amir64 · שליחה #55 09/10/2018 20:41

@molvy
כי בדיסקים עד 4TB הסיכוי לשגיאה עדיין לא גדול מידי.
כשמגיעים לדיסקים 6TB ויותר, הסיכוי לשגיאה בזמן rebuild עולה משמעותית.
לא כשל וודאי, אבל לא סיכוי שאפשר להתעלם ממנו.
לחלק מהאנשים rebuild יושלם בהצלחה, לחלק לא.

Nemesis · שליחה #56 09/10/2018 21:43

כאמור, הסבירות היא כנראה לא אקראית לחלוטין לשגיאת קריאה. זה לא מתיישב עם מה שקורה בפועל.
אגב, אם משתמשים למשל ב raidz ולא ב raid, שגיאת קריאה לא תגרום להפסקת הבניה של כל המערך, אלא מידע מסויים יושחת.
זה יכול להיות metadata קריטי שיכול לגרום להשחתה של volume שלם במערך (למרות שלרוב יש שני עותקים) או סתם קובץ אחד קטן שנדפק.

אם כבר מדברים על RAID6, תאורטית במקרה והבקר נתקל ב ure הוא אמור להשלים את את המידע מה parity הנוסף שקיים. אין סיבה לזרוק את הדיסק מהמערך בשל Ure כאשר יש parity נוסף. כך למעשה הסבירות לכשל ב raid 6 תלויה ב ure על אותו סקטור בדיוק ביותר מכונן אחד בזמן בניה מחדש של המערך. לחלופין נפילה של 2 כוננים ועוד ure.

זה בתאוריה. בפועל תלוי במימוש של הבקר, אבל זה יהיה הזוי. לחלוטין אם זה לא כך. ב raidz2 זה מתנהל כפי שאמרתי והסיכוי לכשל קטן מאוד.