NAS בסביבות 50 TB עצות

theone · שליחה #21 14/02/2011 16:20

תראה כאן:
http://lime-technology.com/forum/index.php?topic=7998.0
20 Drive Beast

סה"כ עלות חלקים בארה"ב (לא כולל כוננים) $900.

אתה יכול להתחיל עם כונן 1 ולעלות עד ל- 20 כוננים בגדלים שונים.
בעתיד הקרוב יהיה תמיכה בכונני 3TB ומעלה וגם אולי בשרידות P+Q (דומה ל- RAID6 אבל לא אותו דבר)

harari · שליחה #22 14/02/2011 16:34

הוא ציין שהוא לא מרוצה מהביצועים של unRAID.

theone · שליחה #23 14/02/2011 16:40

איזה מהירות הוא צריך בכתיבה? אפשר להשתמש בכונן CACHE ואז אין בעיה כזו זמנית עד לכתיבה הסופית למערך?
לאיזה שימוש זה יהיה שכתיבה של 30-40MBS לא מספיק?

The-Fox · שליחה #24 14/02/2011 17:12

yochanan כתב:עלו פה מלא רעיונות מצויינים אבל רובם לא בכיוון
אני מכוון לNAS והמארז זה הדבר האחרון שאני דואג לא (גג אני יבנה לבד מכמה מארזים שיש לי)
תאכלס איזה יתרון יש לי ברייד חומרה ולא תוכנה כשהתוכנה התפקיד שלה זה רק רייד ולא מערכת הפעלה
הרי לבקר רייד יש מעבד ותוכנה קטנה שעושה את החישובים והחלוקה
תחשבו על FREENAS לדוגמא
יש לי מעבד שברור שהוא הרבה יותר חזק מהמעבד של הבקר
ויש לי תוכנה שמשתמשת במעבד כדי לממש את הרייד
אז למה שרייד תוכנה יהיה פחות טוב?
כי התוכנה לא כל כך יציבה
בשביל זה אני מעדיף לינוקס / יוניקס
ואני מחפש משהו עם אופציות להוספת דיסקים בלי לאתחל את המערך
ולסיכום הבעיה הגדולה שלי זו התוכנה..
ולמי ששאל
אני מנהל רשתות עצמאי ככה שיש לי מלא גיבויים של לקוחות אצלי (גיבויים ללא תשלום מצד הלקוחות (את אלא אני שם בשרת שיושב בחוות שרתים עם גיבוי כפול ביום) ככה שכל לקוח שהיה אי פעם אצלי יש לי את כל מה שהוא צריך וכשהם חוזרים אני יכול לתת להם שירות מלא)
ובנוסף אני אוסף כמוייות מטורפות של סרטים /סדרות /שירים באיכות גבוהה כך 50 TB זה לא כזה הרבה
...

היתרונות ברייד חומרה על פני רייד תוכנה הם בעיקר:
1. ביצועים גבוהים.
2. חוסר תלות בתוכנה/מערכת הפעלה/המערכת שעליה מותקן המערך.
3. גמישות ופיצ'רים של הגדרות וניהול המערך.

לגבי 1.
בקר RAID מבוסס חומרה מכיל (בד"כ) מעבד RAID ייעודי וזיכרון (RAM) יחסית מהירים על מנת לבצע את החישובים שנדרשים כחלק מהמערך/רמת RAID שאתה עובד איתה.
זה נכון שהמעבד שלך אולי מהיר יותר על הנייר, אבל מדובר במעבד General Purpose והיעילות שלו בחישובי רייד נמוכה משמעותית ביחס למעבד RAID ייעודי, בדומה למה ש nir11 ציין עם הכרטיסי מסך.
בשורה התחתונה, הביצועים של בקר RAID חומרתי משמעותית יותר גבוהים מ RAID תוכנתי, במיוחד כשמדובר בסוגי RAID "כבדים" כגון RAID 5 ו 6 וכו.

לגבי 2.
כשאתה מריץ פתרון RAID מבוסס תוכנה, אתה כבול לאותה תוכנה שמנהלת את המערך, בין אם זאת תוכנה כמו Unraid או המערכת הפעלה עצמה.
נניח ואתה רוצה להריץ 2 מערכות הפעלה שונות על אותה מערכת ורוצה לקבל גישה למערך שלך מכל אחת מהמערכות, אני לא בטוח שזה אפשרי בכלל בכל המקרים.
כמו כן, אם תרצה לשדרג מערכת הפעלה, לפרמט וכו, זה בהרבה מהמקרים מאד בעייתי מחוסר תמיכה קדימה/אחורה/שמירה על המערך או מערכות הפעלה שונות לחלוטין כמו Linux/Windows.
במידה ואתה רוצה להחליף מחשב/מערכת, עם RAID חומרתי זה קל מאד, ולא נדרשת ממך שום פעולה מלבד אולי התקנת דרייברים, ברייד תוכנה אתה יכול להיות מוגבל בקטעים האלה ולאבד את המערך.

לגבי 3. אפשרויות של הרחבת מערך Online (תוך כדי עבודה), בניית/איתחול מערך, עבודה במצב Degraded וכו הם לא פיצ'רים שאתה תמצא בכל רייד תוכנה והם בטח לא יעבדו בצורה טובה כמו ב RAID מבוסס חומרה.
בנוסף, יכולות ניהול והגדרות של מערך ב RAID מבוסס חומרה בד"כ עשירות מאד ומכילות הרבה יכולות למעקב, Hot Spare ועוד הרבה פיצ'רים שמקלים על העבודה.

לסיכום, היתרונות של RAID מבוסס חומרה הם גדולים מאד ביחס ל RAID תוכנה והחסרון העיקרי בכל הסיפור זה העלות שיכולה להיות גבוהה מאד לבקרים שמגיעים גם ל 1000-1500$ לבקר עם 24 חיבורים.

ולכן, להריץ מערך מטורף כזה של 50TB על תוכנה זה פשוט התאבדות (וגם טמטום).
אם אתה הולך לשפוך כל כך הרבה כסף על איחסון (50TB לא הולך להיות זול), אז תעשה לעצמך טובה גדולה ותשקיע עוד כמה גרושים בבקר RAID כמו שצריך.

theone · שליחה #25 14/02/2011 17:21

השאלות הראשונות והכי חשובות שצריך לשאול:

1. כמה כסף אתה מוכן להשקיע?
2. מה אתה רוצה לעשות עם המערך הזה? הזרמת מדיה? דברים אחרים?

לפי תשובות לשאלות אלו ניתן למצוא פתרון מתאים:

1. RAID חומרה.
2. RAID תוכנה (לסוגיו).

אנחנו סתם מבזבזים זמן בלי תשובות אלו.

dima_vy · שליחה #26 14/02/2011 17:28

יכול להיות שתעוד כאן יהיה מעניין:
http://blog.backblaze.com/2009/09/01/pe ... d-storage/

pargit · שליחה #27 14/02/2011 17:31

iakovl כתב:סתם הצעה אחרת... קח את הפרויקט הבא בתור דוגמא (מטורף בכמה רמות)
http://hardforum.com/showthread.php?t=1512972
...

זה ממש מטורף. הבחור התעסק שם עם שינוי ג'מפרים שלא מולחמים וכו.. ממש פסיכי

kaplaey2 · שליחה #28 14/02/2011 17:31

תקנה מערכת של isilon. זה NAS שאתה יכול לגדול כל פעם במגירה של 16 דיסקים (כל מגירה 10TB), עושה הכל כולל ISCSI שייתן לך אופצית SAN, המוןם רולים לניהול קבצים וכו. (אני בדיוק בודק אחד כזאת בעבודה..)

בכל מקרה, פחות מ 30000$ לא תצליח למצוא...
...

נו Pargit ואתה מרוצה מהפיתרון? חתיכת תותח אה?

בקשר ללא תמצא מתחת ל 30K, לא הכי מדויק.
אל לנו לשכוח שחברת EMC היא גם הבעלים של IOMEGA
ויש פתרונות גם בתחום הנ"ל - מספיק חיפוש קצר באתר של IOMEGA

kaplaey2 · שליחה #29 14/02/2011 19:21

עלו פה מלא רעיונות מצויינים אבל רובם לא בכיוון
אני מכוון לNAS והמארז זה הדבר האחרון שאני דואג לא (גג אני יבנה לבד מכמה מארזים שיש לי)
תאכלס איזה יתרון יש לי ברייד חומרה ולא תוכנה כשהתוכנה התפקיד שלה זה רק רייד ולא מערכת הפעלה
הרי לבקר רייד יש מעבד ותוכנה קטנה שעושה את החישובים והחלוקה
תחשבו על FREENAS לדוגמא
יש לי מעבד שברור שהוא הרבה יותר חזק מהמעבד של הבקר
ויש לי תוכנה שמשתמשת במעבד כדי לממש את הרייד
אז למה שרייד תוכנה יהיה פחות טוב?
כי התוכנה לא כל כך יציבה
בשביל זה אני מעדיף לינוקס / יוניקס
ואני מחפש משהו עם אופציות להוספת דיסקים בלי לאתחל את המערך
ולסיכום הבעיה הגדולה שלי זו התוכנה..
...

בוא נעשה קצת סדר...

ייתרון RAID חומרה לעומת תוכנה יכול להתבטא בהמון דברים כגון BANDWIDTH יותר גדול, אופציה לשימוש מסיבי ב MEMORY של החומרה לכתיבות וקריאות (READ WRITE CACHE) בדפוסים שמתאימים מאד למה שתיארת (סרטים ועוד...) כלומר כתיבות קריאות SEQUENTIAL כלומר רציפות.
עוד יתרונות יתבטאו בשרידות יותר גבוהה במקרה של כישלון חומרתי (N+1) כלומר ספקים כפולים בקרים כפולים ועוד... אני יכול להמשיך עד מחר אבל את העיקרון כבר הבנת.

למה מעבד יותר ואו פחות חזק? פשוט מאד, אם נניח לרגע את הדיסקים בצד, כשמדובר בעיבוד נתונים אנו מודדים את כל העסק בפעולות IO לשניה, מעבד יותר חזק = יותר פעולות IO בשניה, מעבד יותר חלש = פחות פעולות IO בשניה, המשוואה פשוטה, לאחר מכן זה פונקציה של כמות ה SPINDLES הפיזיים (דיסקים) שיש לך במערך ה RAID שלך, בגדול כמה שיותר דיסקים פיזיים ככה יותר IO בשניה שאתה מסוגל לספוג ואו לייצר (קריאה ואו כתיבה)

סוג ההגנה?
רוצה RAID 1\0 - תרוויח כתיבות וקריאות מהירות מאד, כל המידע שלך הוא בעצם MIRRORED על זוגות דיסקים שונים, בין תוכנה לחומרה ההבדל הגדול הוא בשימוש ב CACHE למיטוב הקריאות והכתיבות ואו קריאות רנדומליות לחלוטין.

רוצה RAID 5 - בתצורת RAID תוכנתית דיסק הזוגיות שלך צריך לתעד כל כתיבה לכן ה BANDWIDTH של אותו הדיסק הוא ה BANDWIDTH של כל מערך ה RAID שלך (MB לשניה), כאשר בחומרה ה PARITY כותב את עצמו חתיכות חתיכות על כל דיסק שמשתתף במערך Spanning Parity ולכן ה BANDWIDTH הלוגי הוא ה MB לשניה שמייצרים סה"כ הדיסקים שמשתתפים במערך בניקוי מה שמגדירים ה Penalty לכתיבות ה PARITY

על RAID6 בתוכנה אני אפילו לא ארחיב, פשוט לא אפקטיבי לקבל ביצועים סבירים של MB לשניה בתמיכה תוכנתית, למרות שבחומרה יש כמה חברות איחסון שעשו מזה קריירה.

אז למה שרייד תוכנה יהיה פחות טוב? מכיוון שברייד תוכנה חלק מהפעולות הנ"ל המוזכרות למעלה נופלות על התוכנה עצמה, מה שמאט את מערך ה RAID בצורה משמעותית, אפילו אם משתמשים במעבד חזק, ללא סיוע חומרה העסק פשוט יזוז יותר לאט, כמה אתה שואל? ואני עונה כמו שכל מהנדס יענה לך IT DEPENDS!

לסיכום RAID תוכנה הוא לא דבר רע בהכרח, אבל ל 50TB שאתה מחפש הוא פשוט רעיון גרוע!

תאר לך למשל כמה זמן ייקח לך לחשב PARITY (זוגיות) במערך כזה ללא סיוע חומרה בקריסה של דיסק?

כי התוכנה לא כל כך יציבה
בשביל זה אני מעדיף לינוקס / יוניקס
...

סתם לסבר את האוזן, לפחות אחת ממערכות האיחסון המובילות בשוק, אלו המצהירות על 5 תשיעיות (99999) של שרידות, מבוססות על WINDOWS אומנם לא אותו ה WINDOWS שאתה מכיר אלא גרסה מופשטת שלו ללא כל RPC SERVICE הנה הלך לו המיתוס של לינוקס יוניקס יותר יציב

ואני מחפש משהו עם אופציות להוספת דיסקים בלי לאתחל את המערך
...

הלכה האופציה להשמש ב FREENAS - הרחבה דינמית לא נתמכת צריך להרוס את כל ה RAID ולבנות מחדש בתוספת הדיסקים שרצית להוסיף\להרחיב

ולסיכום הבעיה הגדולה שלי זו התוכנה..
...

צודק חביבי צודק! כמו שכתבתי ליישם 50TB על פיתרון תוכנתי לא פונקציונאלי בעליל...

nir11 · שליחה #30 15/02/2011 10:25

אני מסכים עם כל מי שכתב שפתרון תוכנתי לנפח כזה הוא רעיון לא טוב.

yochanan · שליחה #31 17/02/2011 11:16

קודם כל תודה על מגוון התגובות המפורטות
לאחר מחשבה מעמיקה אני ילך על בקר יעודי
ולהלן השאלות..
מה האופציות לחבר מספר בקרים שיעבדו תחת מערך אחד (הכיוון זה רייד 6)
איזו מערכת הפעלה קיימת שלא תעמיס על השרת ותתן לי תמיכה בתוכנות שיתוף קבצים ובשרת FTP
אשמח לשמוע המלצות על בקרים מתאימים וזולים
לגבי תקציב בסביבות 10K למערך התחלתי של 20TB שיגדל בהתאם לתקציב

yochanan · שליחה #32 17/02/2011 12:21

מצאתי את הכרטיס הזה מה דעתכם?

http://h30094.www3.hp.com/product.asp?m ... /Puffer/KC

ויש גם את זה

http://www.pricebat.ca/CHENBRO-CHENBRO- ... u_1433796/

The-Fox · שליחה #33 17/02/2011 22:58

2 הכרטיסים שנתת זה SAS Expanders, זה לא בקרי RAID.
אין היום הרבה בקרים שתומכים במערכים ע"ג יותר מבקר אחד, ובכל מקרה ממליץ לך ללכת על בקר יחיד של 24 חיבורים, כמו ה Areca 1880:
http://cgi.ebay.com/NEW-Areca-ARC-1880i ... 2427wt_905

מדובר בחברה מקצועית מאד והיא מהשורה הראשונה של החברות בתחום הבקרי RAID.
הבקר הזה למשל תומך במערך ע"ג יותר מבקר אחד.
היתרונות שלו בגדול: 24 חיבורים פנימיים+4 חיצוניים, תמיכה ב SAS/SATA 6GB/s ודיסקים מעל 2TB, תמיכה ב RAID6 וביצועים גבוהים מאד.

בעיקרון בקר כזה זה 4500~ ש"ח, 10 כוננים של 2TB (כמו ה Samsung F4EG 2TB) זה עוד איזה 4500 ש"ח, זה משאיר לך עוד 1000 ש"ח לשאר הדברים.
יש בקרים קצת יותר זולים ב 100-200$ אבל הם ממש לא מצדיקים את עצמם כי הם חלשים יותר ולא תומכים ב SAS/SATA 6GB/s.

esloan · שליחה #34 18/02/2011 0:06

kaplaey2 כתב: רוצה RAID 5 - בתצורת RAID תוכנתית דיסק הזוגיות שלך צריך לתעד כל כתיבה לכן ה BANDWIDTH של אותו הדיסק הוא ה BANDWIDTH של כל מערך ה RAID שלך (MB לשניה), כאשר בחומרה ה PARITY כותב את עצמו חתיכות חתיכות על כל דיסק שמשתתף במערך Spanning Parity ולכן ה BANDWIDTH הלוגי הוא ה MB לשניה שמייצרים סה"כ הדיסקים שמשתתפים במערך בניקוי מה שמגדירים ה Penalty לכתיבות ה PARITY
...

זה פשוט לא נכון. במערך RAID5 הפאריטי מרוח על כל הדיסקים ולכן אין בעיה של דיסק שהוא צוואר בקבוק. מה שאתה מתאר מתקיים ב RAID4 וללא קשר האם מיושם בחומרה או תוכנה.

yochanan · שליחה #35 18/02/2011 11:25

לא הבנתי איך הבחור הזה
http://hardforum.com/showthread.php?t=1512972
חיבר את כל ההרדיסקים שלו?
הוא קנה בקר SAS והרדיסקים SATA
איך זה הולך?

iakovl · שליחה #36 18/02/2011 11:51

בצורה פשוטה, SAS תואם לSATA... לי בבקר יש 2 חיבורי SAS שעם מתאם הופכים ל 4 חיבורי SATA כל אחד

בפרויקט שלו הוא השתמש בבקר יחד עם "מפצלים" על מנת להשיג כמות חיבורים גדולה כל כך, לך אין בזה הרבה שימוש

בסופו של דבר הוא גם זנח את נושא הRAID ועבר לFLEXRAID עם המערכת שלו, בדומה למה שאני מתכנן לעשות עם שלי בעתיד הקרוב
מדובר בשכבת תוכנה ולא רייד אמיתי בצורה דומה יחסית לUNRAID ו RAID4 רק שכרגע מדובר רק בSNAPSHOT RAID ולא רייד חי (עובדים על זה)

The-Fox · שליחה #37 18/02/2011 18:57

ד"א, עוד פתרון זול יותר ולא פחות טוב שחשבתי עליו:
בקר RAID חזק עם 4 חיבורים כמו ה LSI 9260-4i שעולה כ 350$ + HP SAS Expander שעולה כ 300$ ונותן 32 חיבורים נוספים.
סה"כ נזק של 650$~ ואתה מקבל המון חיבורים בלי גריעה מהביצועים, הבקר הנ"ל מסוגל להגיע לקצב תעבורה של כמעט 3GB/S.

כל המידע שאתה צריך לדעת על ה HP SAS Expander:
http://hardforum.com/showthread.php?t=1484614

מידע לגבי ה LSI 9260-4i:
http://www.lsi.com/channel/products/rai ... index.html

singera · שליחה #38 21/02/2011 14:45

מוכרים בDX כרטיס LSI 3081 שתמך ע"י האקספנדרים של HP
ובמחיר שפוי אתה יכול להרים מערך של עד 64 כוננים.

אם הייתי בונה כזו מערכת הייתי רוכש 2 מארזים כאלו:
http://www.newegg.com/Product/Product.a ... 6811219038

במארז המשני הייתי שם לוח אם מעפן אפילו ללא מעבד רק כדי להפעיל את הEXPANDER שמותקן בו ובעזרת קו SAS 8088 הייתי מתחבר למארז הראשי שם יש לוח "חי" + בקר + EXPANDER למארז עצמו

kaplaey2 · שליחה #39 28/02/2011 22:25

רוצה RAID 5 - בתצורת RAID תוכנתית דיסק הזוגיות שלך צריך לתעד כל כתיבה לכן ה BANDWIDTH של אותו הדיסק הוא ה BANDWIDTH של כל מערך ה RAID שלך (MB לשניה), כאשר בחומרה ה PARITY כותב את עצמו חתיכות חתיכות על כל דיסק שמשתתף במערך Spanning Parity ולכן ה BANDWIDTH הלוגי הוא ה MB לשניה שמייצרים סה"כ הדיסקים שמשתתפים במערך בניקוי מה שמגדירים ה Penalty לכתיבות ה PARITY

זה פשוט לא נכון. במערך RAID5 הפאריטי מרוח על כל הדיסקים ולכן אין בעיה של דיסק שהוא צוואר בקבוק. מה שאתה מתאר מתקיים ב RAID4 וללא קשר האם מיושם בחומרה או תוכנה.
...

שים לב בחומרה כן! בתוכנה לא! וכל מי שאומר לך אחרת משקר!

nir11 · שליחה #40 01/03/2011 15:31

תוכל להסביר? כמה שאני הבנתי ב RAID5 ה PAIRITY מפוזר על כל הדיסקים שמשתתפים במערך ולא ברור לי איך זה קשור למימוש (תוכנה או חומרה)