תגובות לכתבה: בניית מאגרשת DIY ושימוש ב-unRAID - לא מסובך כמו שחשבתם

MorHimi · שליחה #121 07/02/2011 23:51

אתה יכול לפרט מאיפה קנית את הציוד? אפשר בהודעה פרטית אם זה נוגד את חוקי הפורום.

תודה...

nir11 · שליחה #122 08/02/2011 11:22

הנה מארז SAN עם 84T בקופסה אחת של 4U.
http://www.nexsan.com/satabeast.php
המחיר של הדבר הזה כולל הדיסקים (יכולים להיות SATA או SAS) הוא להערכתי לפחות 20000 דולר. הוא תומך ב ISCSI לכן תוכלו פשוט לחבר אותו לרשת, אבל רק למחשבים, לא לסטרימרים, שלמיטב ידיעתי לא יודעים לעבוד ב ISCSI.

theone · שליחה #123 08/02/2011 13:12

nir11 כתב:הנה מארז SAN עם 84T בקופסה אחת של 4U.
http://www.nexsan.com/satabeast.php
המחיר של הדבר הזה כולל הדיסקים (יכולים להיות SATA או SAS) הוא להערכתי לפחות 20000 דולר. הוא תומך ב ISCSI לכן תוכלו פשוט לחבר אותו לרשת, אבל רק למחשבים, לא לסטרימרים, שלמיטב ידיעתי לא יודעים לעבוד ב ISCSI.
...

תראה את זה:
http://blog.backblaze.com/2009/09/01/pe ... d-storage/

45 כוננים (כלומר יכול להגיע נכון להיום ל- 90TB (לא כולל כוננים 2.5 ו- 3 TB שקצת בעייתיים).

המחיר - פחות מ- $8000 !!!

כולל רשימת חלקים אם אתה רוצה לבנות לבד.

nir11 · שליחה #124 08/02/2011 13:59

ועדיין, מדובר על פתרון שהוא לגמרי מחוץ להישג ידו של המשתמש הבייתי. זה סכום עתק, אני לא רואה מישהו משקיע בבית שלו סכום כזה.

theone · שליחה #125 08/02/2011 14:06

nir11 כתב:ועדיין, מדובר על פתרון שהוא לגמרי מחוץ להישג ידו של המשתמש הבייתי. זה סכום עתק, אני לא רואה מישהו משקיע בבית שלו סכום כזה.
...

אם מאיזה שהיא סיבה משהו צריך אחסון של 90TB בבית אז המחיר מאד משתלם. בסך הכל $89 ל- 1TB כולל הכל.

theone · שליחה #126 08/02/2011 22:06

theone כתב:עברתי שוב על התוצאות שלך מהמאמר וראיתי שהמהירות הגבוהה היא ב- 4K QD32. שאר התוצאות כמעט זהות לשלי (במקרה של כונן זוגיות ירוק).
מתוך אתר CRYSTALDISKMARK:
* All : All Test (Seq, 512K, 4K, 4K QD32)
* Seq : Sequential Read/Write Test (Block Size = 1024KB)
* 512K : Random Read/Write Test (Block Size = 512KB)
* 4K : Random Read/Write Test (Block Size = 4KB)
* 4K QD32 : Random Read/Write Test (Block Size = 4KB, Queue Depth = 32) for NCQ&AHCI

זהו מקרה מיוחד - צריך להבין את המשמעות שלו? סוג כונן? הגדרות ב- BIOS?
...

אני מצטט את עצמי קצת

יש ב- UNRAID הגדרה של NCQ תחת unRAID/settings/Force NCQ disabled, האם אצלך זה YES/NO?
ב- WIKI רשום שמומלץ לשים YES, כלומר לבטל את התמיכה ב- NCQ.

אם אצלך זה NO זה מסביר את המהירות הגבוהה שיש לך בבדיקה הרביעית (המהירויות האחרות נורמליות).
חפש NCQ בעמוד זה: http://lime-technology.com/wiki/index.p ... n_Tutorial

shlomiassaf · שליחה #127 08/02/2011 23:30

theone כתב:
theone כתב:עברתי שוב על התוצאות שלך מהמאמר וראיתי שהמהירות הגבוהה היא ב- 4K QD32. שאר התוצאות כמעט זהות לשלי (במקרה של כונן זוגיות ירוק).
מתוך אתר CRYSTALDISKMARK:
* All : All Test (Seq, 512K, 4K, 4K QD32)
* Seq : Sequential Read/Write Test (Block Size = 1024KB)
* 512K : Random Read/Write Test (Block Size = 512KB)
* 4K : Random Read/Write Test (Block Size = 4KB)
* 4K QD32 : Random Read/Write Test (Block Size = 4KB, Queue Depth = 32) for NCQ&AHCI

זהו מקרה מיוחד - צריך להבין את המשמעות שלו? סוג כונן? הגדרות ב- BIOS?
...
אני מצטט את עצמי קצת

יש ב- UNRAID הגדרה של NCQ תחת unRAID/settings/Force NCQ disabled, האם אצלך זה YES/NO?
ב- WIKI רשום שמומלץ לשים YES, כלומר לבטל את התמיכה ב- NCQ.

אם אצלך זה NO זה מסביר את המהירות הגבוהה שיש לך בבדיקה הרביעית (המהירויות האחרות נורמליות).
חפש NCQ בעמוד זה: http://lime-technology.com/wiki/index.p ... n_Tutorial
...

מגיע כ-YES בדיפולט ומעולם לא שיניתי את זה...

מעבר לזה לא כ"כ הבנתי אותך
אתה טוען שהמהירות המקסימלית בהעתקה היא 50MB כפי שמדווח בפורום
(זה כמובן לא בבדיקות 4K)

אני הוצאתי 65MB פנימית ו80MB ברשת...
אז איך בדיוק?

theone · שליחה #128 09/02/2011 0:06

shlomiassaf כתב:מגיע כ-YES בדיפולט ומעולם לא שיניתי את זה...

מעבר לזה לא כ"כ הבנתי אותך
אתה טוען שהמהירות המקסימלית בהעתקה היא 50MB כפי שמדווח בפורום
(זה כמובן לא בבדיקות 4K)

אני הוצאתי 65MB פנימית ו80MB ברשת...
אז איך בדיוק?
...

לפי התוצאות שלך עם CrystalDiskMark עם כונן זוגיות ירוק, בקריאה יש לך 55.42 ובכתיבה 32.77.
דומה לשלי בתוכנה זו.

האם אתה יכול לפרסם את התוכנה שנבנת במיוחד (רק עכשיו שמתי לב שאני לא מיושר עם מה שכתבת בכתבה), אשר מודדת מהירות ממוצעת של 10 קריאות, כדי שהבדיקות יהיו עם אותם כלים?

shlomiassaf כתב:ותוכנה שנבנתה במיוחד ובעצם מבצעת העתקה של הקובץ כמו העתקה רגילה בסייר של חלונות אך מבצעת זאת 10 פעמים ומודדת את הממוצע המשוקלל לפי משך הזמן שעבר
...

shlomiassaf · שליחה #129 10/02/2011 11:18

אני לא בטוח ששמרתי אותה
אני צריך לבדוק

יכול להיות שהווינדוס כ"כ מזייף שהוא מראה לי 80MB שבפועל זה 55?

כמה אתה מקבל שאתה עושה העתקה של קובץ נגיד 5-6 גיגה בווינדוס?

theone · שליחה #130 10/02/2011 13:22

shlomiassaf כתב:אני לא בטוח ששמרתי אותה
אני צריך לבדוק

יכול להיות שהווינדוס כ"כ מזייף שהוא מראה לי 80MB שבפועל זה 55?

כמה אתה מקבל שאתה עושה העתקה של קובץ נגיד 5-6 גיגה בווינדוס?
...

אם אני מעתיק קובץ 8GB מ- UNRAID ל- WINDOWS ומודד זמן (שעון) ומחלק גודל בזמן (שניות) אני מקבל בערך 56MB כמו ש- WINDOWS מראה בחלון ההעתקה.

תנסה העתקה רגילה ותמדוד זמן ותשווה מלה ש- WINDOWS מראה בחלון ההעתקה.

לדעתי הוא די מדוייק ועושה ממוצע רץ לאורך העתקה.

shlomiassaf · שליחה #131 13/02/2011 23:38

העתקתי 6,784,88KB או בקיצור 6.6 גיגה בערך בדקה ו-36 שניות שזה קצב של 71MBS
וקובץ של 4,561,531KB ב-דקה ושניה מה שנותן קצב של 74.5 מגה לשניה.

הדגשה, שוב פעם, ההעתקה בוצעה מכונן רשת שיושב בUNRAID, הכונן הזה חלק מהמערך והוא כונן ירוק.
ההעתקה בוצעה לכונן סיגייט סטנדרטי בן שנתיים וחצי.

tzotz · שליחה #132 14/02/2011 7:49

שלום חברים,

המספרים האלה מאוד מעניינים. אני איני מצליח לקבל מספרים דומים בהעתקה מ-unRaid ל-Win 7 64bit ברשת שהיא Gigabit לכל האורך המקסימום שראיתי במדידה דומה זה כ-40MB/s

אפשר לקבל נתונים נוספים שיעזרו למקד את צואר הבקבוק?

האם הקובץ נמצא ב-disk share? User share? האם התשתית היא samba? NFS? כמה זכרון יש ב-unRaid? האם ההעתקה מתבצעת באמצעות Windows Explorer או בדרך אחרת?

נסיתי להוציא את הכתיבה לדיסק בצד של windows מהמשוואה ע"י התקנת ramdrive של 3G והעתקה אליו - וקצב העתקה היה דומה.

???
הוסף מאוחר יותר:

אחד הגורמים שמשפיע הוא סוג הדיסק - קיבלתי קצבים של 55MB/s בקריאה מדיסק 1T ירוק של WD ו-38MB/s בקריאה דיסק ישן יותר 320G גם הוא של WD. כשהרצתי בדיקת מהירות על שניהם (hdparm) התוצאות היו שונות בפקטור של 30% (דיסק מהיר לעומת איטי).

אבל כל זה עדיין לא מגיע ל- 80MB/s. לכן רצוי גם לציין פרטי הדיסק שממנו נעשתה הקריאה.

תודה

jonspieg · שליחה #133 14/02/2011 19:46

ראשית, הייתי רוצה להודות לשלומי שהרבה בזכות המאמר שלו התקנתי UNRAID וכרגע אין מרוצה ממני. אז תודה!

שנית, בקשר למהירוית הקריאה מהשרת - גם אני מגיע למהירות ממוצעת של 80MBPS ואני מעתיק מדיסק ירוק 1.5TB של WD (דרך user share) לכונן SSD שיושב במחשב האישי שלי מעל רשת GIGA.

מה שעדיין מטריד אותי זה מהירות ההעתקה/העברה בין תיקיות בתוך השרת עצמו (למשל בין תיקיית ההורדות לבין תיקיית היעד) אני מגיע למקסימום של 2MBPS... עלוב, אבל יחסית זניח.

shlomiassaf · שליחה #134 14/02/2011 21:32

jonspieg כתב:ראשית, הייתי רוצה להודות לשלומי שהרבה בזכות המאמר שלו התקנתי UNRAID וכרגע אין מרוצה ממני. אז תודה!

שנית, בקשר למהירוית הקריאה מהשרת - גם אני מגיע למהירות ממוצעת של 80MBPS ואני מעתיק מדיסק ירוק 1.5TB של WD (דרך user share) לכונן SSD שיושב במחשב האישי שלי מעל רשת GIGA.

מה שעדיין מטריד אותי זה מהירות ההעתקה/העברה בין תיקיות בתוך השרת עצמו (למשל בין תיקיית ההורדות לבין תיקיית היעד) אני מגיע למקסימום של 2MBPS... עלוב, אבל יחסית זניח.
...

ראשית שמח שעזרתי.

חייב לציין כמה תופעות
* לאחרונה הקצב ירד ל75, מצד שני לא עשיתי אתחול הרבה זמן אבל לא בטוח שאתחול יעזור.
* בהעתקה מ USER SHARE לפעמים אני מקבל 55 לפעמים 75, בהעתקה מקישור ישיר תמיד 75.
(קישור ישיר, כלומר הדיסק עצמו מחובר לרשת)
אני מניח שהעניין יטופל בגרסאות בעתיד.
* כל ההעתקות בוצעו מכונן 2TB ירוק.

נתון מעניין שבדקתי בהעתקות בUNRAID ובמחשבים רגילים.
כונני 2TB שחורים של WD יותר מהירים מכונני 1TB שחורים של WD (גם שהם בני אותו תאריך לידה)
אותו כנל לגבי כונני 2TB ירוקים מול 1TB ירוק.

מוזר אבל אמיתי

מישהו שמבין יכול לשפוך אור בנושא?

לגבי העתקה בתוך השרת עצמו, 2MB???? מוזר ביותר
אני מעתיק ב MC כפי שניתן לראות בתמונה שצרפתי כמה הודעות קודם בקצב של 65MBS...

shlomiassaf · שליחה #135 14/02/2011 21:35

tzotz כתב:שלום חברים,

המספרים האלה מאוד מעניינים. אני איני מצליח לקבל מספרים דומים בהעתקה מ-unRaid ל-Win 7 64bit ברשת שהיא Gigabit לכל האורך המקסימום שראיתי במדידה דומה זה כ-40MB/s

אפשר לקבל נתונים נוספים שיעזרו למקד את צואר הבקבוק?

האם הקובץ נמצא ב-disk share? User share? האם התשתית היא samba? NFS? כמה זכרון יש ב-unRaid? האם ההעתקה מתבצעת באמצעות Windows Explorer או בדרך אחרת?

נסיתי להוציא את הכתיבה לדיסק בצד של windows מהמשוואה ע"י התקנת ramdrive של 3G והעתקה אליו - וקצב העתקה היה דומה.

???
הוסף מאוחר יותר:

אחד הגורמים שמשפיע הוא סוג הדיסק - קיבלתי קצבים של 55MB/s בקריאה מדיסק 1T ירוק של WD ו-38MB/s בקריאה דיסק ישן יותר 320G גם הוא של WD. כשהרצתי בדיקת מהירות על שניהם (hdparm) התוצאות היו שונות בפקטור של 30% (דיסק מהיר לעומת איטי).

אבל כל זה עדיין לא מגיע ל- 80MB/s. לכן רצוי גם לציין פרטי הדיסק שממנו נעשתה הקריאה.

תודה
...

היי
תקרא את הפוסט הקודם חלק ממנו עונה על השאלות.

הזכרון פקטור מאוד חשוב, יש לי 2GB.
הגדרתי SWAP בגודל של 20GB שיושב על כונן WD שחור (למרותשזה לא משפיע בעתקה)
התשתית היא SAMBA...
NFS אמור לשפר.. לא יודע כמה אבל אמור...

כפי שרשום, יש הבדל בין העתקה מ USER SHARES מאשר העתקה מDISK SHARE שזה ישיר מהדיסק.
לא מובן לי ההבדל הזה אבל הוא קיים והוא לא עקבי, פעם יש אותו פעם אין.

ברור שלדיסק יש השפעה מכריעה בקצב ההעתקה...

tzotz · שליחה #136 15/02/2011 6:36

תודה,

אנסה לשנות מספר פרמטרים ולבדוק שנית. הזכרון הוא הפרובלמטי ביותר משום שאצלי מותקן רק 1G.

theone · שליחה #137 29/05/2011 21:33

השבוע התקנתי על ה- UNRAID שלי VIRTUALBOX SERVER ועליו התקנתי VIRTUAL MACHINE של WINDOWS 7.

כך יש לי למעשה UNRAID שרץ עליו מערכת וירטואלית של WINDOWS, אשר ניתן לגשת אליה דרך REMOTE DESKTOP או LOGMEIN או כל תוכנת שליטה מרחוק.
מערכת ה- WINDOWS מקבלת IP משלה ובעצם היא כאילו מחשב נוסף ברשת אשר יכול לגשת לתיקיות השיתופיות של UNRAID דרך הרשת.

אני יכול להתקין אליה (טרם עשיתי זאת) כל אפליקציה של WINDOWS בלי להסתבך עם LINUX ולהריץ אותם ברקע, כמו:
SQUEEZEBOX
UTORRENT
YAMJ
EMULE

sufa1998 · שליחה #138 29/08/2011 1:50

שלום רב,

אני חדש פה ואין לי ידע רב כמו לחברה שפה, אבל אני מעוניין ללמוד....
קראתי את הכתבה ואני אנסה לבנות NAS, רק דבר אחד לא מסתדר לי ואני צריך הסבר...
שטח כונני האיחסון שבכתבה הוא 4GB ושטח כונן הזוגיות הוא רק 2GB.... זה לא בעייתי???

shlomiassaf · שליחה #139 29/08/2011 1:57

קודם כל ברוך הבא לפורום.

שיהיה בהצלחה.

ראשית מדובר ב-4 ו-2 TB.

מעבר לזה בשביל להסביר בקצרה על הזוגיות נתחיל ביחידת מידה הכי קטנה - ביט - שזה אומר או 0 או 1.

נניח שיש לנו 3 כוננים בגודל 2TB כל אחד ואנחנו כותבים 2 BIT אליהם, כמובן שאחד הכוננים הוא זוגיות.

אם 2 הביטים הם 0 אנחנו נשלח לשני הכוננים 0.
נעשה 0 + 0 שזה יוצא 0 ונקבל בעצם מספר זוגי ולכן נרשום בכונן הזוגיות 0.

אם אחד הכוננים ילך נשאר עם כונן אחד שיש בו הספרה 0 וכונן אחד (זוגיות) שאומר שצריך להיות סה"כ זוגי.

0 + משהו צריך להיות שווה לזוגי, מכיוון שהאופציות הם 0 או 1 אנחנו יודעים שצריך להשלים 0 לכונן שנהרס

קח את אותה דוגמא ותעשה אותה על 10 כוננים + כונן זוגיות אחד שתמיד רק כונן אחד נהרס ותראה שהגודל לא משנה.

sufa1998 · שליחה #140 29/08/2011 2:05

מצטער, לא ירדתי לסוף דעתך

לא יכול להיות שהגודל לא משנה כי אז היו משתמשים בכונני זוגיות בנפח הכי קטן שיש....
זה מה-WIKI:
IMPORTANT: A requirement of the unRAID system is that the capacity of the parity disk needs to be as large or larger than the capacity of the largest data disk.

אני לא מתווכח ש-2TB מספיקים, אני פשוט לא מבין את ההגיון...
אם יש לי 10 כונני איחסון של 2TB כל אחד - סה"כ 20TB איחסון, עדיין כונן הזוגיות יהיה של 2TB???????