כאן אני אפרט יותר על המכשולים שהיו לי בדרך, כיוונים שלא עבדו והגדרות ZFS.
"כל הכוכבים צריכים להסתדר" כדי שיהיה ניתן לנצל את כל המהירות.
TL;DR:
- נקודת המוצא: חשבתי ש-ZFS והרבה RAM יתנו את המהירות המקסימלית "ישר מהקופסה", אבל גיליתי ש-SMB מוגבל לליבה אחת של המעבד ויוצר צוואר בקבוק.
- שינוי SMB להיות אסינכרוני: צריך היה לשנות את ההגדרות SMB בשרת שיקבלו את המידע בSMB בצורה אסינכרונית כדי שהוא יגיע לZFS RAM Cache.
- הניסיון עם RSS: הגדרתי SMB Multichannel כדי לנצל כמה ליבות במקביל. לקח זמן למצוא את הסינטקס המדויק להגדרות השרת כדי שזה יעבוד על כרטיס רשת יחיד.
- התאמות בווינדוס: כדי שהמחשב יזהה את ה-RSS, הייתי צריך לכבות ולהדליק את ההגדרה בכרטיס הרשת ולבצע ריסטרט למחשב.
- בדיקת כיוונים אחרים: ניסיתי להשתמש ב-RDMA ו-ksmbd. זה דרש ממני לקמפל קרנל לינוקס ולהריץ VM של Windows Server 2025, אבל הבנתי שזה לא פתרון פרקטי עבורי.
- איתור צוואר בקבוק: הבנתי שמנגנון ה-shfs של unRAID הוא זה שמאט את הכתיבה באופן משמעותי.
- כיוונון ZFS Write Cache: הגדלת ה-Dirty Data ב-RAM (תחת הגנת UPS) כדי למנוע ירידת מהירות לאחר מילוי הCache הראשוני:
zfs_dirty_data_max_max: הוגדר ל-60GB.
zfs_dirty_data_max: הוגדר ל-50GB.
zfs_delay_min_dirty_percent: הועלה ל-95%.
zfs_dirty_data_sync_percent: הורד ל-10% לתחילת סנכרון מוקדם.
- תוצאות: הגעה לקצבים של 2.2-2.5GB/s ליציבות של 12 שניות, ושיאי מהירות של עד 4.0GB/s לאחר הסתגלות המערכת.
-----------------
בהתחלה חשבתי שזה שיש לי ZFS והרבה RAM יעזור להגיע למהירות הזו בלי יותר מדיי שינויים.
טעיתי.
פרוטוקול SMB בדיפולט עובד רק עם סטרים העברת קבצים אחד, שזה אומר שביצועי Single core של המעבד יכולים להוות צוואר בקבוק.
קראתי קצת באינטרנט והגעתי למושג SMB Multichannel - פתיחת כמה ערוצים שונים בSMB לאותו השרת.
אבל, זה מותאם ספציפית למצב שיש לשרת ולמחשב שני כרטיסים רשת (או יותר) כל אחד - למשל, שני חיבורי 1Gbit/s שביחד יכולים לאפשר 2Gbit/s.
בשביל להשתמש בכמה חיבורי רשת עם כרטיס רשת יחיד, הבנתי שצריך להשתמש בRSS (Receive Side Scaling) - שינצל כמה ליבות במקביל בשביל ההעברה.
כדי שRSS יפעל בצד של השרת, היה צורך לשנות את ה SMB settings ולהוסיף:
קוד: בחירת הכל
interfaces = "{SERVER_IP_HERE};capability=RSS,speed=40000000000"
בנוסף, כדי לגרום למידע להיכתב לRAM Cache בZFS צריך להגדיר את ההגדרות הבאות בSMB:
קוד: בחירת הכל
aio read size = 1
aio write size = 1
strict sync = no
sync always = no
בגלל שSMB בדיפולט הוא סינכרוני והקשינג הוא רק עבור מידע שהוא לא סינכרוני, צריך לגרום לSMB בצד שרת לקבל את המידע בצורה לא סיכרונית עם ההגדרות האלה.
ראיתי הרבה כאב של אנשים ברשת על ה-Syntax של ה interfaces (שהיה שונה בין תגובה לתגובה), עד שמצאתי את הSyntax שמתאים ועובד.
הדרך לוודא בווינדווס שהכרטיס עובד עם RSS היא להריץ Powershell בהרשאות Admin ולהריץ את הפקודה:
תחת העמודה של `RSS Capable` צריך להיות `True`.
אצלי זה היה מבוטל למרות שבהגדרות הכרטיס זה כן היה מופעל. ביטול והפעלה מחדש של ההגדרה הספציפית עזרה (טיפ שראיתי ברשת) ועכשיו במחשב זה היה מופעל.
כדי לבדוק בווינדווס אם הוא מזהה שהשרת גם כן תומך, צריך להעביר קובץ לשרת ואז להריץ בPowershell את הפקודה הבאה:
כאן צריך להיות `True` תחת העמודה `Client RSS Capable` של החיבור הרלוונטי (לפי IP שרת וכרטיס רשת של המחשב).
אחרי הרבה משחקים עם ההגדרה בשרת, עדיין היה אצלי False, עד שחשבתי לעשות ריסטרט למחשב עצמו וזה פתר את הבעיה.
זה עדיין לא היה מספיק. בשלב הזה כבר הייתי בטוח שאי אפשר להגיע למהירויות גבוהות, וקראתי שיש משהו שנקרא RDMA (Remote Direct Memory Access) שבעצם מעביר את המידע בקרנל ועוקף את המערכת הפעלה כדי לצמצם כמה שיותר overhead.
הדרך להשתמש בזה (חוץ מלהפעיל בכרטיס רשת תומך) בלינוקס היא להריץ קרנל עם מודול ksmbd.
אני משתמש בשרת ב unRAID (כבר כמעט עשור איתה), ואין עליו את המודול הזה, אז היה לי side-quest קטן של לנסות לקמפל את הקרנל לינוקס המתאים עם המודולים הספציפיים, ואחרי כמה שעות הצלחתי גם לטעון אותם לשרת.
למרות שהמודולים היו טעונים הם לא זיהו את הכרטיס.
הרמתי VM של שרת Windows Server 2025 (כן, ראש בקיר) כי הבנתי ששם זה מופעל בדיפולט, והעברתי PCI-E Passthrough את הכרטיס אל הVM.
העברתי קובץ ולמרות שהמהירות לא הייתה גבוהה (בכל זאת, VM) - לא ראו כלום בגרפים של ה Task Manager.
נראה שככה זה כשמשתמשים בRDMA והצלחתי לראות אותו עובד באמצעות Performance Monitor של ווינדווס.
בשלב הזה, הבנתי שאני לא אוכל להשתמש בפיתרון הזה, כי הגישה שיש לVM לשרת היא לא ישירה ואיטית יחסית.
נתנו לי טיפ שאפשר לנצל גם 25Gbit/s גם בלי ksmbd ו RDMA.
צדתי את הצוואר(י) בקבוק.
יש מנגנון בunRAID בשם shfs שמחליט לאיזה דיסק במערך הולך להיכתב קובץ ספציפי, והוא מאט את הכתיבה (שגם ככה מוגבלת במערך הרגיל שלו ל20-40MB/s תלוי כמה Parity מגדירים 1 או שניים [ או בלי ואז מוגבלים לכתיבה של דיסק אחד] ).
כשהם הוסיפו בגרסה 7 תמיכה במערכת קבצים של ZFS, יצרו קונספט חדש בשם Exclusive Share שבעצם מדלג על כל המנגנון הזה תחת תנאים ספציפיים.
בגלל שהיו לי כמה תיקיות סוררות שבעבר העתקתי להארדיסק נפרד מהמערך ZFS - זה ביטל את ה Exclusive Share ואיפשר לי להשיג רק 1.3GB/s בערך. מחיקה שלהן מהארדיסק הנפרד פתרה את הבעיה הזו והמערך חזר לעבוד עם Exclusive Share.
כבר ניתן היה לקבל מהירות גבוהה יותר, אבל רק ל2 שניות בערך ואז המהירות ירדה משמעותית- הRAM פשוט לא נוצל עד הסוף.
חקרתי קצת לגבי ZFS והבנתי שההגדרה הדיפולטיבית ל Write Cache היא רק 4GB- אז חיפשתי איך להגדיל את זה.
זה אומר שאם תהיה הפסקת חשמל באמצע העברה אאבד את כל המידע הזה, אבל יש לי אל-פסק אז לא צריכה להיות בעיה.
הגדרתי את ההגדרות הבאות:
zfs_dirty_data_max_max -> המקסימום שניתן לקבוע את ה zfs_dirty_data_max. בדיפולט 4GB. הגדרתי 60GB.
zfs_dirty_data_max -> בדיפולט 4GB. הגדרתי 50GB כדי שיהיה ניתן לכתוב יותר מ4GB לRAM.
zfs_delay_min_dirty_percent -> האחוז מה dirty_data_max שכשמגיעים אליו המידע מפסיק להיכתב לRAM. בדיפולט 60%, הגדרתי 95%.
zfs_dirty_data_sync_percent -> האחוז מה dirty_data_max שכשמגיעים אליו המידע מתחיל לעבור מהRAM לPool. בדיפולט 20%, הגדרתי 10% כדי שהמידע יתחיל לעבור מוקדם יותר.
אחרי ההגדרות האלה הצלחתי להגיע ל 2.2-2.5GB/s למשך 12 שניות לפני שזה יורד בחדות ל1.4GB/s בערך.
לא שיניתי משהו מיוחד, ואחרי כמה זמן המחשב התחיל לכתוב בקצבים של 4.0GB/s, כנראה לווינדווס לקח זמן לזהות את הRSS כמו שצריך.
למרות, שעד עכשיו אני לא בטוח אם זה מופעל כמו שצריך (כל האינדיקציות מראות שכן אבל תחושת בטן).
אמנם עומס המעבד בעת ההעברה הוא כמעט ב- Idle אבל רואים את התעבורה בתצוגת ה- Ethernet traffic
