שדרוג רשת פנימית ל40Gbit/s

פורום רשתות, IT ומחשוב כללי - רשתות, ראוטרים, מחשבים ניידים, אביזרים וכו'.
DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #21 

אם נשאר לך עוד כוח לנסות עוד דבר אחד אחרון כדי להפעיל את הRDMA, תתקין שרת Windows Server 2025 עם GUI ועם כמה קליקים תיצור share לתיקיה חדשה - תוודא שהכרטיס מקונפג בשרת הזה כמו שצריך וזה בוודאות יעבוד, מהניסיון שלי.
...
תודה, כן, ננסה, אחרת הסיפור עדיין פתוח... זה יעזור לבודד את הבעיה. אבדוק ואשתף את התוצאה.
לגבי הסוויץ'- המאווררים שלו רועשים? ראיתי שיש שניים וזה נראה מתאים ל Rack בעיקר.
...
עם שני breakout DAC זו התוצאה:

מעשית קשה לשמוע את זה, שקט כמעט לחלוטין, תוספת של שני מודולים אופטיים 100G מעלה את הרעש - עדיין סביר. מסיבה זו יש לי שני מאווררים של Noctua 40x20x20 בהזמנה על מנת להחליף את המקוריים ואז ההתקן יהיה שקט כמעט לחלוטין. עשיתי את זה עם ה- CCR2004 והתוצאות טובות מאד.
לגבי הTruenas מבאס לשמוע:/ הדבר שהכי מפחיד אותי במערכת נקיה זה כל עניין ההתראות. אני מפחד שיהיה איזה שינוי שיהרוס את ההתראות שאצטרך להגדיר ואז לפספס דיסק שמראה בעיות smart למשל. או לפספס scrub שנה בלי לשים לב בטעות, דברים כאלה. זה לא משהו שיטריד אותך?
...
עלית בדיוק על ה- Tradeoff שקיים בין מעטפת GUI ל-CLI נקי. זה נכון, מעטפת מציגה את כל האינפורמציה מול העיניים בצורה מרוכזת, ותואמת לאופן שבו מנהלים מערכת כזו. כל זה לא קיים עם CLI. כן ניתן לפתור עם סקריפטים כאלה ואחרים אך זה לא יגיע לאותה רמה של יעילות ונוחות. לכן - מטריד? כן, בוודאי, אין מחלוקת.

מצד שני ה-GUI גורר מגבלות שעבור תצורות מסוימות אי אפשר לקבל את זה. לצורך הדיון, אם אתעקש על חיבור של יותר מ-25G אז Truenas הוא לא אופציה בגלל העדר התמיכה באותן פונקציות מתקדמות. חשוב לציין שזה לא בגלל בעיה מובנת בגלל שזה GUI, אלא שהמפתחים קבלו החלטה מודעת כיצד המוצר יהיה "נעול" או פתוח וכיצד מתבצעת החלוקה בתכונות בין גרסה חינמית וגרסה בתשלום. זכותם. לכן זה תלוי בהיצע של הפתרונות, ואם יש פיתרון מבוסס ZFS שלא נגוע במגבלות כאלו - בוודאי שאשמח לנסות.

בסוף צריך להחליט מה יותר חשוב.
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

barbour_lavavn
חבר שרק התחיל
חבר שרק התחיל
תגובות: 22
הצטרף: פברואר 2018
נתן תודות: 0
קיבל תודות: 4 פעמים

שליחה #22 

מערכת הפעלה נקייה היא לא רעה כל כך , מתרגלים מהר מאוד .
הרבה אנשים לא יודעים את זה אבל גם את פרוקומוקס אפשר להתקין מדביאן ונילה ב10 דקות .
לגבי ההתראות - כדאי להרים מערכת ניטור ( אני עדיין בnagios ) אבל יש גם דברים לילידי שנות ה90 ואילך .
אין בעייה לראות התראות מדיסקים וגם לעשות להם טסטים . אפילו מסטיסטיקות של io אתה יכול ללמוד שדיסק מתחיל לזייף וגם טמפרטורת דיסק היא משהו מעניין ( תלוי במארז אבל אני מכייל טמפרטורה להתראה בנגיוס )
אמנם רוב המכונות שלי הן יוניקס , אבל אפשר להתחיל גם בzvualt שהיא פורק של trunas core וגם בxigmanas אם אתה אוהב ממשקים בני 20 שנה מינימום .
אין סיכוי לפספס scrub אם יש לך אוטומציות של zfs - יש כלי מובנה שאני עובד איתו בעשרות שרתים - zed
בfreebsd הכל מובנה בשגרות המכונה , אתה רק צריך להפעיל .
שרתים לא נועדו לgui וגם לא מתגים ( חוץ מגוניפר שאני מתעב - כנראה בגלל שזה בעצם freebsd )

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #23 

עידכון - עוד מאמץ בכל זאת להשתמש ב- Truenas scale בקצבים גבוהים:

iSCSI share. זו למעשה גישה ברמת בלוק - לא קבצים, וניתן לגשת לאותו דאטה באמצעות SMB וגם iSCSI target מתוך Windows. ההגדרה קלה ביותר גם ב- Truenas וגם ב- Windows, ה- Share מופיע ככונן מקומי בצד ה- Windows. עד כאן - מעולה.

ואז - השלב הבא לאפשר שימוש של iSCSI ב- RDMA בצד של Truenas ו-....
נו..... מה יהיה?

והתוצאות של בדיקת מהירות של כונן iSCSI:
הרבה מתחת לציפיות.

לא זנחתי את הבדיקה עם Windows server 2025, נגיע לזה.
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

barbour_lavavn
חבר שרק התחיל
חבר שרק התחיל
תגובות: 22
הצטרף: פברואר 2018
נתן תודות: 0
קיבל תודות: 4 פעמים

שליחה #24 

דניאל , אל תשכח גאמבו פריים , ההבדל גדול ביותר .
אני עובד ( גם בבית ) עם כרטיסי פייבר צנל . זה למטומטמים שלא רוצים להגדיר יותר מדי .
דרך אגב , היום כיילתי טייפ lto9 והגעתי בסיקוונטל ל600mb בקלות רבה בveeam שבוע הבא אעשה ניסויים בltfs .

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #25 

תודה, ברור לחלוטין, על 9000 בכל הצדדים, ברירת המחדל היתה 1500
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #26 

ניסוי אחרון - Windows 11 מול Windows Server 2025:

ביצוע Fine tuning להגדרות בשני הצדדים:

https://learn.microsoft.com/en-us/windo ... t-features

בדיקה : וכן: התוצאה: יותר טובה מכל מה שהיה עד עכשיו אבל עדיין רחוק מהקצב התיאורטי
לסיכום של מה שבדקתי:
* עד 25G אין שום בעיה לקבל את הקצב המצופה ללא Fine tuning מיוחד
* לאחר מכן המאמץ הנדרש לסחוט עוד קצת ביצועים הרבה יותר משמעותי
* מעטפת NAS כמו Truenas scale מוגבלות (מסחרית - לא טכנית) בתכונות מתקדמות הדרושות על מנת לתמוך בקצבים גבוהים
* התוצאה של @avob עם Unraid יותר טובה מהתוצאה של התצורות שנבדקו כאן, והרבה יותר קרובה לקצב התיאורטי של 40G
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

avob פותח השרשור
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 154
הצטרף: נובמבר 2016
נתן תודות: 12 פעמים
קיבל תודות: 31 פעמים

שליחה #27 

@DanielGR גם כשאני ניסיתי להשתמש ב isci נתקלתי בביצועים לא טובים. מה שמפתיע זה שיש לא מעט אנשים ברשת שמצליחים להפעיל nvme over fiber וכשזה משולב עם isci זה מגיע למהירויות נייטיב, נתקלתי בכמה דוגמאות כאלה.
מאכזב שלא הסתדר לך עם Rdma וגם עם הניסיון של השרת ווינדווס:/
אני ייכול לדווח שבשימוש תדיר בסטאפ שלי אני לרוב מגיע למהירויות 2.5-3GB/s כרגע ונראה שהייתה תקופה ספציפית שזה הגיע ל4. אני עד עכשיו לא מצליח להבין מה שונה ומה גורם לזה להגיע למהירות הגבוהה יותר.

@barbour_lavavn מאיפה אפשר לקנות בארץ כונן קלטות של LTO9 או אפילו 8, ומה תהיה עלות של כונן כזה? שקלתי כבר תקופה לגבי זה אבל הבנתי שהכוננים הם החלק היקר באמת בפיתרון שכזה.

barbour_lavavn
חבר שרק התחיל
חבר שרק התחיל
תגובות: 22
הצטרף: פברואר 2018
נתן תודות: 0
קיבל תודות: 4 פעמים

שליחה #28 

22/01/2026 21:57  
DanielGR כתב:
תודה, ברור לחלוטין, על 9000 בכל הצדדים, ברירת המחדל היתה 1500
...
מה גודל הבלוק שלך ? אתה בודק בצורה מסודרת את צווארי הבקבוק ?

barbour_lavavn
חבר שרק התחיל
חבר שרק התחיל
תגובות: 22
הצטרף: פברואר 2018
נתן תודות: 0
קיבל תודות: 4 פעמים

שליחה #29 

23/01/2026 15:55  
avob כתב:
@DanielGR גם כשאני ניסיתי להשתמש ב isci נתקלתי בביצועים לא טובים. מה שמפתיע זה שיש לא מעט אנשים ברשת שמצליחים להפעיל nvme over fiber וכשזה משולב עם isci זה מגיע למהירויות נייטיב, נתקלתי בכמה דוגמאות כאלה.
מאכזב שלא הסתדר לך עם Rdma וגם עם הניסיון של השרת ווינדווס:/
אני ייכול לדווח שבשימוש תדיר בסטאפ שלי אני לרוב מגיע למהירויות 2.5-3GB/s כרגע ונראה שהייתה תקופה ספציפית שזה הגיע ל4. אני עד עכשיו לא מצליח להבין מה שונה ומה גורם לזה להגיע למהירות הגבוהה יותר.

@barbour_lavavn מאיפה אפשר לקנות בארץ כונן קלטות של LTO9 או אפילו 8, ומה תהיה עלות של כונן כזה? שקלתי כבר תקופה לגבי זה אבל הבנתי שהכוננים הם החלק היקר באמת בפיתרון שכזה.
...
כונן יחיד lto9 עולה סביב 3k בדולרים . רובוט הרבה יותר . לא ריאלי לקנות כזה הביתה , רק ירושות ...
חובבים בבית עכשיו עובדים עם lto5 שניתן למצוא בגנקיות ( את שלי מצאתי בזבל האלקטרוני באחד מספקי האירוח )
מדהים שהטייפים עובדים ועדיין נותנים תפוקה ...
לכבוד סוף השבוע אני באמת מייצר סנאפשוט בzfs ומעלה אותו לטייפ ( כן tar עושה מה שהיא במקור התכוונה לעשות ...)

avob פותח השרשור
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 154
הצטרף: נובמבר 2016
נתן תודות: 12 פעמים
קיבל תודות: 31 פעמים

שליחה #30 

24/01/2026 15:51  
barbour_lavavn כתב:
כונן יחיד lto9 עולה סביב 3k בדולרים . רובוט הרבה יותר . לא ריאלי לקנות כזה הביתה , רק ירושות ...
חובבים בבית עכשיו עובדים עם lto5 שניתן למצוא בגנקיות ( את שלי מצאתי בזבל האלקטרוני באחד מספקי האירוח )
מדהים שהטייפים עובדים ועדיין נותנים תפוקה ...
לכבוד סוף השבוע אני באמת מייצר סנאפשוט בzfs ומעלה אותו לטייפ ( כן tar עושה מה שהיא במקור התכוונה לעשות ...)
...
אז צריך מאות טרות שדורשים גיבוי כדי שיהיה יותר משתלם לגבות על טייפ לפי חישוב של עלות כונן+ עלות טייפים לפי גודל האחסון לעומת העלות בהארדיסקים.
מניח שזה קורה איפשהו ב200-300TB אחסון אם ככה

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #31 

24/01/2026 15:46  
barbour_lavavn כתב:
מה גודל הבלוק שלך ? אתה בודק בצורה מסודרת את צווארי הבקבוק ?
...
לגבי ניתוח צווארי הבקבוק אני מאמין שכן.

הפלטפורמות שנבדקו - צד שרת:
* Truenas scale
* Debian 13 נקי עם ksmbd - Kernel mode smb server
* Windows server 2025
* Xigmanas - מעל FreeBSD

צד הלקוח: Windows 11 25H2

חומרה: בשני הצדדים NVME 2T PCIE 4.0 x 4, קריאה כתיבה 6800Mbps/5500Mbps בהתאמה. ווידאתי שהם אכן מתחברים למספר הנקוב של אפיקי PCIE. לכן אינם צוואר הבקבוק. זיכרון: 32GB או 64GB

כרטיס רשת בצד השרת: mcx455a - PCIE 3.0 X 16 נבדק ה- Kernel log לוודא שכל אפיקי ה- PCIE הוקצו

כרטיס רשת צד הלקוח: דרייבר אחרון שזמין , נבדק Link size, וכן הגדרות RSS, אין בעיה

כל כרטיסי הרשת: Jumbo frame מאופשר - 9000

בדיקת iPerf: התוצאות בלינוקס 94 Gbps, ב- FreeBSD מעט פחות - 82-86 Gbps

הגדרות QOS בסוויץ: קיימות, חזרתי על כל הבדיקות ללא סוויץ' - Point to Point והתוצאות זהות. לכן הסוויץ' איננו צוואר הבקבוק

SMB Sharing: כאן הבעיה:

* Truenas לא עבר את ה- 2.8Gbps, גם לא עם SMB Multichannel. הגישה להגדרות מתקדמות כמו RoCE לא אפשרית בלי Hacks
* Debian: תוצאות דומות, ksmbd RoCE הוגדר, כפי הנראה לא עובד
* Windows server 2025 עם הגדרה של SMB Direct ו- Data center bridging - התוצאות הטובות ביותר באופן שולי: 3150Mbps
* Xigmanas - תוצאות זהות ללינוקס - ללא התאמות מיוחדות

Block size 4K, ZFS record size 128K

מקריאה במקורות שונים מסתבר שהביצועים המקסימליים שניתן לקבל מ-SMB הם בסביבות 30Gbps. כל מה שמעבר לזה דורש RoCE ו- Fine tuning, ואין הרבה תיעוד על מספרים מעבר לזה. ומסתבר שהפעלה של RoCE היא לא טריוויאלית לחלוטין ותלויה במספר גורמים - חומרת כרטיס הרשת, דרייבר, סוויץ׳, ומודולים. קצת Flaky.

וגם מסתבר כי ניתן לקבל קצבים של 25Gbps בלי בעיה, בלי הגדרות מיוחדות ו- Fine tuning. הצורך ב- RoCE גורם לכך ש- Truenas בגרסה החינמית היא לא אופציה לקצבים מעבר ל- 25G, חבל.
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #32 

וואו, ככל שחופרים יותר מגלים עוד סיבות למה זה לא עובד כמצופה :evil:

הפעם צד ה- Client בכלל, יש להריץ מתוך Powershell:

קוד: בחירת הכל

Get-SmbClientConfiguration
התוצאה: מסתבר שיש מנגנון מובנה להגבלת הקצב ב- SMB Client, וכברירת מחדל הוא מאופשר...

כדי לשנות וגם לאפשר MTU גבוה יש להריץ:

קוד: בחירת הכל

 Set-SmbClientConfiguration -EnableBandwidthThrottling 0 -EnableLargeMtu 1
יש שיפור, התוצאה עכשיו מול Xigmanas היא 3.2Gbps...

@avob תוכל לבדוק שיתאפשר?
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

avob פותח השרשור
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 154
הצטרף: נובמבר 2016
נתן תודות: 12 פעמים
קיבל תודות: 31 פעמים

שליחה #33 

24/01/2026 21:21  
DanielGR כתב:
וואו, ככל שחופרים יותר מגלים עוד סיבות למה זה לא עובד כמצופה :evil:

הפעם צד ה- Client בכלל, יש להריץ מתוך Powershell:

קוד: בחירת הכל

Get-SmbClientConfiguration
התוצאה:
BW-Throttling.png

מסתבר שיש מנגנון מובנה להגבלת הקצב ב- SMB Client, וכברירת מחדל הוא מאופשר...

כדי לשנות וגם לאפשר MTU גבוה יש להריץ:

קוד: בחירת הכל

 Set-SmbClientConfiguration -EnableBandwidthThrottling 0 -EnableLargeMtu 1
יש שיפור, התוצאה עכשיו מול Xigmanas היא 3.2Gbps...

@avob תוכל לבדוק שיתאפשר?
...
וואו לא נתקלתי בהגדרה הזו עדיין.
כן, אנסה בערב ואעדכן אם עזר

avob פותח השרשור
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 154
הצטרף: נובמבר 2016
נתן תודות: 12 פעמים
קיבל תודות: 31 פעמים

שליחה #34 

@DanielGR אצלי כבר אפשרתי את EnableLargeMtu, אז היה לי רק לבטל את הEnableBandwidthThrottling.
בהתחלה חשבתי שלא שינה כלום. אחרי ריסטרט לכרטיס רשת ולService של SMB על הקליינט - קפץ מאיזור 2.3-2.5GB/s לאזור 2.7-2.8GB/s :)

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #35 

25/01/2026 19:53  
avob כתב:
@DanielGR אצלי כבר אפשרתי את EnableLargeMtu, אז היה לי רק לבטל את הEnableBandwidthThrottling.
בהתחלה חשבתי שלא שינה כלום. אחרי ריסטרט לכרטיס רשת ולService של SMB על הקליינט - קפץ מאיזור 2.3-2.5GB/s לאזור 2.7-2.8GB/s :)
...
תודה, יפה. סדר גודל כזה של שיפור ראיתי גם אצלי, יש עוד על מה לעבוד ...
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

avob פותח השרשור
חבר פעיל מאוד
חבר פעיל מאוד
תגובות: 154
הצטרף: נובמבר 2016
נתן תודות: 12 פעמים
קיבל תודות: 31 פעמים

שליחה #36 

25/01/2026 20:20  
DanielGR כתב:
תודה, יפה. סדר גודל כזה של שיפור ראיתי גם אצלי, יש עוד על מה לעבוד ...
...
זה מרגיש קצת כמו לאזן ערימת אבנים אחת על השנייה.
לגבי ארון בשרתים שהזכרתי בתחילת השרשור שהזמנתי - גיליתי שההזמנה כלל לא יצאה אחרי שלקחו ממני מקדמה, ואני צריך לחכות חודש נוסף לאחר חודשיים המתנה.
רבעון שלם, יצאו ליצנים היבואנים של איטון בארץ.

DanielGR
סמל אישי של משתמש
גורו רשתות
גורו רשתות
תגובות: 1447
הצטרף: יולי 2023
שם מלא: DanielG
מיקום: Israel
נתן תודות: 217 פעמים
קיבל תודות: 280 פעמים

שליחה #37 

אכן.

שירשור מעניין בנושא:
https://forum.level1techs.com/t/100-gbe ... /231039/19

וגם:
רשימת הציוד: MikroTik CCR2004-1G-12S+2XS |CRS317-1G-16S-RM | CRS504-4XQ-IN

שלח תגובה

חזור אל “רשתות, אינטרנט ו- Fiber”