האם כרטיס רשת מלאנוקס 10Gb יעבוד על PCIe 4.0 x2?

Jabberwock · שליחה #1 12/09/2025 16:25

ברשותי לוח אם MSI MAG B650 Tomahawk WiFi שיש לו סלוט PCI_E2 של PCIe 4.0 עד x2 מהצ'יפסט.
האם הכרטיס MCX311A-XCAT ConnectX-3 יעבוד?
אגב, רשום שמיוצר בסין מה ההבדל בין הגרסה הישראלית לסינית?

ועוד שאלה, לפי מה שהבנתי סלקום מספקת מתאם סיב DZS 5302, איך ניתן לחבר אותו ל-Banana Pi BPI-R4?

שליחה #2 12/09/2025 16:42

יעבוד במהירות של PCI-E 3.0, שזה דיי והותר עבור חיבור 10 גיגה יחיד.

Jabberwock · שליחה #3 12/09/2025 16:53

לפי מה שהבנתי הכרטיס צריך 4 נתיבים של PCIe 3.0. הבעיה שלמרות שהסלוט המדובר על הלוח האם שלי הוא בגודל מלא פיזית (x16) הוא מוגבל בתעבורה ל-2 נתיבים.

עריכה: אחרי קצת התייעצות ב-ChatGPT קיבלתי את התשובה.
הכרטיס אכן יעבוד במגבלה של PCIe 3.0 x2 אך לפי חישוב התעבורה זה עדיין מספיק.
המהירות שמתקבלת היא 15.75Gbit/s שזה יותר מ-10Gb.
רציתי בהתחלה לקנות את הכרטיס של 25Gb/s אך מזל שבדקתי קודם, הוא לא היה עובד במהירות המרבית שלו.

avob · שליחה #4 12/09/2025 17:44

כן PCI-E 3.0 x2 אמור להספיק.
יש לי את הכרטיס הזה בדיוק כבר יותר מ4 שנים

עובד מעולה.
אגב 25Gb/s - אתה יכול אם תרצה. כי מהירות של PCI-E 4.0 x2 היא בערך 32Gb/s.
הבעיה היחידה תהיה למצוא כרטיס PCI-E 4.0 שתומך במהירות הזו.
עריכה: אני רואה שיש באיביי Mellanox ConnectX-6 שמתאימים למהירות ועולים בין 800 לאלף שקל שזה לא מעט.

Jabberwock · שליחה #5 12/09/2025 17:56

12/09/2025 17:44
avob כתב: אגב 25Gb/s - אתה יכול אם תרצה. כי מהירות של PCI-E 4.0 x2 היא בערך 32Gb/s.
...

אם כבר אז עדיף להשתמש במתאם על הסלוט M.2 NVME הפנוי כי יש לו PCIe 4.0 x4...
אבל גם תהיה בעיה כי כפי הנראה אני צריך להזמין את ה-Ubiquiti UniFi Cloud Gateway Fiber וצריך SFP+ ולא SFP28 שכנראה לא יעבוד...

avob · שליחה #6 12/09/2025 18:05

12/09/2025 17:56
Jabberwock כתב: אם כבר אז עדיף להשתמש במתאם על הסלוט M.2 NVME הפנוי כי יש לו PCIe 4.0 x4...
אבל גם תהיה בעיה כי כפי הנראה אני צריך להזמין את ה-Ubiquiti UniFi Cloud Gateway Fiber וצריך SFP+ ולא SFP28 שכנראה לא יעבוד...
...

איזה מתאם יש מ M.2 NVME לסיב (SFP28 או אפילו SFP+)?
הכרטיסי רשת האלה לא מתאימים לחיבור שכזה לפי מה שאני מבין (זה חיבור M.2 צר ולא PCI-E רגיל)
עריכה: ולגבי היוביקוויטי סוויצ'ינג של 25 ג'יגה ביט היום זה לא כזה פשוט ואין ראוטר שיודע לעשות את זה. דורש סוויצ'ים מיוחדים. אבל תמיד אפשר להעביר point-to-point

DanielGR · שליחה #7 12/09/2025 19:06

יש לי Setup עובד של 25G (חלק מהרשת). ראה כאן:

https://htmag.co.il/phpbb/viewtopic.php ... #p3381428+

מספר תובנות:

הכרטיסים היחידים שתומכים ב-25G בעלות סבירה הם מאלנוקס ConnectX4 Lx מהדגמים בלינק הנ"ל. אלו כרטיסים של PCIE 3.0 x8. כרטיס נוסף עם שני פורטים שניתן להשיג במחיר מאד אטרקטיבי הוא Huawei SP333, עובד כפי שהוא על 25G וניתן לצרוב לו קושחה מקורית של מאלנוקס MCX4121-ACAT

כבלי DAC ו- AOC התומכים ב- 25G יקרים מאלו התומכים ב- 10G אבל לא בהרבה

ישנם טרנסיברים BIDI התומכים ב- 25G

אם מדובר בשני מחשבים ניתן להתחבר ביניהם ב- Point to Point בשימוש עם כרטיסים של שני פורטים, והפורט השני בכל כרטיס מחובר לשאר הרשת. שימושי מאד למחשב מול NAS

הקצבים המתקבלים טובים מאד, בשיתוף קבצים מול NAS - בסביבות 2.4GB/sec

סוויצ'ים בלינק הנ"ל

avob · שליחה #8 12/09/2025 20:46

12/09/2025 19:06
DanielGR כתב: יש לי Setup עובד של 25G (חלק מהרשת). ראה כאן:

https://htmag.co.il/phpbb/viewtopic.php ... #p3381428+

מספר תובנות:

הכרטיסים היחידים שתומכים ב-25G בעלות סבירה הם מאלנוקס ConnectX4 Lx מהדגמים בלינק הנ"ל. אלו כרטיסים של PCIE 3.0 x8. כרטיס נוסף עם שני פורטים שניתן להשיג במחיר מאד אטרקטיבי הוא Huawei SP333, עובד כפי שהוא על 25G וניתן לצרוב לו קושחה מקורית של מאלנוקס MCX4121-ACAT

כבלי DAC ו- AOC התומכים ב- 25G יקרים מאלו התומכים ב- 10G אבל לא בהרבה

ישנם טרנסיברים BIDI התומכים ב- 25G

אם מדובר בשני מחשבים ניתן להתחבר ביניהם ב- Point to Point בשימוש עם כרטיסים של שני פורטים, והפורט השני בכל כרטיס מחובר לשאר הרשת. שימושי מאד למחשב מול NAS

הקצבים המתקבלים טובים מאד, בשיתוף קבצים מול NAS - בסביבות 2.4GB/sec

סוויצ'ים בלינק הנ"ל
...

מרשים! ואתה מקבל את המהירות הזו מחיבור SMB פשוט או שזה מצריך כבר iSCI?
ואיזה transceiver ים?

DanielGR · שליחה #9 12/09/2025 20:58

12/09/2025 20:46
avob כתב: מרשים! ואתה מקבל את המהירות הזו מחיבור SMB פשוט או שזה מצריך כבר iSCI?
ואיזה transceiver ים?
...

החיבור הזה הוא עם כבל DAC, וכרטיסיםMCX4121a-ACAT

https://a.aliexpress.com/_oFORQj1

טרנסיברים:

https://a.aliexpress.com/_onqbMPD

ה-NAS הוא TrueNAS scale עם ZFS SSD Pool, והשיתוף הוא SMB סטנדרטי מול Windows client.

Jabberwock · שליחה #10 13/09/2025 20:27

12/09/2025 20:58
DanielGR כתב: החיבור הזה הוא עם כבל DAC, וכרטיסיםMCX4121a-ACAT
...

נניח שאני רוצה לחבר פורט SFP+ מ-Ubiquiti UniFi Cloud Gateway Fiber או Banana Pi BPI-R4 לכרטיס מלאנוקס 25G שיש לו SFP28 עם כבל DAC. האם זה אפשרי ואיזה DAC צריך, של 25G או 10G?

DanielGR · שליחה #11 13/09/2025 20:30

13/09/2025 20:27
Jabberwock כתב: נניח שאני רוצה לחבר פורט SFP+ מ-Ubiquiti UniFi Cloud Gateway Fiber או Banana Pi BPI-R4 לכרטיס מלאנוקס 25G שיש לו SFP28 עם כבל DAC. האם זה אפשרי ואיזה DAC צריך, של 25G או 10G?
...

DAC 10G, הכרטיס תואם

avob · שליחה #12 13/09/2025 20:53

12/09/2025 20:58
DanielGR כתב: החיבור הזה הוא עם כבל DAC, וכרטיסיםMCX4121a-ACAT

https://a.aliexpress.com/_oFORQj1

טרנסיברים:

https://a.aliexpress.com/_onqbMPD

ה-NAS הוא TrueNAS scale עם ZFS SSD Pool, והשיתוף הוא SMB סטנדרטי מול Windows client.

25G-2.jpg
...

תודה על הלינקים וההסבר

אין לי אפשרות להשתמש בDAC כי כרגע המחשבים בחדרים נפרדים, ויש לי כבר סיב Single-Mode OS2 1310nm שפרוס בקיר שאשתמש בו.
השקעתי כמה שעות מחקר אתמול והיום לגבי הטרנסיברים והכרטיס שהמלצת וחיפשתי מה יש פחות או יותר באיזורים האלה.
ראיתי הזדמנות טובה לשדרג לכרטיס 40GbE באותה עלות (או אפילו פחות).

ב2021 לפני ששדרגתי לSFP+ 10G עשיתי מחקר קצר על קצבים גבוהים יותר ואני רואה שהיום זה עולה פחות מחצי.
מצאתי דיל טוב ל4 טרנסיברים של 40GbE שמתאימים לEthernet OS2 1310nm של פיניסר FTL4C1QE2C QSFP+ (המודולים הראשונים שלי היו של אותה חברה גם).
ו2 כרטיסי רשת Mellanox ConnectX-4 LX MCX4131A-GCAT.
כל זה עלה פחות מ500 שקל (כולל משלוח ולא עובר את רף המכס), פחות או יותר כמה ששילמתי לפני 4 שנים על ציוד SFP+ 10G עם כבל מולטימוד קצר (שעבר למגירה, משתמש במה שבקיר).

מקווה שלא פספסתי שום דבר ושהכל יתאים כמו שצריך, נגלה אחרי החגים (רשום משלוח עד סוף נובמבר)

יש לי ZFS Raidz2 עם 10 דיסקים ו 128GB ECC RAM. אצטרך לחשוב איזה התאמות לעשות כדי לנצל כמה שיותר מהמהירות

DanielGR · שליחה #13 13/09/2025 21:29

13/09/2025 20:53
avob כתב: תודה על הלינקים וההסבר
אין לי אפשרות להשתמש בDAC כי כרגע המחשבים בחדרים נפרדים, ויש לי כבר סיב Single-Mode OS2 1310nm שפרוס בקיר שאשתמש בו.
השקעתי כמה שעות מחקר אתמול והיום לגבי הטרנסיברים והכרטיס שהמלצת וחיפשתי מה יש פחות או יותר באיזורים האלה.
ראיתי הזדמנות טובה לשדרג לכרטיס 40GbE באותה עלות (או אפילו פחות).

ב2021 לפני ששדרגתי לSFP+ 10G עשיתי מחקר קצר על קצבים גבוהים יותר ואני רואה שהיום זה עולה פחות מחצי.
מצאתי דיל טוב ל4 טרנסיברים של 40GbE שמתאימים לEthernet OS2 1310nm של פיניסר FTL4C1QE2C QSFP+ (המודולים הראשונים שלי היו של אותה חברה גם).
ו2 כרטיסי רשת Mellanox ConnectX-4 LX MCX4131A-GCAT.
כל זה עלה פחות מ500 שקל (כולל משלוח ולא עובר את רף המכס), פחות או יותר כמה ששילמתי לפני 4 שנים על ציוד SFP+ 10G עם כבל מולטימוד קצר (שעבר למגירה, משתמש במה שבקיר).

מקווה שלא פספסתי שום דבר ושהכל יתאים כמו שצריך, נגלה אחרי החגים (רשום משלוח עד סוף נובמבר)

יש לי ZFS Raidz2 עם 10 דיסקים ו 128GB ECC RAM. אצטרך לחשוב איזה התאמות לעשות כדי לנצל כמה שיותר מהמהירות
...

יפה.

התלבטתי בזמנו בין 25Gb ל-40Gb, בסוף החלטתי על שידרוג יותר ״אינקרמנטלי ״. הסיבות:

פורטים של 25G תואמים אחורה גם ל-10G
זמינות של סוויצ׳ים ונתב בעלות סבירה יותר
חשש מכך ש-40G יחנקו את ה-Host, במיוחד על חומרה לא יעודית ו-Windows client

שליחה #14 13/09/2025 23:54

אני עם 8 דיסקים ו-raidz2, ואני מגיע בערך ל-1 גיגהבייט לשניה.
לא חושב שתראה שיפור שמצדיק מעבר ל-40 גיגה, אלא אם כן אתה מתכוון להשתמש גם ב-SSDים.

avob · שליחה #15 14/09/2025 6:17

אני בטוח שאצטרך לעשות שינוי כלשהו כדי להגיע למהירויות גבוהות יותר. חשבתי בהתחלה על SLOG אבל זה לא יעזור בהעברות קבצים גדולים בגלל שזה מתאים רק ל sync writes. אולי אצור vdev עם nvme pcie 4.0

DanielGR · שליחה #16 14/09/2025 8:58

נקודה נוספת למחשבה: הקצבים האלו באים לידי ביטוי בהעברה בין SSD, אבל לכל SSD יש DRAM Cache וכאשר הוא מתמלא הקצב יורד באופן מאד משמעותי (הכוונה לכתיבה).

יש ל-Host גם Write cache המשתמש בזיכרון אבל זה תלוי במערכת ההפעלה, גודל הזיכרון, וכן

כלומר - יש גם חלון זמן בהעברת הקבצים שזה אפקטיבי. לאחר שידרוג הרשת מצאתי את עצמי מתעסק הרבה ב-Performance tuning של Truenas scale

rm1 · שליחה #17 14/09/2025 11:03

13/09/2025 20:53
avob כתב: תודה על הלינקים וההסבר
אין לי אפשרות להשתמש בDAC כי כרגע המחשבים בחדרים נפרדים, ויש לי כבר סיב Single-Mode OS2 1310nm שפרוס בקיר שאשתמש בו.
השקעתי כמה שעות מחקר אתמול והיום לגבי הטרנסיברים והכרטיס שהמלצת וחיפשתי מה יש פחות או יותר באיזורים האלה.
ראיתי הזדמנות טובה לשדרג לכרטיס 40GbE באותה עלות (או אפילו פחות).

ב2021 לפני ששדרגתי לSFP+ 10G עשיתי מחקר קצר על קצבים גבוהים יותר ואני רואה שהיום זה עולה פחות מחצי.
מצאתי דיל טוב ל4 טרנסיברים של 40GbE שמתאימים לEthernet OS2 1310nm של פיניסר FTL4C1QE2C QSFP+ (המודולים הראשונים שלי היו של אותה חברה גם).
ו2 כרטיסי רשת Mellanox ConnectX-4 LX MCX4131A-GCAT.
כל זה עלה פחות מ500 שקל (כולל משלוח ולא עובר את רף המכס), פחות או יותר כמה ששילמתי לפני 4 שנים על ציוד SFP+ 10G עם כבל מולטימוד קצר (שעבר למגירה, משתמש במה שבקיר).

מקווה שלא פספסתי שום דבר ושהכל יתאים כמו שצריך, נגלה אחרי החגים (רשום משלוח עד סוף נובמבר)

יש לי ZFS Raidz2 עם 10 דיסקים ו 128GB ECC RAM. אצטרך לחשוב איזה התאמות לעשות כדי לנצל כמה שיותר מהמהירות
...

מקווה שיש לך סיב כפול מושחל כי המתאם הזה דורש זוג סיבים

avob · שליחה #18 14/09/2025 14:42

כן יש לי סיב duplex שהשלחתי אז זה אמור להתאים למזלי.לגבי הSSD הביקורות של Tom's Hardware מאוד מומלצות ועוזרות להבין כמה Cache יש, אז יש לי כבר 990 Pro 4TB שאמור להספיק לכתיבה של 435GB בערך אז זה אמור להיות מספיק לשימושים שלי, מעביר בבצ'ים של סביבות 150GB בממוצע

MrYair · שליחה #19 15/09/2025 23:27

14/09/2025 6:17
avob כתב: אני בטוח שאצטרך לעשות שינוי כלשהו כדי להגיע למהירויות גבוהות יותר. חשבתי בהתחלה על SLOG אבל זה לא יעזור בהעברות קבצים גדולים בגלל שזה מתאים רק ל sync writes. אולי אצור vdev עם nvme pcie 4.0
...

באותה תצורה שיש לך כרגע, ניסית לעביר ב NFS ולראות מה מהירות?

avob · שליחה #20 16/09/2025 18:27

15/09/2025 23:27
MrYair כתב: באותה תצורה שיש לך כרגע, ניסית לעביר ב NFS ולראות מה מהירות?
...

מהירות מקסימלית כי כרטיסי רשת של 10gbit.
לפי חישובים תיאורטיים ברשת 8 דיסקים של Ultrastar HC550 18TB (כי raidz2) אמורים לספק בערך 16gbit, אבל זה בטח רק על הנייר ובמציאות זה יהיה פחות כשאחליף כרטיסים