בזק סיב 5Gb עם ציוד פרטי

itfan · שליחה #161 24/07/2024 0:18

23/07/2024 23:53
Uri_Saranga כתב: לא, הוא בדק עם מחשב שלו, אבל כן בדקנו הפוך, כלומר עם המחשב שלו בחיבור לראוטר שלי. בבדיקה הזאת הוא קיבל 2.8 כמוני ואז כאשר חיבר את הנתב של בזק למחשב שלו הוא קיבל 5.
...

אני מניח שבבדיקה שלו (שבה הוא קיבל 5G) הוא לא עבר דרך המודולים מ-+SFP ל-RJ45 שלך. אם מדובר על מודולים סיניים עלומי שם, לא מן הנמנע שהם מקור הבעיה. בכל מקרה, מומלץ שבאותם סיגמנטים של הרשת שבהם זה אפשרי, תנסה לנעול את המהירות ל-5G במקום ל-10G ותראה מה קורה (יש מצבים שבהם זה יכול לעזור - כשמקור הבעיה הוא בהצפה של באפרים).

אם גם זה לא עוזר, אז כדאי שאכן תנסה להתחבר ישירות מהמחשב שלך, אבל כמובן לא עם מערכת Windows, ששם, כפי שראית, ביצועי ה-PPPoE עלובים ביותר. למדידות speedtest מ-Linux (כולל OpenWrt) מומלץ להשתמש ב-client שמורידים ישירות מ-Ookla בקישור:
https://install.speedtest.net/app/cli/o ... x86_64.tgz
ולא בכל מיני דברים אחרים (שמנסיוני לא באמת עובדים כמו שצריך).

DanielGR · שליחה #162 24/07/2024 2:01

רעיונות נוספים:

ראיתי ב- Reddit את הפוסט הבא:
https://www.reddit.com/r/mikrotik/comme ... 2xs_issue/

אולי בעיות MTU, תנסה בכרטיס רשת ב-Windows לבטל הגדרת Jumbo frames (אם מופעל) או להפעיל אם לא פעיל. כמו כן לנסות לקבע l2mtu על 1500 על הממשקים בנתב.

שליחה #163 24/07/2024 3:34

בשעה טובה, יש ניצחון 5031Mbps

אז ככה, עניין ה Fasttrack הוא הפיתרון, פשוט כאשר הגדרתי אותו היום בערב זה היה בשעות העומס שכניראה לא איפשרו בכול אופן להגיע ל- 5.
בדקתי עכשיו בלעדיו ומקבל קבוע 2.8-2.9 ואיתו 4.9-5 בשרתים של הוט, פרטנר, active cloud, X-Fiber, NOORCOM.
בכול אופן, בלעדי fasttrack המהירות נמוכה ולא בגלל שהראוטר מתאמץ,בדקתי, הוא עובד על 6-7% איתו או בלעדיו (בזמן בדיקת המהירות)

DanielGR · שליחה #164 24/07/2024 4:02

יפה, תהנה!

אני לא לגמרי שלם עם המקרה הזה, כמו עם כל בעיה שאני פותר ולא מבין עד הסוף מה קרה שם…

לכאורה המעבד הספציפי הזה אמור לסחוב את החיבור הזה בקלות, עם או בלי Fasttrack, וזה לא המצב, וגם נתוני העומס על המעבד שנתת לא תואמים להתנהגות המצופה. אם זה מעניין אותך אפשר לנסות להבין מה קורה שם, וגם אם לא זה ממש בסדר.

שליחה #165 27/07/2024 0:53

24/07/2024 4:02
DanielGR כתב: יפה, תהנה!

אני לא לגמרי שלם עם המקרה הזה, כמו עם כל בעיה שאני פותר ולא מבין עד הסוף מה קרה שם…

לכאורה המעבד הספציפי הזה אמור לסחוב את החיבור הזה בקלות, עם או בלי Fasttrack, וזה לא המצב, וגם נתוני העומס על המעבד שנתת לא תואמים להתנהגות המצופה. אם זה מעניין אותך אפשר לנסות להבין מה קורה שם, וגם אם לא זה ממש בסדר.
...

זה מעניין אותי להבין מה קרה שם, אבל אני שם לב שאנשים ממש חזקים בפורומים של Mikrotic גם שמי את ה Fasttrack על ראוטרים חזקים, כחלק מההגדרות ה Default שלהם, אז אולי אנחנו מפספסים משהו?

DanielGR · שליחה #166 27/07/2024 2:57

ישנה הנחה בבסיס המודל של Fasttrack והיא שאין צורך לבדוק כל Packet על ידי העברה דרך הפיירוול. אם הConnection הוא Established או Related ואותחל בצורה תקינה בהתאם לחוקים אז גם התוכן הוא תקין.

זה מוריד בצורה ניכרת את העומס מהפיירוול, ומאפשר גם לדגמים עם מעבדים פחות חזקים לסחוב חיבורים מהירים. אך... יש אבל:
האם יש כאן בעיית אבטחה? תיאורטית כן, אבל רוב הדעות שראיתי אומרות שלא, וזה סביר. להגנה על בנק אולי לא הייתי משתמש בזה.
בנוסף יש רשימה של פיצ׳רים שלא עובדים עם Fasttrack, ראה בתיעוד.

במקרה הספציפי הזה, אני עם RB5009, ומקבל את מלוא רוחב הפס, עם או בלי Fasttrack כאשר ההבדל הוא בנצולת המעבד. המעבד של CCR2116 חזק יותר משמעותית ולכן הייתי מצפה להתנהגות דומה - מה שלא קרה. לכן החשד שיש כאן משהו נוסף שלא עלינו עליו. בשורה התחתונה זה עובד ולכן אולי זו התעקשות מיותרת - לשיקולך.

elxyzad · שליחה #167 27/07/2024 7:14

27/07/2024 2:57
DanielGR כתב: ישנה הנחה בבסיס המודל של Fasttrack והיא שאין צורך לבדוק כל Packet על ידי העברה דרך הפיירוול. אם הConnection הוא Established או Related ואותחל בצורה תקינה בהתאם לחוקים אז גם התוכן הוא תקין.

זה מוריד בצורה ניכרת את העומס מהפיירוול, ומאפשר גם לדגמים עם מעבדים פחות חזקים לסחוב חיבורים מהירים. אך... יש אבל:
האם יש כאן בעיית אבטחה? תיאורטית כן, אבל רוב הדעות שראיתי אומרות שלא, וזה סביר. להגנה על בנק אולי לא הייתי משתמש בזה.
בנוסף יש רשימה של פיצ׳רים שלא עובדים עם Fasttrack, ראה בתיעוד.

במקרה הספציפי הזה, אני עם RB5009, ומקבל את מלוא רוחב הפס, עם או בלי Fasttrack כאשר ההבדל הוא בנצולת המעבד. המעבד של CCR2116 חזק יותר משמעותית ולכן הייתי מצפה להתנהגות דומה - מה שלא קרה. לכן החשד שיש כאן משהו נוסף שלא עלינו עליו. בשורה התחתונה זה עובד ולכן אולי זו התעקשות מיותרת - לשיקולך.
...

אתה יודע שזה בידיוק כמו הoffload ב netfilter, כן?
רוב הסיכויים שזה פשוט זה. תכתוב lsmod ותבדוק.
ב openwrt יש מודול נוסף שלא נכנס לקרנל שמדלג על עוד כמה דברים (מה שהם קוראים לו software offloading) .

בכל מקרה אין פה בעיית אבטחה, רק חסרון שאין אפשרות ל tc כמו שצריך

DanielGR · שליחה #168 27/07/2024 12:49

27/07/2024 7:14
elxyzad כתב: אתה יודע שזה בידיוק כמו הoffload ב netfilter, כן?
רוב הסיכויים שזה פשוט זה. תכתוב lsmod ותבדוק.
ב openwrt יש מודול נוסף שלא נכנס לקרנל שמדלג על עוד כמה דברים (מה שהם קוראים לו software offloading) .

בכל מקרה אין פה בעיית אבטחה, רק חסרון שאין אפשרות ל tc כמו שצריך
...

ברמת התוצאה זה כמו Offloading. ברמת המימוש אני לא יודע, RouterOS הינה קוד סגור, ואין לה CLI Shell הדומה ללינוקס, ואת OpenWRT אני לא מכיר ברמה הזו.

שליחה #169 27/07/2024 17:37

27/07/2024 2:57
DanielGR כתב: ישנה הנחה בבסיס המודל של Fasttrack והיא שאין צורך לבדוק כל Packet על ידי העברה דרך הפיירוול. אם הConnection הוא Established או Related ואותחל בצורה תקינה בהתאם לחוקים אז גם התוכן הוא תקין.

זה מוריד בצורה ניכרת את העומס מהפיירוול, ומאפשר גם לדגמים עם מעבדים פחות חזקים לסחוב חיבורים מהירים. אך... יש אבל:
האם יש כאן בעיית אבטחה? תיאורטית כן, אבל רוב הדעות שראיתי אומרות שלא, וזה סביר. להגנה על בנק אולי לא הייתי משתמש בזה.
בנוסף יש רשימה של פיצ׳רים שלא עובדים עם Fasttrack, ראה בתיעוד.

במקרה הספציפי הזה, אני עם RB5009, ומקבל את מלוא רוחב הפס, עם או בלי Fasttrack כאשר ההבדל הוא בנצולת המעבד. המעבד של CCR2116 חזק יותר משמעותית ולכן הייתי מצפה להתנהגות דומה - מה שלא קרה. לכן החשד שיש כאן משהו נוסף שלא עלינו עליו. בשורה התחתונה זה עובד ולכן אולי זו התעקשות מיותרת - לשיקולך.
...

יש לי גם RB5009 במחסן, יהיה מעניין לבצע את אותה בדיקה עליו. אני ימצא לזה זמן ועדכן אותך

שליחה #170 27/07/2024 17:55

אגב @DanielGR עכשיו אני בבעיה אחרת.
לא מצליח לגרום ל 2 הרשתות לעבוד כל אחת בפני עצמה.

יש על זה שירשור שפתחתי ב Mikrotic ועזר לי מישהו שניראה מומחה שם, אבל ללא הועיל.
אם יש לך או למישהו אחר פה רעיון נוסף אשמח לדעת.
בגדול הוא הנחה אותי לעבוד עם VLANs אבל היות ולא הצלחנו אז אני מנסה לבצע את זה עכשיו עם Bridges שונים.

מוזמן להעיף מבט:
https://forum.mikrotik.com/viewtopic.ph ... a19205d27b

DanielGR · שליחה #171 27/07/2024 18:38

27/07/2024 17:55
Uri_Saranga כתב: אגב @DanielGR עכשיו אני בבעיה אחרת.
לא מצליח לגרום ל 2 הרשתות לעבוד כל אחת בפני עצמה.

יש על זה שירשור שפתחתי ב Mikrotic ועזר לי מישהו שניראה מומחה שם, אבל ללא הועיל.
אם יש לך או למישהו אחר פה רעיון נוסף אשמח לדעת.
בגדול הוא הנחה אותי לעבוד עם VLANs אבל היות ולא הצלחנו אז אני מנסה לבצע את זה עכשיו עם Bridges שונים.

מוזמן להעיף מבט:
https://forum.mikrotik.com/viewtopic.ph ... a19205d27b
...

נראה שחסר לך את ה-Rules הבאים ב- Forward chain:

קוד: בחירת הכל

/ip firewall filter
add action=accept chain=forward comment="allow internet traffic" src-address=192.168.1.0/24 out-interface="ether1-WAN(Hot)"
add action=accept chain=forward comment="allow internet traffic" src-address=192.168.88.0/24 out-interface="sfp-sfpplus1 - WAN (Bezeq)"

ההגדרות האלו מאפשרות תעבורה לכל סגמנט לאינטרנט דרך (Forward) הנתב

לאחר מכן תנסה לאתחל את הנתב

עריכה: עברתי בפירוט על ההצעה לקונפיגורציה כאן: https://forum.mikrotik.com/viewtopic.ph ... b#p1086835 בגדול, הכותב צודק, אכן עדיף לעבוד עם bridge יחיד ו-VLAN. יש מספר קטעים שמיותרים לצורך הבדיקה כמו אבטחת הגישה.

מה בדיוק לא עבד? האם הצלחת לבצע ping ל-DNS מכל סגמנט? ל-Default Gateway?

שליחה #172 05/08/2024 19:12

27/07/2024 18:38
DanielGR כתב: נראה שחסר לך את ה-Rules הבאים ב- Forward chain:
קוד: בחירת הכל
/ip firewall filter
add action=accept chain=forward comment="allow internet traffic" src-address=192.168.1.0/24 out-interface="ether1-WAN(Hot)"
add action=accept chain=forward comment="allow internet traffic" src-address=192.168.88.0/24 out-interface="sfp-sfpplus1 - WAN (Bezeq)"
ההגדרות האלו מאפשרות תעבורה לכל סגמנט לאינטרנט דרך (Forward) הנתב

לאחר מכן תנסה לאתחל את הנתב

עריכה: עברתי בפירוט על ההצעה לקונפיגורציה כאן: https://forum.mikrotik.com/viewtopic.ph ... b#p1086835 בגדול, הכותב צודק, אכן עדיף לעבוד עם bridge יחיד ו-VLAN. יש מספר קטעים שמיותרים לצורך הבדיקה כמו אבטחת הגישה.

מה בדיוק לא עבד? האם הצלחת לבצע ping ל-DNS מכל סגמנט? ל-Default Gateway?
...

תודה אחי אבל אני מעדיף לנסות לקנפג הפעם עם ברידג' שונה. יש לך מושג איך עושים את זה? (מעבר כמובן ליצירת ברידג' , DHCP ו Address ניפרדים)

DanielGR · שליחה #173 05/08/2024 20:02

לגבי הפרדת התעבורה, ההמלצה בדרך כלל היא לעבוד עם ברידג׳ יחיד והפרדה באמצעות VLAN. בהתאם לתיעוד של מיקרוטיק רק ברידג׳ יחיד יכול להיות Hardware offloaded, והשאר לא. ראה כאן:

https://forum.mikrotik.com/viewtopic.ph ... 20behavior.

בתצורה כזו אתה יוצר ברידג׳ יחיד, עליו את ה-VLAN, ועל ה-VLAN את שרת ה-DHCP והחוקים של התעבורה. זו התצורה המקובלת בתיעוד ובפורומים.

כעת ברור לי שניסית ולא עבד, וישנן שתי אפשרויות: להבין מדוע לא עבד, או ללכת לתצורה אחרת של יותר מברידג׳ יחיד. במקרה זה אתה מגדיר את הברידג׳, משייך פורטים פיזיים, מגדיר DHCP על הברידג׳ וחוקי תעבורה וניתוב.לא כל כך ברור לי למה הכוונה ״מעבר לזה״

DanielGR · שליחה #174 04/11/2024 18:51

לעדכן את מי שמעניין אותו לגבי ציוד פרטי, הגיע בשעה טובה מחשב מיני Minisforum MS-01 מאמזון. המפרט מרשים ביותר, 13900H, שני פורטים של 2.5G, ועוד שני פורטים של SFP Plus. כמו כן ניתן להרחיב את הבסיס באמצעות PCIe slot, והוספתי עוד שני פורטים של SFP Plus. כל התענוג עלה 820 דולר, כולל מיסים, לא כולל איחסון וזיכרון שאותם הוספתי לבד.

התקנתי Proxmox, ושלוש מכונות ווירטואליות לבדיקה:
1. OPENWRT - עם אופטמיזציות (ניתן לעבור על העצות של חברי הפורום בשירשור הזה)
2. OPNSense
3. Mikrotik CHR - גרסה של Router OS המגיעה ומתאימה למכונה וירטואלית

כמו כן עבור כל חיבורי הרשת למכונות הוירטואליות הוגדרו כ- PCI Passthrough, וביצעתי בדיקה של Speedtest, וגם iPerf ל- iperf3.moji.fr (בנפרד) כדי להעמיס את החיבור ולבדוק את ביצועי המכונות הווירטואליות, עם 4 מעבדים לכל מכונה. Power management מנוהל על ידי Proxmox - ברירת מחדל. התוצאות: (חיבור בזק 5G)

OPENWRT וגם OPNSense סחבו בקלות את החיבור, OPENWRT עומס זהה על כל הליבות - במקסימום הגיע ל- 20%. OPNSense דומה, 25% בממוצע, לא בדקתי תצוגה פרטנית של כל הליבות, ייתכן שצריך להפעיל RSS משום שלא בוצע שימוש ב- Virtio אלא ב- Passthrough.
האכזבה הגדולה היתה CHR, הקצב היה מתחיל במקסימום, ולאחר מספר שניות יורד לחצי. אין דרך לבצע Tweak לחומרה ב- CHR. אחרי הרבה בדיקות וחיפושים מסתבר שיש בעיית ביצועים של CHR תחת KVM (די הזוי). CHR לא אפוי מספיק לשימושים האלו כנראה. גם Virtio לא שינה את המצב, להפך.

בקיצור - אפשר לעשות המון עם המכונה הזו, Overkill משמעותי לפחות עבורי.

מה לא מושלם? הקירור הוא אקטיבי, ובעומס שומעים את המאווררים היטב, קורה מדי פעם. החומרה הזו קרובה יותר למחשב שולחני מאשר "שרת". אלו מאווררים שנמצאים בשימוש בלפטופים - קוטר קטן, וסל"ד מאד גבוה על מנת לייצר את ספיקת האוויר המתאימה. מאווררים כאלה לא אמורים לפעול 24/7 לכן צריך לבחון את האמינות לאורך זמן. הטמפרטורות של הליבות קופצות בקלות ל-70-80 מעלות בעומס, עדיין בגבול המותר אבל גבוה.

במחשבה נוספת אלטרנטיבה אחרת היתה פחות Overkill:

https://www.toptonpc.com/product/12th-g ... ft-router/

הביצועים מספיקים לניתוב של 5G + Firewall, ולהריץ עוד מכונות וירטואליות, הגוף כולו בנוי כלוח קירור אחד גדול, וניתן לעבוד איתו כקירור פאסיבי. ניתן להשיג בסביבות 200 דולר ללא זיכרון ואיחסון, ולפני מס, משמעותית פחות מה- Minisforum

MrYair · שליחה #175 04/11/2024 19:26

04/11/2024 18:51
DanielGR כתב: לעדכן את מי שמעניין אותו לגבי ציוד פרטי, הגיע בשעה טובה מחשב מיני Minisforum MS-01 מאמזון. המפרט מרשים ביותר, 13900H, שני פורטים של 2.5G, ועוד שני פורטים של SFP Plus. כמו כן ניתן להרחיב את הבסיס באמצעות PCIe slot, והוספתי עוד שני פורטים של SFP Plus. כל התענוג עלה 820 דולר, כולל מיסים, לא כולל איחסון וזיכרון שאותם הוספתי לבד.

התקנתי Proxmox, ושלוש מכונות ווירטואליות לבדיקה:
1. OPENWRT - עם אופטמיזציות (ניתן לעבור על העצות של חברי הפורום בשירשור הזה)
2. OPNSense
3. Mikrotik CHR - גרסה של Router OS המגיעה ומתאימה למכונה וירטואלית

כמו כן עבור כל חיבורי הרשת למכונות הוירטואליות הוגדרו כ- PCI Passthrough, וביצעתי בדיקה של Speedtest, וגם iPerf ל- iperf3.moji.fr (בנפרד) כדי להעמיס את החיבור ולבדוק את ביצועי המכונות הווירטואליות, עם 4 מעבדים לכל מכונה. Power management מנוהל על ידי Proxmox - ברירת מחדל. התוצאות: (חיבור בזק 5G)

OPENWRT וגם OPNSense סחבו בקלות את החיבור, OPENWRT עומס זהה על כל הליבות - במקסימום הגיע ל- 20%. OPNSense דומה, 25% בממוצע, לא בדקתי תצוגה פרטנית של כל הליבות, ייתכן שצריך להפעיל RSS משום שלא בוצע שימוש ב- Virtio אלא ב- Passthrough.
האכזבה הגדולה היתה CHR, הקצב היה מתחיל במקסימום, ולאחר מספר שניות יורד לחצי. אין דרך לבצע Tweak לחומרה ב- CHR. אחרי הרבה בדיקות וחיפושים מסתבר שיש בעיית ביצועים של CHR תחת KVM (די הזוי). CHR לא אפוי מספיק לשימושים האלו כנראה. גם Virtio לא שינה את המצב, להפך.

בקיצור - אפשר לעשות המון עם המכונה הזו, Overkill משמעותי לפחות עבורי.

מה לא מושלם? הקירור הוא אקטיבי, ובעומס שומעים את המאווררים היטב, קורה מדי פעם. החומרה הזו קרובה יותר למחשב שולחני מאשר "שרת". אלו מאווררים שנמצאים בשימוש בלפטופים - קוטר קטן, וסל"ד מאד גבוה על מנת לייצר את ספיקת האוויר המתאימה. מאווררים כאלה לא אמורים לפעול 24/7 לכן צריך לבחון את האמינות לאורך זמן. הטמפרטורות של הליבות קופצות בקלות ל-70-80 מעלות בעומס, עדיין בגבול המותר אבל גבוה.

במחשבה נוספת אלטרנטיבה אחרת היתה פחות Overkill:

https://www.toptonpc.com/product/12th-g ... ft-router/

הביצועים מספיקים לניתוב של 5G + Firewall, ולהריץ עוד מכונות וירטואליות, הגוף כולו בנוי כלוח קירור אחד גדול, וניתן לעבוד איתו כקירור פאסיבי. ניתן להשיג בסביבות 200 דולר ללא זיכרון ואיחסון, ולפני מס, משמעותית פחות מה- Minisforum
...

פעם היה לי כוח לתעסק אם כל הפיירוולים וחומרה כזאת,
להגיד לך תאמת? אני כבר אין לי כוח לתעסק אם זה יותר,
אני מגיע הביתה תן לי אינטרנט וכל עוד האישה לא צועקת
שאין לה אינטרנט לא מעניין אותי כלום,אני אם ציוד של פרטנר
ושני מגדילי טווח שלהם מחוברים קווית כל הבית 560 על 100 בוויפי
והחבילה שלי 600 על 100,
מה צריך יותר מזה?,לפעמים הפשוט עובד יותר טוב מאשר כל היי אנד.
ואני עובד בחברה של שירותי IT אז להשיג ציוד היי אנד לא בעיה.

יש לי שרת r620 שוכב בצד אם 96 ג׳יגה ראם כרטיס רשת 10 ג׳יגה כל משאני צריך
זה להדליק אותו להתקין על הפרוקסמוקס איזה פיירוול ולעבוד לספק שנותן 5 ג׳יגה,
אבל בשורה תחתונה אין מה לעשות אם 5 ג׳יגה, סתם נטו ליופי.

DanielGR · שליחה #176 04/11/2024 19:37

ההתייחסות לזה היא קצת Off topic… זו לא שאלה של ״צריך״, באמת לא ״צריך״ 5Gbps, ולמתאר השימוש של רוב האנשים זה מיותר, לכן זו נקודת מבט לגיטימית לחלוטין.

הנקודה היא סקרנות… זה מה שיוצר עניין. לאבד את הסקרנות זה מאד חבל, ובכנות אינני רוצה להטיף… זו פשוט הסתכלות אחרת. אז הלך קצת כסף לאיבוד, לא נורא

sys_admin · שליחה #177 05/11/2024 8:45

04/11/2024 18:51
DanielGR כתב: לעדכן את מי שמעניין אותו לגבי ציוד פרטי, הגיע בשעה טובה מחשב מיני Minisforum MS-01 מאמזון. המפרט מרשים ביותר, 13900H, שני פורטים של 2.5G, ועוד שני פורטים של SFP Plus. כמו כן ניתן להרחיב את הבסיס באמצעות PCIe slot, והוספתי עוד שני פורטים של SFP Plus. כל התענוג עלה 820 דולר, כולל מיסים, לא כולל איחסון וזיכרון שאותם הוספתי לבד.

התקנתי Proxmox, ושלוש מכונות ווירטואליות לבדיקה:
1. OPENWRT - עם אופטמיזציות (ניתן לעבור על העצות של חברי הפורום בשירשור הזה)
2. OPNSense
3. Mikrotik CHR - גרסה של Router OS המגיעה ומתאימה למכונה וירטואלית

כמו כן עבור כל חיבורי הרשת למכונות הוירטואליות הוגדרו כ- PCI Passthrough, וביצעתי בדיקה של Speedtest, וגם iPerf ל- iperf3.moji.fr (בנפרד) כדי להעמיס את החיבור ולבדוק את ביצועי המכונות הווירטואליות, עם 4 מעבדים לכל מכונה. Power management מנוהל על ידי Proxmox - ברירת מחדל. התוצאות: (חיבור בזק 5G)

OPENWRT וגם OPNSense סחבו בקלות את החיבור, OPENWRT עומס זהה על כל הליבות - במקסימום הגיע ל- 20%. OPNSense דומה, 25% בממוצע, לא בדקתי תצוגה פרטנית של כל הליבות, ייתכן שצריך להפעיל RSS משום שלא בוצע שימוש ב- Virtio אלא ב- Passthrough.
האכזבה הגדולה היתה CHR, הקצב היה מתחיל במקסימום, ולאחר מספר שניות יורד לחצי. אין דרך לבצע Tweak לחומרה ב- CHR. אחרי הרבה בדיקות וחיפושים מסתבר שיש בעיית ביצועים של CHR תחת KVM (די הזוי). CHR לא אפוי מספיק לשימושים האלו כנראה. גם Virtio לא שינה את המצב, להפך.

בקיצור - אפשר לעשות המון עם המכונה הזו, Overkill משמעותי לפחות עבורי.

מה לא מושלם? הקירור הוא אקטיבי, ובעומס שומעים את המאווררים היטב, קורה מדי פעם. החומרה הזו קרובה יותר למחשב שולחני מאשר "שרת". אלו מאווררים שנמצאים בשימוש בלפטופים - קוטר קטן, וסל"ד מאד גבוה על מנת לייצר את ספיקת האוויר המתאימה. מאווררים כאלה לא אמורים לפעול 24/7 לכן צריך לבחון את האמינות לאורך זמן. הטמפרטורות של הליבות קופצות בקלות ל-70-80 מעלות בעומס, עדיין בגבול המותר אבל גבוה.

במחשבה נוספת אלטרנטיבה אחרת היתה פחות Overkill:

https://www.toptonpc.com/product/12th-g ... ft-router/

הביצועים מספיקים לניתוב של 5G + Firewall, ולהריץ עוד מכונות וירטואליות, הגוף כולו בנוי כלוח קירור אחד גדול, וניתן לעבוד איתו כקירור פאסיבי. ניתן להשיג בסביבות 200 דולר ללא זיכרון ואיחסון, ולפני מס, משמעותית פחות מה- Minisforum
...

ה MS-01 הוא מכשיר נחמד ביותר, חוץ מהחלק שמדובר על קירור עם מאוורר. והבעיה היא אפילו בכלל לא רעש, שלא מורגש בכלל, אלה הדבר שהוא כמו כל מאוורר בכל מכשיר אחר שלא עם קירור פסיבי מושך אבק לתוך המכשיר וצריך יהיה לנקות אותו פעם ב. אבל זו בעיה שניתן לחיות עמה, אם מתחזקים נכון את המכשיר.
יש לי כמה עשרות של מכשירים כאלה כבר כמעט שנה, כולל גם בישראל וכולל אפילו בבית. אצלי בבית הוא מתפקד כ hypervisor ואת 96GB של זיכרון DDR5 שהתקנתי מספיק לכל הצרכים של המכונות הווירטואליות שאני מריץ עליו. גם את השטח אחסון של 4TB של NVME שהתקנתי.
כך זה נראה מבחינת ניצולת רגילה:

גם מבחינת קירור שלו, אם מתקינים עליו מערכת ניתוב אחת בלבד ולא הופכים אותו לשרת וירטואליזציה, אז הוא כלל לא מתחמם. אפילו פחות ממחשב שולחני ממוצא. מצרף דוגמה מאחת המערכות שלי שמותקנת עם pfSense ישירות על ברזלים שלה:

יש לי מערכות כאלה גם על קווים של 25Gb/s וניצולת של מעבד בהן עולה למקסימום רק שמנצלים את כל הרוחב פס בערוץ של OpenVPN למשל. וכמובן גם החום עולה במקביל לאזור של 70 מעלות.

DanielGR · שליחה #178 05/11/2024 10:51

05/11/2024 8:45
sys_admin כתב: ה MS-01 הוא מכשיר נחמד ביותר, חוץ מהחלק שמדובר על קירור עם מאוורר. והבעיה היא אפילו בכלל לא רעש, שלא מורגש בכלל, אלה הדבר שהוא כמו כל מאוורר בכל מכשיר אחר שלא עם קירור פסיבי מושך אבק לתוך המכשיר וצריך יהיה לנקות אותו פעם ב. אבל זו בעיה שניתן לחיות עמה, אם מתחזקים נכון את המכשיר.
יש לי כמה עשרות של מכשירים כאלה כבר כמעט שנה, כולל גם בישראל וכולל אפילו בבית. אצלי בבית הוא מתפקד כ hypervisor ואת 96GB של זיכרון DDR5 שהתקנתי מספיק לכל הצרכים של המכונות הווירטואליות שאני מריץ עליו. גם את השטח אחסון של 4TB של NVME שהתקנתי.
כך זה נראה מבחינת ניצולת רגילה:
גם מבחינת קירור שלו, אם מתקינים עליו מערכת ניתוב אחת בלבד ולא הופכים אותו לשרת וירטואליזציה, אז הוא כלל לא מתחמם. אפילו פחות ממחשב שולחני ממוצא. מצרף דוגמה מאחת המערכות שלי שמותקנת עם pfSense ישירות על ברזלים שלה:
יש לי מערכות כאלה גם על קווים של 25Gb/s וניצולת של מעבד בהן עולה למקסימום רק שמנצלים את כל הרוחב פס בערוץ של OpenVPN למשל. וכמובן גם החום עולה במקביל לאזור של 70 מעלות.
...

תודה רבה, מאד אינפורמטיבי. פרק זמן של כמעט שנה + מספר יחידות מהווה אינדיקציה די טובה לאמינות. אם לא היו בעיות עד עכשיו גם לא יהיו כפי הניראה.

בלי קשר, מה תוכניותך לגבי ESXI כעת שאין רישיון חינמי? האם התקנות קיימות ימשיכו לקבל עידכוני אבטחה? (מניח שכן)

sys_admin · שליחה #179 05/11/2024 12:52

05/11/2024 10:51
DanielGR כתב: תודה רבה, מאד אינפורמטיבי. פרק זמן של כמעט שנה + מספר יחידות מהווה אינדיקציה די טובה לאמינות. אם לא היו בעיות עד עכשיו גם לא יהיו כפי הניראה.

בלי קשר, מה תוכניותך לגבי ESXI כעת שאין רישיון חינמי? האם התקנות קיימות ימשיכו לקבל עידכוני אבטחה? (מניח שכן)
...

יש לי את הרישיונות שלי ל ESXI, כמו גם למוצרים אחרים, כמו למשל ל pfSense Plus ומנן הסתם שאני ממשיך איתם.
ואלה שיש להם רישיונות חינמיים ל ESXI, כנראה שהרישיונות אלה ימשיכו לתפקד להם רק עם הגרסה הקיימת של מערכת.

DanielGR · שליחה #180 14/11/2024 10:07

24/06/2024 19:36
Batnun כתב: מישהו ניסה במהירויות האלה להשתמש ב-VyOS (על x86 בלבד)? זה קוד פתוח וביצועים ברמת Enterprise...
אומנם אין GUI אבל ה-CLI מעולה ומאוד דומה ל-Juniper.

ה-Rolling Release/nightly builds הם חופשיים להורדה כאן:

https://vyos.io

Batnun

.
...

תודה רבה, אכן רעיון טוב, לקח קצת זמן להגיע לזה...

בדקתי את Vyos , Rolling release 1.5 על מעבד Ryzen 5600G, בשתי תצורות - Bare metal ו- Proxmox עם PCIe Passthrough.

נתחיל עם Bare metal: בקונפיגורציה מינימלית והשאר ברירת המחדל לא ניתן לקבל את מלוא הקצב בהורדה - 5Gbps. רוב העומס על ליבה אחת שמגיעה ל-100%. צריך להגדיל את ה- Ring Buffer ל-4096, ולהפעיל RPS - Receive Packet Steering. מתועד למי שמעוניין:

קוד: בחירת הכל

ethtool -G eth0 tx 4096 rx 4096
ethtool -G eth1 tx 4096 rx 4096
sudo echo “ffff” > /sys/class/net/eth0/queues/rx-0/rps_cpus
sudo echo “ffff” > /sys/class/net/eth1/queues/rx-0/rps_cpus

אז ניתן להגיע למלוא הקצב כאשר העומס הממוצע בסביבות 30%. די יפה. מה שלא ניסיתי זה לקמפל מחדש עם אופטימיזציות (מניסיון דומה עם OPENWRT היה שיפור) וכן Fastpath.

כשרץ תחת Proxmox ניתן לקבל את הקצב המלא ללא ה-Tweaks הנ"ל, התופעה המעניינת היא שהמכונה הווירטואלית מראה עומס קרוב לאפס, אבל ה- Host ממש לא, וליבות מסויימות מגיעות ל-45+ אחוז.

שורה תחתונה: מבחינת ביצועים - אלטרנטיבה מעניינת אבל דורשת הרבה התעסקות וכיוונונים ידניים, וגם ידע. בסופו של דבר כל האלטרנטיבות שמבוססות לינוקס מתכנסות לביצועים דומים, בהתקנת ברירת המחדל, או לאחר Tweaks, הגיוני בסך הכל.

עד כאן, מי שמחפש פיתרון ניתוב ו-Firewall בסיסי, ללא פונקציות נוספות וביצועים טובים - Banana PI R4 ו- OpenWRT מהווה תמורה יוצאת דופן: לא יקר יחסית, ה- Offload עובד מצויין, הביצועים טובים מאד.