בזק סיב 5Gb עם ציוד פרטי

[itfan]

אין לכם מה לצפות מהמעבד הזה לבצע routing בקצבים כאלה, צריך מעבדים הרבה יותר חזקים והרבה הרבה יותר יקרים כדי לעשות את זה בלי offload.

...

המעבד של ה-R4 (ארבע ליבות A73 ב-1.8GHz) הוא משמעותית יותר חזק (בכמעט 50%) מזה של ה-RB5009 (ארבע ליבות A72 ב-1.4GHz). אפשר וצריך לצפות ממנו לנתב עם NAT ו-PPPoE במהירויות האלה. הבעיה היא חוסר היעילות (היחסית) של התוכנה (וקרוב לוודאי שרוב האשמה היא בחייגן ה-PPPoE).

אגב, התוצאות ש-@DanielGR קיבל די תואמות השוואות ביצועים שעשיתי על מחשבי x86. יש לי "מחשבון" כזה עם 4 פורטים של 2.5G (כרטיסי אינטל i225) ומעבד חלש ועתיק יחסית (Celeron N2840). עם RouterOS הוא מצליח לנתב את מלוא המהירות של 2.5G בחיבור דרך חייגן PPPoE. עם OpenWrt הוא מגיע בקושי ל-1.2G.

אגב 2, בין יתר הצעצועים יש לי גם "מחשבון" שנקרא R86S-U1, שאפשר לראות בקישור הבא:
https://www.aliexpress.com/item/1005005968435233.html
המעבד שלו (Celeron N5105) מספיק חזק בשביל "לבצע routing בקצבים כאלה" עם OpenWrt והוא לא כזה יקר. הבעיה העיקרית איתו (מבחינתי לפחות) היא הקירור האקטיבי (יש במכשיר הזעיר הזה שני מאווררים ואני מתקשה להאמין שהוא יאריך ימים בשימוש 24/7).

[DanielGR]

כאשר הביצועים עם Offloading מופעל כל כך טובים, האם קיימת סיבה לא לעבוד עם Offloading?

[itfan]

כאשר הביצועים עם Offloading מופעל כל כך טובים, האם קיימת סיבה לא לעבוד עם Offloading?

...

שאלה טובה שמוליכה להרבה מאוד שאלות, כגון: מה המגבלות של האופלואדינג הנ"ל? למשל, האם יש מגבלה על מספר החיבורים ומה קורה כשעוברים את המספר הנ"ל? איזה דברים לא עובדים עם האופלואדינג והאם יש בהם צורך? האם יש עם זה בעיות יציבות ו/או בעיות בטיחות שעלולות לאפשר פריצה לרשת? ועוד כהנה וכהנה.

באופן אישי, דבר ראשון שהייתי בודק זה שהאופלואדינג לא משפיע על זה שה-NAT מיושם כ- restricted cone (אחרת זה לא בא בחשבון מבחינתי) וה-firewall באמת עובד כמצופה. בשלב שני, לפני שהייתי סומך על זה שדברים יעבדו באופן יציב, הייתי מנסה לכל הפחות לייצר עומס של הרבה חיבורים במקביל (רצוי מכמה וכמה מכשירים על הרשת) ובודק איך הנתב מתמודד עם זה (אפשר, למשל, לנסות להוריד בו זמנית מספר גדול של טורנטים גדולים שיש להם הרבה מקורות, כמו טורנטים של הפצות לינוקס פופולריות).

יכול מאוד להיות שאם המכשיר היה ברשותי הייתי מגיע למסקנה שהשימוש באופלואדינג הוא בסדר גמור עבורי, אבל איך אפשר לדעת את זה בלי המכשיר? מי שמזמין מכשיר מבוסס x86, למשל, יודע מראש שיש לו את מלוא האפשרויות של OpenWrt בגרסה מלאה ויציבה וגם אופציה למערכות הפעלה אחרות (כמו pfSense, למשל). מי שמזמין את ה-R4 לחיבור 5G תלוי לחלוטין בזה שהמכניזם הזה של אופלואדינג יעבוד לשביעות רצונו. זה קצת בעייתי.

[elxyzad]

המעבד של ה-R4 (ארבע ליבות A73 ב-1.8GHz) הוא משמעותית יותר חזק (בכמעט 50%) מזה של ה-RB5009 (ארבע ליבות A72 ב-1.4GHz). אפשר וצריך לצפות ממנו לנתב עם NAT ו-PPPoE במהירויות האלה. הבעיה היא חוסר היעילות (היחסית) של התוכנה (וקרוב לוודאי שרוב האשמה היא בחייגן ה-PPPoE).

אגב, התוצאות ש-@DanielGR קיבל די תואמות השוואות ביצועים שעשיתי על מחשבי x86. יש לי "מחשבון" כזה עם 4 פורטים של 2.5G (כרטיסי אינטל i225) ומעבד חלש ועתיק יחסית (Celeron N2840). עם RouterOS הוא מצליח לנתב את מלוא המהירות של 2.5G בחיבור דרך חייגן PPPoE. עם OpenWrt הוא מגיע בקושי ל-1.2G.

אגב 2, בין יתר הצעצועים יש לי גם "מחשבון" שנקרא R86S-U1, שאפשר לראות בקישור הבא:
https://www.aliexpress.com/item/1005005968435233.html
המעבד שלו (Celeron N5105) מספיק חזק בשביל "לבצע routing בקצבים כאלה" עם OpenWrt והוא לא כזה יקר. הבעיה העיקרית איתו (מבחינתי לפחות) היא הקירור האקטיבי (יש במכשיר הזעיר הזה שני מאווררים ואני מתקשה להאמין שהוא יאריך ימים בשימוש 24/7).

...

אי אפשר להגיד סתם ככה "יותר חזק ב50 אחוז".
ההתמודדות עם תעבורה של 2.5G לעומת 1G היא לא פי2.5 יותר "קשה", אלא פי 5~, כי יש פה הרבה יותר interrupts, contex switching שלהם, התקיעה של המעבד שהם מייצרים, תעבורה בbusים שונים. ואני דיברתי על 10G, לא 2.5.
לפי מה שבדקתי עכשיו RouterOS מבוסס לינוקס, מה שאומר שכל הבדל בביצועים יכול להיות עניין של קונפיגורציה או שימוש בדרייברים אחרים, מה שאתה יכול לעשות בעצמך עם openwrt.
כדי באמת להתמודד עם 10G, לא רק בדיקת throughout קצרה, צריך לפחות i5. וכמובן כרטיסי רשת מתאימים.

[elxyzad]

שאלה טובה שמוליכה להרבה מאוד שאלות, כגון: מה המגבלות של האופלואדינג הנ"ל? למשל, האם יש מגבלה על מספר החיבורים ומה קורה כשעוברים את המספר הנ"ל? איזה דברים לא עובדים עם האופלואדינג והאם יש בהם צורך? האם יש עם זה בעיות יציבות ו/או בעיות בטיחות שעלולות לאפשר פריצה לרשת? ועוד כהנה וכהנה.

באופן אישי, דבר ראשון שהייתי בודק זה שהאופלואדינג לא משפיע על זה שה-NAT מיושם כ- restricted cone (אחרת זה לא בא בחשבון מבחינתי) וה-firewall באמת עובד כמצופה. בשלב שני, לפני שהייתי סומך על זה שדברים יעבדו באופן יציב, הייתי מנסה לכל הפחות לייצר עומס של הרבה חיבורים במקביל (רצוי מכמה וכמה מכשירים על הרשת) ובודק איך הנתב מתמודד עם זה (אפשר, למשל, לנסות להוריד בו זמנית מספר גדול של טורנטים גדולים שיש להם הרבה מקורות, כמו טורנטים של הפצות לינוקס פופולריות).

יכול מאוד להיות שאם המכשיר היה ברשותי הייתי מגיע למסקנה שהשימוש באופלואדינג הוא בסדר גמור עבורי, אבל איך אפשר לדעת את זה בלי המכשיר? מי שמזמין מכשיר מבוסס x86, למשל, יודע מראש שיש לו את מלוא האפשרויות של OpenWrt בגרסה מלאה ויציבה וגם אופציה למערכות הפעלה אחרות (כמו pfSense, למשל). מי שמזמין את ה-R4 לחיבור 5G תלוי לחלוטין בזה שהמכניזם הזה של אופלואדינג יעבוד לשביעות רצונו. זה קצת בעייתי.

...

פה אתה מדבר יותר לעניין.
HW offloading המדובר פה ממומש על flowtables של לינוקס, מה שאומר שהוא בגדול נותן לחומרה לדלג על רוב שרשרת הnetworking של הקרנל ברגע שנוצר flow תקין, מה שאומר שהוא ממש לא משנה את דרך הפעולה של ה nat routing למשל.
מה שכן זה אומר שלא תוכל לנצל יכולות שתלויות בחלקי השרשרת שדולגו, כמו qdisc.
אבל, יש גם חומרה לזה בצ'יפים של mediatek. הבעיה שאין מימוש בלינוקס קרנל כרגע.. כמו שאמרתי, אני שוקל לממש HW qdisc ללינוקס.
מבחינת חיבורים במקביל אתה יכול להיות רגוע, כרגע יש מקום ל8K entries במקביל על כל PPE, אפשר להגדיל עד 32K וזה עובד, בדקתי. ויש לך 3 יחידות PPE נפרדות בMT7988 שעליו מבוסס bpi-r4.
החומרה של mediatek בשימוש נרחב בכל כך הרבה ראוטרים, היא בהחלט יציבה ועושה את העבודה כמו שצריך.

בx86 אתה יכול לעשות מה שאתה רוצה, כל עוד תטחן את הcpu אם הוא מסוגל לזה.

[itfan]

אי אפשר להגיד סתם ככה "יותר חזק ב50 אחוז".
ההתמודדות עם תעבורה של 2.5G לעומת 1G היא לא פי2.5 יותר "קשה", אלא פי 5~, כי יש פה הרבה יותר interrupts, contex switching שלהם, התקיעה של המעבד שהם מייצרים, תעבורה בbusים שונים. ואני דיברתי על 10G, לא 2.5.

...

מה??? מה הקשר פה ל-1G או 2.5G? אולי כדאי שתחזור קצת אחורה ותקרא מה כתוב פה בשרשור. לא רק בפוסט שמייד אחריו הגבת, אלא כמה פוסטים מעליו.

מה שאתה יכול לעשות בעצמך עם openwrt.

...

אם במסגרת הדברים שאני אמור להיות יכול לעשות בעצמי כוללים דברים כמו כתיבת חייגן PPPoE חדש ויעיל (כמו זה שקיים ב-RouterOS) במקום החייגן העכשווי של OpenWrt, אז אתה חצי צודק. האמת? זה לא צריך להיות כל כך קשה. בתכלס, רוב מה שהחייגן הזה עושה רוב הזמן זה להוסיף כמה ביטים לחבילות יוצאות ולגלח כמה ביטים מחבילות נכנסות. אין שום דבר הגיוני בביצועים הירודים שלו (אבל אפשר להתנחם בזה שהחייגן ב-Windows עוד הרבה פחות יעיל ממנו).

[elxyzad]

לא אתה ולא החברה של RouterOS תכתבו משהו יותר יעיל מהקרנל מודול הקיים בלינוקס. ה en/decapsulation לא נעשה בuserspace
ושוב, RouterOS זה בעצם לינוקס אז חוץ מהuserspace deamon הכל צריך להיות אותו דבר והביצועים זהים. אם הם לא אז הקונפיגורציה שונה.

בכל מקרה עם offloading אין שום חשיבות לpppoe, הכל נעשה בחומרה

[itfan]

RouterOS זה בעצם לינוקס אז חוץ מהuserspace deamon הכל צריך להיות אותו דבר והביצועים זהים.

...

אתה גם יכול לכתוב באותה מידה שהעולם צריך להיות שטוח. המציאות היא אחרת.

[DanielGR]

אגב, יש ניואנסים נוספים: Router OS היא קוד סגור. המשמעות היא שהם יכולים לשלב קבצים בינאריים ודרייברים מהיצרנים של הצ'יפים שגם הם קוד סגור, מה שלא מתאפשר ב-OpenWRT.

אפשר להבין מדוע יש אפשרות שלדריברים של קוד סגור ביצועים יותר טובים, היצרנים לא רוצים לחשוף את מה שנותן להם יתרונות תחרותיים.

לדוגמא, ישנו FORK של OpenWRT סיני הנקרא immortalWRT, שנטען שהביצועים שלו יותר טובים מ-OpenWRT. מבדיקות שעשיתי יש אמת בטענה. לכאורה זה אותו לינוקס… ההבדל הוא שאין לסינים בעיה לשים מודולים Proprietary , מוגנים בפטנטים, וקוד סגור, מה שלא עושים ב-OpenWRT.

[elxyzad]

אגב, יש ניואנסים נוספים: Router OS היא קוד סגור. המשמעות היא שהם יכולים לשלב קבצים בינאריים ודרייברים מהיצרנים של הצ'יפים שגם הם קוד סגור, מה שלא מתאפשר ב-OpenWRT.

אפשר להבין מדוע יש אפשרות שלדריברים של קוד סגור ביצועים יותר טובים, היצרנים לא רוצים לחשוף את מה שנותן להם יתרונות תחרותיים.

...

הגיוני שיש שם דרייברים סגורים. בדרך כלל דרייבר סגור מהיצרן יעבוד יותר טוב. עד לפני שבועיים הHNAT דרייבר של mediatek עבד הרבה יותר טוב מהדרייבר בלינוקס, אבל הדבקנו את הפער.
אבל בכל מקרה דיברנו על טחינת cpu בלי שימוש בדרייברים, ובמקרה הזה אין שום סיבה שמישהו יממש מודול חדש ולא ישתמש בקיים בלינוקס. אפשר לעשות אופטימיזציה בעזרת הקונפיג, אבל לכתוב משהו אחר פשוט מיותר.
זאת בעיה בopenwrt על x86, הכל גנרי. בשאר ה targets אתה מקבל קונפיג שהוא יותר מותאם לחומרה שלך.

[DanielGR]

החלטתי לבדוק גם מחשב x86 לשם השוואה. מדובר במחשב עם מעבד Ryzen 5600G, מאוד חזק לתצורה כזו, וכרטיס של אינטל עם שני פורטים של SFP+ :

התוצאה די מאכזבת... ללא Packet steering ליבה אחת הייתה על 100% והשאר על 0, ולא נתקבל כל רוחב הפס. עם Packet steering התוצאה מאוזנת יותר אך עדיין לא טובה מבחינת עומס:

משהו מאד לא אופטימאלי בקונפיגורציה הזו. אין לי זמן לדבג את זה לצערי.

עריכה: כהערת אגב - אני משתמש במחשב הזה כ- VPN Gateway עם Wireguard, גם עם OpenWRT. במקרה זה הקצבים המתקבלים הם טובים מאד, מעבר לכל התקן עם מעבד ARM (כי מעורבת הצפנה כפי הנראה). ההבדל היחידי בין התצורה הזו לבדיקה שתיארתי בפוסט הזה הוא ה- PPPOE....

[MaorParizat]

מישהו פה עשה מעבר לרשת 5G
ויכול להגיד מה התצורה המומלצת ?
ואיזה ציוד הוא התקין

[elxyzad]

החלטתי לבדוק גם מחשב x86 לשם השוואה. מדובר במחשב עם מעבד Ryzen 5600G, מאוד חזק לתצורה כזו, וכרטיס של אינטל עם שני פורטים של SFP+ :
about.png

התוצאה די מאכזבת... ללא Packet steering ליבה אחת הייתה על 100% והשאר על 0, ולא נתקבל כל רוחב הפס. עם Packet steering התוצאה מאוזנת יותר אך עדיין לא טובה מבחינת עומס:
x86-2.png

משהו מאד לא אופטימאלי בקונפיגורציה הזו. אין לי זמן לדבג את זה לצערי.

עריכה: כהערת אגב - אני משתמש במחשב הזה כ- VPN Gateway עם Wireguard, גם עם OpenWRT. במקרה זה הקצבים המתקבלים הם טובים מאד, מעבר לכל התקן עם מעבד ARM (כי מעורבת הצפנה כפי הנראה). ההבדל היחידי בין התצורה הזו לבדיקה שתיארתי בפוסט הזה הוא ה- PPPOE....

...

למה מאכזבת? זה נראה לי צפוי, אתה חייב להשתמש בcpu בסופו של דבר.
תנסה להפעיל Software offloading.
בגלל שמדובר בשימוש בcpu, תנסה לקמפל את הקרנל עם O3, אולי תראה שיפור

[DanielGR]

למה מאכזבת? זה נראה לי צפוי, אתה חייב להשתמש בcpu בסופו של דבר.
תנסה להפעיל Software offloading.
בגלל שמדובר בשימוש בcpu, תנסה לקמפל את הקרנל עם O3, אולי תראה שיפור

...

זה מאכזב כי מדובר במעבד Desktop חזק (6 ליבות 12 threads ופיזור הספק 65w). על פי מה שנראה הוא "יסחוב" חיבור כזה, אבל לא הרבה מעבר. אם יתווספו חוקים נוספים ב- Firewall מעבר למינימום בבדיקה הזו - קיים ספק אם לא תיווצר בעיית ביצועים. אני בדרך כלל משתמש במחשב הזה כ- VPN Gateway, כאשר הוא יוצר Wireguard tunnel דרך חיבור אינטרנט קיים. לשם השוואה (אותו PEER אותן שעות, OpenWRT, וממוצע):
- AX6S קצב 550mbps
- מדיהטק 7621 קצב 400mbps
- BPI R4 קצב 900mbps
- N100 קצב 1Gbps
- מעבד זה: 1.5Gbps
ולגבי מעבד זה, התוצאה מושגת כאשר הליבות לא מגיעות ל-100% כלומר הגעתי כנראה למגבלות החיבור - לא הציוד. מתאר שימוש כאמור מערב הצפנה, שהיא מורכבת חישובית, והמעבד הזה מניב תוצאות הטובות בפער משמעותי מכל השאר.

את אותו מחשב חיברתי כנתב הכי פשוט - OpenWRT חיוג PPPOE וכל השאר ברירת מחדל, התוצאות בפוסט הקודם. הפקטור היחיד המשמעותי שהשתנה הוא הורדת ההצפנה, והוספת PPPOE. התוצאות האלה עקביות עם מה שציין @itfan . בזהירות הנדרשת נראה שמשהו לא יעיל במימוש של PPPOE. אותו חוסר יעילות פחות בא לידי ביטוי בקצבים נמוכים יותר, והעליה בעומס היא לא 1:1 כפונקציה של מהירות החיבור כפי שציין @elxyzad

[elxyzad]

אני רק אמרתי שבהינתן שה routeros הזה מבוסס לינוקס, אפשר להגיע לאותן תוצאות.
כנראה שמופעל שם flow offloading ב default, בגלל זה אמרתי לנסות להפעיל software offload.
חוץ מזה תנסה לקמפל עם O3.

[DanielGR]

תודה, מופעל Software offload - אלה התוצאות, אין שינוי אם מופעל לא לא. מה שכן גרם לשינוי זה Packet steering.

[elxyzad]

תודה, מופעל Software offload - אלה התוצאות, אין שינוי אם מופעל לא לא. מה שכן גרם לשינוי זה Packet steering.

...

ואיך התוצאות עם RouterOS?
אם אתה רוצה לבנות בעצמך אני יכול להביא לך כמה דרכים לשיפור ביצועים

[DanielGR]

עם router OS לא בדקתי, אין זמן. כן מעניין אותי לבנות בעצמי, אתפנה לזה בעוד שבוע. תודה רבה

[DanielGR]

הייתי מאד סקרן אז בדקתי עם Router OS כאשר ניתן להוריד גרסה מהאתר של מיקרוטיק:

והתוצאות:

כמעט בסדר גודל יותר טובות. מסקנות ביניים:
- אפשר להגיע לביצועים כאלו על חומרת x86
- צוואר הבקבוק הוא כפי הנראה ה- PPPOE Clinet שמאד לא אופטימאלי
לגבי ההתבססות על לינוקס: גם UDM למיניהם מתבססים על לינוקס, כנראה יותר קרוב ל- Vanila, ובעיות הביצועים בהתאם. Router OS הינה Fork של לינוקס, אבל יותר מ-20 שנה היא קוד סגור, ואי אפשר לדעת במדויק מה שינו שם. אבל חד משמעית - הביצועים טובים יותר, ובפער לא קטן.

[DanielGR]

אגב, התוצאות ש-@DanielGR קיבל די תואמות השוואות ביצועים שעשיתי על מחשבי x86. יש לי "מחשבון" כזה עם 4 פורטים של 2.5G (כרטיסי אינטל i225) ומעבד חלש ועתיק יחסית (Celeron N2840). עם RouterOS הוא מצליח לנתב את מלוא המהירות של 2.5G בחיבור דרך חייגן PPPoE. עם OpenWrt הוא מגיע בקושי ל-1.2G.

...

נראה כך