בזק סיב 5Gb עם ציוד פרטי

[itfan]

התוצאה די מאכזבת... ללא Packet steering ליבה אחת הייתה על 100% והשאר על 0, ולא נתקבל כל רוחב הפס. עם Packet steering התוצאה מאוזנת יותר אך עדיין לא טובה מבחינת עומס:

...

אמנם החייגן PPPoE ב-OpenWrt הוא בעל ביצועים ירודים ביחס לזה של RouterOS, אבל עדיין, אין לי בעיה למדוד את מלוא רוחב הפס שבזק משווקים בתור 2.5G (והוא בפועל סביב 2.2G) עם OpenWrt שרצה על מעבד Celeron N5100 שהתדירות שלו נעולה לפחות מ-1.1GHz (ע"י ביטול הטורבו שאתו הוא מגיע ל-2.8GHz). המעבד שלך חזק לפחות פי 10 מזה והוא לא אמור להיות מאותגר בשום צורה במהירות 5G. כמה הערות:

1) במעבדים עם תדירות משתנה, אין הרבה משמעות לאחוזי הניצול של הליבות כשלעצמם (50% ניצול בתדירות 4GHz זה בערך כמו 100% ניצול בתדירות 2GHz) ול-OpenWrt יש נטייה להחזיק את תדירות המעבדים נמוך יחסית (אפילו מתחת למהירות המינימום הרשמית שלהם). אם תשתמש ב-btop במקום ב-htop, תקבל גם קריאה של תדירות המעבד וזה ייתן לנו מושג הרבה יותר טוב מה קורה. לחליפין (ואפילו עדיף, אם ניתן), אפשר לנעול את תדירות המעבד (ב-BIOS, אם יש כזאת אופצייה). ההערה הזו, אגב, רלוונטית גם ל-RB5009 (אם אתה רוצה שאחוזי הניצול של הליבות יהיו בעלי משמעות, תנעל את תדירות המעבד ל1.4GHz).

2) גם אם ליבה אחת של המעבד שלך בתדירות טורבו מספיקה בשביל "לסחוב" 5G, על רקע ריבוי הליבות, לא ברור אם עומס על ליבה אחת מספיק בשביל לגרום למערכת להרים את התדירות למה שנדרש (אז במקרה כזה לא בלתי הגיוני ש-Packet Steering אכן יהיה דרוש, גם עם מעבד כזה חזק).

3) אם גם אחרי "שקלול" ענייני התדירות אתה מגיע למסקנה שהמעבד שלך "מאותגר" עם OpenWrt במהירות 5G, אז קרוב לוודאי שאכן יש לך בעיה שדורשת דיבוג (יש מצב שהמדידות שלך הן ב-IPv6?).

[OMRIJ]

נסה לשנות בopenwrt את הscaling governor ל performance, סיכוי טוב שיקפיץ את מהירות השעון

echo performance | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

[elxyzad]

הייתי מאד סקרן אז בדקתי עם Router OS כאשר ניתן להוריד גרסה מהאתר של מיקרוטיק:
X86-ROS-About.png

והתוצאות:
X86-ROS.png

כמעט בסדר גודל יותר טובות. מסקנות ביניים:
- אפשר להגיע לביצועים כאלו על חומרת x86
- צוואר הבקבוק הוא כפי הנראה ה- PPPOE Clinet שמאד לא אופטימאלי
לגבי ההתבססות על לינוקס: גם UDM למיניהם מתבססים על לינוקס, כנראה יותר קרוב ל- Vanila, ובעיות הביצועים בהתאם. Router OS הינה Fork של לינוקס, אבל יותר מ-20 שנה היא קוד סגור, ואי אפשר לדעת במדויק מה שינו שם. אבל חד משמעית - הביצועים טובים יותר, ובפער לא קטן.

...

תנסה את ה IMAGE הזה
https://easyupload.io/jrm8kt

[DanielGR]

תנסה את ה IMAGE הזה
https://easyupload.io/jrm8kt

...

תודה, נבדוק

[DanielGR]

@elxyzad יפה !!

צריך Packet steering להגיע לזה. אגב, מהירות המעבד הייתה קבועה 3Ghz, הרבה פחות מה- Base clock שהוא 3.9Ghz, ובוודאי פחות מהטורבו שהוא 4.4Ghz

מה השינויים? אשמח לבנות בעצמי. תודה רבה!

[elxyzad]

@elxyzad יפה !!

Test1.png

צריך Packet steering להגיע לזה. אגב, מהירות המעבד הייתה קבועה 3Ghz, הרבה פחות מה- Base clock שהוא 3.9Ghz, ובוודאי פחות מהטורבו שהוא 4.4Ghz

מה השינויים? אשמח לבנות בעצמי. תודה רבה!

...

אתה יכול לעשות כמו ש @OMRIJ אמר בשביל הבדיקה, אבל עדיף לעבוד עם on_demand

עשיתי כמה אופטימיזציות על רגל אחת כמו:
- O3
- תמיכה ב extensions נוספים (לא ידעתי במה המעבד שלך תומך ולא היה לי כח לחפש, אז ניחשתי)
- בקרנל branch predictions hints

יש עוד המון דברים שאפשר לעשות.
Openwrt על x86 פשוט לא מיועד למי שלא עושה אופטימיזציות בעצמו

[DanielGR]

אפשר לסכם:

שיחזרתי את ה-Build, על מנת לקבל ביצועים טובים מספיק לקמפל עם O3, הרבה תודה לכל מי מי שעזר.

בהתייחס לכותרת השירשור, התצורות הבאות נבדקו עד כה ומספקות את הקצב המוצהר:

- נתב מיקרוטיק RB5009 בתצורת Router on a Stick, ומתג מנוהל
- Banana PI R4
- מחשב X86 עם כרטיס רשת אינטל X520-DA2 שני פורטים של SFP+, ו-OpenWRT.

נתב מיקרוטיק וה-Banana Pi R4 עבדו מיד ללא צורך בהתאמות, הקונפיגורציה של מיקרוטיק מעט מורכבת למי שלא מכיר, וצרפתי סקריפט הגדרה שנבדק ועובד למי שמעוניין. X86 גם פתור בסופו של דבר תודות לעזרה מחברי הפורום. מעבר לכך הדיון מאד מעניין.

נראה שהאופציה הכי קוסט אפקטיבית כרגע היא Banana PI R4, ה- Setup פשוט, ורק צריך להוסיף מודול SFP+ to RJ45 לחיבור הברידג׳ של בזק.

זה ממצה את החומרה שיש לי, אם יש משתמשים עם ציוד נוסף שמעוניינים להתחבר ולבדוק - נוכל להרחיב את הרשימה.

[DanielGR]

@elxyzad

מסתבר שאפשר לשפר בעוד מספר אחוזים את התוצאה בשימוש CFLAGS ספציפית לארכיטקטורה וסט פקודות של המעבד. במקרה הזה AMD ZEN3

התוצאה הטובה ביותר התקבלה עם הפרמטרים האלו:

קוד: בחירת הכל

-O3 -march=znver3

כל האופציות כאן:
https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html

אותה תצורה סוחבת Tunnel Wireguard לארה"ב בקצב 2Gbps ונצולת CPU של 60%-70%, מאד יפה

[elxyzad]

@elxyzad

מסתבר שאפשר לשפר בעוד מספר אחוזים את התוצאה בשימוש CFLAGS ספציפית לארכיטקטורה וסט פקודות של המעבד. במקרה הזה AMD ZEN3

התוצאה הטובה ביותר התקבלה עם הפרמטרים האלו:

קוד: בחירת הכל

-O3 -march=znver3

כל האופציות כאן:
https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html
Optimized.png

אותה תצורה סוחבת Tunnel Wireguard לארה"ב בקצב 2Gbps ונצולת CPU של 60%-70%, מאד יפה

...

אמרתי לך, יש עוד המון דברים שאפשר לעשות.
זה עוד לפני שהתחלת להתעסק עם קונפיגורציה של הקרנל!
אתה יכול גם לעשות שינויים ידניים ב hot paths ובכלל להגיע לשיפור רציני..

אבל קח בחשבון שאופטימזציות של קומפיילר יכולות גם להרוס.

[OMRIJ]

אותה תצורה סוחבת Tunnel Wireguard לארה"ב בקצב 2Gbps ונצולת CPU של 60%-70%, מאד יפה

...

אתה יכול לבדוק את "המקסימום" עם זה
https://forum.openwrt.org/t/a-wireguard ... -db/187586

[elxyzad]

@elxyzad

מסתבר שאפשר לשפר בעוד מספר אחוזים את התוצאה בשימוש CFLAGS ספציפית לארכיטקטורה וסט פקודות של המעבד. במקרה הזה AMD ZEN3

התוצאה הטובה ביותר התקבלה עם הפרמטרים האלו:

קוד: בחירת הכל

-O3 -march=znver3

כל האופציות כאן:
https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html
Optimized.png

אותה תצורה סוחבת Tunnel Wireguard לארה"ב בקצב 2Gbps ונצולת CPU של 60%-70%, מאד יפה

...

תנסה את ה patches להפעלת lto עם gcc

https://github.com/CachyOS/kernel-patch ... sc/gcc-lto

יכול להיות שתצטרך לשנות קצת ידנית.
מעניין איך זה ישפיע..

[DanielGR]

תנסה את ה patches להפעלת lto עם gcc

https://github.com/CachyOS/kernel-patch ... sc/gcc-lto

יכול להיות שתצטרך לשנות קצת ידנית.
מעניין איך זה ישפיע..

...

האם גרסאות ה-Kernel לא תואמות?

[elxyzad]

האם גרסאות ה-Kernel לא תואמות?

...

איזה גרסה אתה מקמפל?
רוב הסיכויים שזה יתאים ל6.6, אם לא אז תשנה ידנית את ה offsets.
אם זה 6.1 אז יש שם פאטץ' מתאים לגרסה

[DanielGR]

איזה גרסה אתה מקמפל?
רוב הסיכויים שזה יתאים ל6.6, אם לא אז תשנה ידנית את ה offsets.
אם זה 6.1 אז יש שם פאטץ' מתאים לגרסה

...

6.6. הקוד עושה בוודאי עוד דברים אבל האם את העיקר אי אפשר לבדוק עם CONFIG_USE_LTO=y ?

[OMRIJ]

באמת שחייבים להעריך את המחוייבות שלכם להתעסקות עם הפיירוול

[elxyzad]

6.6. הקוד עושה בוודאי עוד דברים אבל האם את העיקר אי אפשר לבדוק עם CONFIG_USE_LTO=y ?

...

לא, אין תמיכה ב LTO עם gcc בקרנל. יש רק עם clang שלא נתמך ב openwrt.
זה לא סתם להפעיל compilation flag, כמו שאתה רואה בפאטץ', אתה צריך לוודא שפונקציות חשובות לחומרה לא יעלמו במהלך ה lto, זה משהו שצריך לדאוג לעשות מראש.

[DanielGR]

לא, אין תמיכה ב LTO עם gcc בקרנל. יש רק עם clang שלא נתמך ב openwrt.
זה לא סתם להפעיל compilation flag, כמו שאתה רואה בפאטץ', אתה צריך לוודא שפונקציות חשובות לחומרה לא יעלמו במהלך ה lto, זה משהו שצריך לדאוג לעשות מראש.

...

הפרוייקט של CachyOS נראה מאד מעניין. עם זאת ההתאמות והבדיקות ל-Kernel 6.6 הן מעבר לפרויקט של אחר הצהריים פנוי (לפחות עבורי). תודה רבה בכל מקרה.

[elxyzad]

הפרוייקט של CachyOS נראה מאד מעניין. עם זאת ההתאמות והבדיקות ל-Kernel 6.6 הן מעבר לפרויקט של אחר הצהריים פנוי (לפחות עבורי). תודה רבה בכל מקרה.

...

לא מכיר אותם אפילו, פשוט הפאטץ' הזה ממתין כבר שנים לאישור ויש כאלה שפשוט מוסיפים אותו, אז חיפשתי אחד לדוגמה ומצאתי את זה.

סך הכל הוא לא מורכב ואני מאמין שהוא יכנס חלק.

[elxyzad]

טוב, עדכנתי את הפאטץ' ל6.6 (היו כמה שינויים) וזה עשה מה שהוא צריך לעשות.
רק שתהליך הlto נכשל... אני חושב שאני יודע למה וזה יהיה סיוט לסדר את זה

[Batnun]

מישהו ניסה במהירויות האלה להשתמש ב-VyOS (על x86 בלבד)? זה קוד פתוח וביצועים ברמת Enterprise...
אומנם אין GUI אבל ה-CLI מעולה ומאוד דומה ל-Juniper.

ה-Rolling Release/nightly builds הם חופשיים להורדה כאן:

https://vyos.io


Batnun

.