PPPOe offloading / Half bridge

DanielGR · שליחה 15/12/2024 22:51

היי חברים,

מסתבר ש- PPPOe כן יוצר אתגר ביצועים:

ב- UDM ונגזרותיו הביצועים גרועים מאד באופן שלא ניתן לקבל קצבים מעל 2.5G למרות שהחומרה מסוגלת לזה
ב- OPNSense / pfSense למרות השימוש ב- VirtIO או RSS יש ליבה אחת עמוסה יותר מהאחרות, מה שקובע בסופו של דבר את הקצבים שניתן לקבל עבור חומרה ספציפית, או לחילופין, זה מוריד את ה- Headroom הקיים עבור שרותים נוספים שמעמיסים גם הם את המעבד
ב- OpenWRT עם הרבה Tweaks ניתן להגיע למצב משביע רצון של עומסים מאוזנים ונמוכים

וכנראה שיש עוד דוגמאות. מצד שני PPPOe לא תורם דבר (זה לא יותר מאובטח לצורך העניין) פרט לנוחות של הספקית שיכולה להשתמש בחלק מה- Legacy מימי ה- xDSL.

הרעיון והשאלה היא זו:

ניתן להגדיר קופסה או VM שתבצע אימות ו- PPPOe בלבד. כל פונקציות ה- NAT, Routing, Firewall יתבצעו על ידי הנתב הקיים כפי שהוא, רק ללא העומס הנוסף של PPPOe. הנתב הקיים יתחבר לאותה קופסה או VM ב- DHCP.

באופן הזה ניתן להשתמש באותו "PPPOe Bridge" במערכת הפעלה שתהיה האופטימלית ביותר לשירות כזה, וכל שאר הפונקציות ניתנות לשימוש בהתאם למה שהמשתמש מעדיף ולצרכיו.

OpenWRT מזכירים את הנושא, זה נקרא Half Bridge - ואין דוגמא:

https://openwrt.org/docs/guide-user/net ... ridge-mode

יש לי רעיון כללי איך להגדיר כזה דבר ב- OpenWRT ללא ניתוב וללא Firewall, (עם ניתוב זה לא בעיה אבל לא עשינו כלום). האם מישהו ניתקל בקונפיגורציה דומה? רעיונות?

כיוון נוסף יכול להיות דגם של GoFiber GF10SK שהוא Bridge ONT בעל יכולות L3 כמו PPPOe (מדף המידע שלהם)
https://gofiber.ai/product/gf10sk/ וכמובן שלא בטוח שאפשר - פשוט מעניין

אשמח לדעתכם המלומדת

rm1 · שליחה 16/12/2024 1:16

כל נתב/תוכנה שאפשר להגדיר בה שרת ב DMZ שיקבל את כל הפניות מבחוץ יעשה את העבודה (לא בטוח שיעמוד ב 10G אבל תנסה

)
זה יצור למעשה NAT כפול אבל שקוף שמעביר הכול ל- FW הפנימי שיוגדר כיעד ב DMZ

OMRIJ · שליחה 16/12/2024 8:41

ניסיתי לשחק עם זה בעבר, אבל הגעתי בסוף למסקנה שאין בזה באמת צורך. המעבד במכשיר כמו ms-01 כל כך חזק שזה לא באמת מגביל בשום צורה.
מפתיע אותי שעם virtio אתה לא רואה חלוקה שווה של העומס על הליבות.

dr0r · שליחה 16/12/2024 15:05

PPPoE זו הדרך של הספקיות להתעלל בנו למוות.
בדירה הקודמת שלי היה לי חיבור עם תשתית פרטנר, והם הואילו להעיף את התועבה הזו, ולתת לי חיבור DHCP נקי.
בדירה הנוכחית פרטנר העבירו את הסיבים ברחוב לפני שהבניין נבנה, אז למרות שיש עיגול שלהם במדרכה ממש בכניסה לבניין, ולמרות שלבניינים ממול יש, אצלנו הם מחברים רק דרך תשתית בזק - ולטענתם אין להם אפשרות להסיר את זה.

MrYair · שליחה 16/12/2024 21:05

אתה יכול לעשות את זה אם ראוטר שתומך ב nat 1:1 אבל אתה צריך בישביל זה איפי קבוע,
עשיתי את זה אם אודיוקודק של בזק,
הגדרתי לו חייגן של פרטנר אם איפי קבוע ועשיתי עליו nat 1:1 לכיוון כתובת lan מקומית 172.18.10.2

תוצאה סופית זה שאודיוקודק של בזק עושה את כל החיבור של החייגן ומעביר את התעבורה as is לכיוון 172.18.10.2
שמוגדר על פיירוול של פורטיגייט 100e מבחינת הפיירוול הוא רואה את התעבורה שקוף.

האודיוקודק לא עושה שום דבר פרט ל pppoe ו nat 1:1 כל השאר השירותים שלו מבוטלים כולל הוויפי.

עובד פצצה.

אתה גם יכול להקים מכונה של לינוקס להגדיר חייגן nat 1:1 חוקים ב iptables כדי שהמכונה לא תהיה חשופה לעולם.
ורגל lan שלה תגדיר בפיירוול שלך.

MrYair · שליחה 16/12/2024 21:09

16/12/2024 15:05
dr0r כתב: PPPoE זו הדרך של הספקיות להתעלל בנו למוות.
בדירה הקודמת שלי היה לי חיבור עם תשתית פרטנר, והם הואילו להעיף את התועבה הזו, ולתת לי חיבור DHCP נקי.
בדירה הנוכחית פרטנר העבירו את הסיבים ברחוב לפני שהבניין נבנה, אז למרות שיש עיגול שלהם במדרכה ממש בכניסה לבניין, ולמרות שלבניינים ממול יש, אצלנו הם מחברים רק דרך תשתית בזק - ולטענתם אין להם אפשרות להסיר את זה.
...

כן ממש התעללות מוות,
כל הספקיות שרוכבות על סיבים של בזק החיבור הוא רק pppoe בגלל שתשתית של בזק
לא בנויה לחלק ב dhcp,היתרון זה שבזק זה gpon לעומת זאת אני מחובר אם dhcp בפרטנר p2p
אבל בגלל שזה p2p אם אין חשמל במעלית אין לי אינטרנט זה המינוס היחידי.

DanielGR · שליחה 16/12/2024 22:35

16/12/2024 21:05
MrYair כתב: אתה יכול לעשות את זה אם ראוטר שתומך ב nat 1:1 אבל אתה צריך בישביל זה איפי קבוע,
עשיתי את זה אם אודיוקודק של בזק,
הגדרתי לו חייגן של פרטנר אם איפי קבוע ועשיתי עליו nat 1:1 לכיוון כתובת lan מקומית 172.18.10.2

תוצאה סופית זה שאודיוקודק של בזק עושה את כל החיבור של החייגן ומעביר את התעבורה as is לכיוון 172.18.10.2
שמוגדר על פיירוול של פורטיגייט 100e מבחינת הפיירוול הוא רואה את התעבורה שקוף.

האודיוקודק לא עושה שום דבר פרט ל pppoe ו nat 1:1 כל השאר השירותים שלו מבוטלים כולל הוויפי.

עובד פצצה.

אתה גם יכול להקים מכונה של לינוקס להגדיר חייגן nat 1:1 חוקים ב iptables כדי שהמכונה לא תהיה חשופה לעולם.
ורגל lan שלה תגדיר בפיירוול שלך.
...

תודה,

זה מקרה פרטי ומנוון של Double NAT, החיבור בוודאי עובד אבל NAT של 1:1 הוא עדיין NAT. מה שחיפשתי זה משהו מינימליסטי ביותר שלא יצרוך שום משאבים פרט לפתיחה של ה-PPPOE Payload, ולא שייוצר צוואר בקבוק חדש.

על איזה קצבים בדקת את זה?

הטריגר לדיון הוא שיש בעיית ביצועים בשימוש ב-PPPOE אבל היא בעיקר באה לידי ביטוי בקצבים גבוהים, בוודאי ב-5Gbps, ב-1Gbps זה די לא רלוונטי.

elxyzad · שליחה 17/12/2024 8:53

אפשר לעשות את מה שאתה רוצה, אפילו שהbridge לא עושה routing בעצמו. אבל אתה תצטרך לעשות את זה עם eBPF או לשנות קוד של מודולים בקרנל.
תסתכל על הקוד של bridger של openwrt

dr0r · שליחה 17/12/2024 9:12

16/12/2024 21:09
MrYair כתב: כן ממש התעללות מוות,
כל הספקיות שרוכבות על סיבים של בזק החיבור הוא רק pppoe בגלל שתשתית של בזק
לא בנויה לחלק ב dhcp,היתרון זה שבזק זה gpon לעומת זאת אני מחובר אם dhcp בפרטנר p2p
אבל בגלל שזה p2p אם אין חשמל במעלית אין לי אינטרנט זה המינוס היחידי.
...

כן, דיברתי על זה עם מתקין של פרטנר (שישב אצלי שעות כדי לגרום למערכת שלהם לקבל את ה-SFP). התשתית של ה-P2P כל כך יקרה שזה יותר משתלם להם לעבוד מעל ה-GPON של בזק, גם אם הם מרוויחים פחות.

sigamore · שליחה 17/12/2024 12:09

17/12/2024 9:12
dr0r כתב: כן, דיברתי על זה עם מתקין של פרטנר (שישב אצלי שעות כדי לגרום למערכת שלהם לקבל את ה-SFP). התשתית של ה-P2P כל כך יקרה שזה יותר משתלם להם לעבוד מעל ה-GPON של בזק, גם אם הם מרוויחים פחות.
...

זו הסיבה שאני ״נאחז״ בחיבור ה P2P הקיים של פרטנר .... השכונה בה אני מתגורר רושתה כולה על ידי פרטנר עוד בימים שבזק לא היו בתמונה ורק סלקום ופרנטר שלטו בסצנת הסיבים (אנלימיטד ככל הידוע לי מעולם לא הגיעו למודיעין). מבירורים שעשיתי, מסתמן שאין להם תכנית לשנות את מה שכבר קיים בשנים הקרובות אבל זה כמובן יכול להשתנות ברגע שיצוצו בעיות תחזוקה וכד׳ ...

dr0r · שליחה 17/12/2024 12:27

17/12/2024 12:09
sigamore כתב: זו הסיבה שאני ״נאחז״ בחיבור ה P2P הקיים של פרטנר .... השכונה בה אני מתגורר רושתה כולה על ידי פרטנר עוד בימים שבזק לא היו בתמונה ורק סלקום ופרנטר שלטו בסצנת הסיבים (אנלימיטד ככל הידוע לי מעולם לא הגיעו למודיעין). מבירורים שעשיתי, מסתמן שאין להם תכנית לשנות את מה שכבר קיים בשנים הקרובות אבל זה כמובן יכול להשתנות ברגע שיצוצו בעיות תחזוקה וכד׳ ...
...

גם אצלנו הם פרסו, אבל בנו את הבניין כמה שנים אחרי כן.
P2P נפלאה ברמת לקוח, אבל כנראה יקרה מדי לספק התשתית. אם פרטנר היו פורסים GPON לבניינים חדשים זה היה מצויין - אפשר היה להיפטר מה-PPPoE שבזק סתם גוררים איתם מימי ה-ADSL. הבעיה היא שהמעבר רחוק מלהיות טריוויאלי, אז בינתיים אנחנו תקועים עם התשתית של בזק...

DanielGR · שליחה 17/12/2024 12:28

לשים דברים בפרספקטיבה:

זה לא שיש צורך ״נואש״ לפתור את הבעיה הזו. בחיבורים בקצבים של 1Gbps ו- 2.5Gbps זה די Non issue, בקצבים של 5Gbps זה גם פתיר, צריך לשים לב לחומרה שמשתמשים בה במקרה של X86, וייתכן שצריך גם Tweaks, יש ניואנסים כאלו.

חומרה חזקה יותר היא פיתרון Brute force, ופתרונות כאלו עד גבול מסוים - עובדים. שחיבור של 10G יהיה זמין יהיה צורך בפיתרון אחר.

OMRIJ · שליחה 17/12/2024 12:54

Gpon לא אומר PPPOE...
זאת רק הדרך שבחרו ליישם אוטנטיקציה בחלק מהספקיות בארץ (בעולם זה הולך ונעלם)
בהוט יש חיבור gpon ללא חייגן

MrYair · שליחה 17/12/2024 19:34

16/12/2024 22:35
DanielGR כתב: תודה,

זה מקרה פרטי ומנוון של Double NAT, החיבור בוודאי עובד אבל NAT של 1:1 הוא עדיין NAT. מה שחיפשתי זה משהו מינימליסטי ביותר שלא יצרוך שום משאבים פרט לפתיחה של ה-PPPOE Payload, ולא שייוצר צוואר בקבוק חדש.

על איזה קצבים בדקת את זה?

הטריגר לדיון הוא שיש בעיית ביצועים בשימוש ב-PPPOE אבל היא בעיקר באה לידי ביטוי בקצבים גבוהים, בוודאי ב-5Gbps, ב-1Gbps זה די לא רלוונטי.
...

נכון זה nat אבל ב nat 1:1 אין לך צורך בהפניית פורטים משה nat 1:1 עושה זה מתרגם איפי קבוע חיצוני לכתובת lan פנימית
לכן כל התעבורה שמגיע מבחינת פיירוול קצה התעבורה שקופה לגמרי.

האודיוקודק של בזק בחיבור חייגן סחב בלי בעיה סביב 850+ ו 100 העלאה יציב,זה ראוטר יחסית ישן שלהם שבזק משתמשת בו לטובת לקוחות
סנטריקס שלהם.
אפשר לעשות איתו מלא דברים רק חבל שהחומרה שלו לא חזקה,
אפשר אפילו להגדיר אליו קו voip של כל נותן שירות voip.
יש לו גם כניסת sfp וגם מודם vdsl מובנה.

אם אתה מריץ פיירוול בצורת vm על פרוקסמוקס או esxi תרים מכונת לינוקס תגדיר חייגן אם nat ו iptables רק בישביל המכונה לא תהיה חשופה
מצד החייגן תגדיר nat 1:1 ואת הכתובת lan של המכונה תציג לפיירוול,משכן שוב אתה חייב איפי קבוע,אישית לא מצאתי דרך לגרום לזה לעבוד אם איפי דינאמי.

dr0r · שליחה 17/12/2024 22:01

17/12/2024 12:54
OMRIJ כתב: Gpon לא אומר PPPOE...
זאת רק הדרך שבחרו ליישם אוטנטיקציה בחלק מהספקיות בארץ (בעולם זה הולך ונעלם)
...

נכון, זה מה שאמרתי, שאם היה לפרטנר GPON זה היה מצויין. זה רק בזק שתקועים בעידן האבן.

17/12/2024 12:54
OMRIJ כתב: בהוט יש חיבור gpon ללא חייגן
...

אבל אז אתה תקוע עם הוט...

OMRIJ · שליחה 17/12/2024 22:27

יש לפרטנר גם רשת gpon, כל הפריסה החדשה שלהם היא gpon.

לגבי הוט, צודק:)

MrYair · שליחה 18/12/2024 8:21

17/12/2024 22:27
OMRIJ כתב: יש לפרטנר גם רשת gpon, כל הפריסה החדשה שלהם היא gpon.

לגבי הוט, צודק:)
...

הבנתי שפרטנר רוכבים על gpon של בזק לא? או שהם פורסים סיבים משלהם בתצורת gpon?

OMRIJ · שליחה 18/12/2024 9:13

הם גם פורסים וגם רוכבים על בזק ו ibc

dr0r · שליחה 18/12/2024 9:40

השאלה היא איך מבוצע המעבר. עובר לי ליד הבית סיב ל-P2P, שכנראה משמש גם את הבניינים ממול. אם בשביל לפרוס אצלנו GPON הם צריכים להחליף את המערכת בכל הבניינים ברחוב שכבר מחוברים ל-P2P, זה לעולם לא יקרה. הם בנו את התשתית שלהם בצורה מאוד מסודרת, הם לא בזק שתלו תיבות על עצים כמו בהודו... הסיכוי שהתשתית תעשה להם צרות ברמה שתצדיק החלפה הוא אפסי, ואני בספק אם הם יעבירות תשתית כפולה. האפשרות היחידה שמשהו ישתנה היא אם עבודות המטרו ישמידו להם את התשתית (ובמדינת חלם ממש לא אתפלא).

OMRIJ · שליחה 18/12/2024 10:05

הם יחליפו תשתית כשירצו לספק על התשתית שלהם מהירויות גבוהות יותר. היום הפתרון שלהם הוא להשתמש בתשתית של IBC/בזק, אבל מן הסתם במקרה כזה, הרווח שלהם קטן יותר.