בזק סיב 5Gb עם ציוד פרטי

[DanielGR]

למה אתה משתמש בX520?
למה אתה צריך OFFLOADING?

...

במכונה הספציפית הזו הרשת המובנית היא X710 ונמצאת בשימוש אחר, מותקן כרטיס רשת נוסף מסוג X520-DA2 שבו השתמשתי. כל שאר הרשת היא SFP PLUS המחוברת לפורט אחד של X520 בכבל DAC, ובפורט השני מודול SFP PLUS to RJ45, ומשם לממיר הסיב GF10C.

זה לא שצריך או חייבים Offloading, זו התצורה שנותנת את עומס ה-CPU. הכי נמוך לצורך השוואה. התצורה הזו תסחוב גם ללא Offloading

[DanielGR]

הערה נוספת:

מטרת השירשור הזה היא לשתף תצורות וניסיון עם ציוד פרטי וחיבור בזק 5Gbps.

מי שיש ברשותו או שוקל לקנות מוצר מדף הכולל חיבורים של 10G - ההנחה היא שיעבוד ולכן חלק מהדיון הזה לא יעניין אותו.

לעומת זאת ישנם פתרונות של DIY מבוססי X86 או ARM, ובחירת החומרה כן רלוונטית. במקרה הזה כן מעניין לשתף את הביצועים עבור חומרה שונה, וחשוב גם להבין מה מרווח הביצועים - Headroom שקיים עבור הרצת שירותים נוספים על אותה מכונה, שירותים שפוטנציאלית יעמיסו את המכונה כגון VPN או IDS.


לכן בדקתי עבור תצורות שונות של חומרה - מספר מערכות הפעלה, ביניהן OpenWRT, CHR, OpenSense, Vyos. עבור כל תצורה בדקתי עד כמה ניתן לשפר את הביצועים כדי לקבל Headroom מקסימלי. זה בוודאי לא אומר שמומלץ או נכון להפעיל את התצורה כך, זה אומר שניתן להגיע למספרים האלו.

[TomerHorowitz]

היי אשמח לעזרה אם למישהו יש דרך לעזור.

קניתי את SDX631 ADTRAN מ-Ebay כי להבנתי זה הציוד הכי טוב מכל הרשימה שבזק מאשרת כרגע.

הציוד עבד מדהים, עד שבזק פתאום חסמו אותי - לאחר שיחה עם כמעט כל השרשרת האחראית אצלהם הם הסבירו לי שה-Firmware שעל הציוד שלי לא מאושר (הם לא ידעו להגיד אם זה משהו שישתנה בין לילה, או משהו שהיה קיים כל הזמן אבל הם לא אכפו אותו עד עכשיו).

בכל מקרה, הם אמרו לי שאני יכול להשתמש בציוד הזה רק עם הגרסת קושחה ״24_2-2-a״, ושהם (בזק) לא מספקים אותה אז אצטרך להשיג אותה לבד.

עכשיו, חיפשתי בכל חור באינטרנט, אבל לא מצאתי שום דרך להשיג את הגרסה הזאת. מפה ניסיתי ליצור קשר עם Adtran וזה מה שהם כתבו לי חזרה:

ניסיתי לשאול את בזק שוב, והם נתנו לי את אותו תשובה. אז עכשיו אני במצב שבזק מפנים אותי ל-Adtran, ו-Adtran מפנים אותי לבזק.

אחרי כמה ימים של אותו פינג פונג עם שניהם, החלטתי להחליף לנסות ציוד פרטי אחר - GoFiber GF10SK XGS-PON 10G, הבעיה היא שמאז שעברתי ל-GoFiber, היציבות של האינטרנט שלי הדרדרה משמעותית:

אתם יכולים לראות בגרף:
עד 14 בינואר הייתי עם Adtran SDX631
מה-14-19 הייתי עם ציוד 2.5 ישן שהיה לי בזמן שחיכיתי ל-GoFiber
מה-19 עברתי ל-Gofiber

לאחר מכן, הגרף הרבה פחות יציב.
זה בוודאות לא הציוד שאני משתמש, בגלל שהרואטר שלי זה:
https://shop.opnsense.com/product/dec38 ... appliance/

לסיכום: האם מישהו כאן יודע איך להשיג את גרסת הקושחה ״24_2-2-a״ של SDX631 ADTRAN שבזק מאשרים?

[DanielGR]

היי אשמח לעזרה אם למישהו יש דרך לעזור.

קניתי את SDX631 ADTRAN מ-Ebay כי להבנתי זה הציוד הכי טוב מכל הרשימה שבזק מאשרת כרגע.

הציוד עבד מדהים, עד שבזק פתאום חסמו אותי - לאחר שיחה עם כמעט כל השרשרת האחראית אצלהם הם הסבירו לי שה-Firmware שעל הציוד שלי לא מאושר (הם לא ידעו להגיד אם זה משהו שישתנה בין לילה, או משהו שהיה קיים כל הזמן אבל הם לא אכפו אותו עד עכשיו).

בכל מקרה, הם אמרו לי שאני יכול להשתמש בציוד הזה רק עם הגרסת קושחה ״24_2-2-a״, ושהם (בזק) לא מספקים אותה אז אצטרך להשיג אותה לבד.

עכשיו, חיפשתי בכל חור באינטרנט, אבל לא מצאתי שום דרך להשיג את הגרסה הזאת. מפה ניסיתי ליצור קשר עם Adtran וזה מה שהם כתבו לי חזרה:
image.png
ניסיתי לשאול את בזק שוב, והם נתנו לי את אותו תשובה. אז עכשיו אני במצב שבזק מפנים אותי ל-Adtran, ו-Adtran מפנים אותי לבזק.

אחרי כמה ימים של אותו פינג פונג עם שניהם, החלטתי להחליף לנסות ציוד פרטי אחר - GoFiber GF10SK XGS-PON 10G, הבעיה היא שמאז שעברתי ל-GoFiber, היציבות של האינטרנט שלי הדרדרה משמעותית:
image.png

אתם יכולים לראות בגרף:
עד 14 בינואר הייתי עם Adtran SDX631
מה-14-19 הייתי עם ציוד 2.5 ישן שהיה לי בזמן שחיכיתי ל-GoFiber
מה-19 עברתי ל-Gofiber

לאחר מכן, הגרף הרבה פחות יציב.
זה בוודאות לא הציוד שאני משתמש, בגלל שהרואטר שלי זה:
https://shop.opnsense.com/product/dec38 ... appliance/

לסיכום: האם מישהו כאן יודע איך להשיג את גרסת הקושחה ״24_2-2-a״ של SDX631 ADTRAN שבזק מאשרים?

...

בעיה… הציוד הזה (ONT Bridge) לא נמכר בערוצי Retail רגילים כמו נתבים ונקודות גישה אלחוטיות. היצרנים מוכרים לספקיות, ורק דרכם ללקוח הסופי. מסיבה זו היצרן לא תומך בלקוחות הסופיים (כדי להוריד עלויות) אלא בספקיות בלבד.

ניתן למצוא באיביי או מקומות ספציפיים ציוד כזה, כאשר המוכרים משיגים אותו ממלאי שמיועד לספקיות, ומצא את עצמו במקום אחר. בהחלט ייתכן שמה שניתן למצוא היא גרסה Customized לספקית ספציפית שממנה הגיע המלאי. סתם סיפור רקע, רכשתי GF10SK מלאסטפרייס, הגיע עם מדבקה שחורה שכיסתה על מדבקה מקורית, הסתקרנתי והסרתי אותה והמדבקה המקורית היתה של פרטנר תקשורת… במקור יועד לפרטנר.

כל זה הוא חלק מבלוף גדול: הרגולטור מחייב לאפשר ציוד פרטי שזה יפה, אבל רכיב מפתח שהוא ה-ONT קשה להשגה ממקורות שאינן הספקיות עצמן, ואם ניתן להשיג, לא בטוח שהקושחה מתאימה. (רשימת הציוד התואם מכילה גם גרסת קושחה). יש ספקיות הגונות כמו סלקום הנותנים את הממיר בחינם, השאר מרוויחים כסף מהלקונה הזאת.

ספציפית במקרה הזה צריך לקוות שלא מדובר בגרסה שהיא Customized עבור בזק כי אז יהיה כמעט בלתי אפשרי להשיג ללא עזרה מבזק.

מצטער שבכל ההסבר הזה אין פיתרון.

עריכה: לגבי הבדיקה (מעניין מה ואיך זה בודק) יש אכן שוני ונראה פחות טוב, אבל עדיין בחלק משמעותי של המקרים זה לא יורד מסף די גבוה.

[sabres]

עוד לקח לעתיד: לא לקנות שום ציוד "נתמך" מרשימת הציוד של ספקיות האינטרנט אם אין לך אפשרות בתור לקוח להשיג\לשנמך\לעדכן את הקושחה שהוא מגיע איתה.
העובדה שבזק כוללת את הציוד הזה ברשימה בזמן שהיא יודעת ש-ADTRAN לא מתעסקת בשום צורה עם לקוחות פרטיים ואין ללקוח שום סיכוי להשיג את הקושחה הזאת, היא חתיכת מלכודת מכוערת.

[DanielGR]

עוד לקח לעתיד: לא לקנות שום ציוד "נתמך" מרשימת הציוד של ספקיות האינטרנט אם אין לך אפשרות בתור לקוח להשיג\לשנמך\לעדכן את הקושחה שהוא מגיע איתה.
העובדה שבזק כוללת את הציוד הזה ברשימה בזמן שהיא יודעת ש-ADTRAN לא מתעסקת בשום צורה עם לקוחות פרטיים ואין ללקוח שום סיכוי להשיג את הקושחה הזאת, היא חתיכת מלכודת מכוערת.

...

מסכים לחלוטין. רשימת הציוד הנתמך של בזק היא ארוכה למדי ומפורטת. אבל… בבחינה מדוקדקת מסתבר שמספר מאד מצומצם של אפשרויות מהרשימה ניתן להשגה, ומשכך לא מושגת המטרה העיקרית שהיא אפשרות לבחירה צרכנית אמיתית.
מי שמתכנן לרכוש ממקור שאיננו הספקיות או יבואן מהארץ - מומלץ מאד לוודא שמגיע עם גירסת הקושחה המאושרת על ידי הספקית בארץ. אחרת - עדיף לא להסתבך עם זה.

[DanielGR]

הי חברים, משתף מידע לגבי תצורה חדשה, בתקווה שיעניין, בהמשך לדיונים על תכונות נתבים וההתאמה לצרכים ספציפיים.

מדובר בנתב קווי מיקרוטיק ccr2004-1g-12s+2xs, המאפשר 12 פורטים של SFP PLUS, שני פורטים של SFP28, ופורט יחיד של גיגה המיועד לניהול. חיבור 5Gbps של בזק עובד היטב.

התצורה הזו מתאימה לסביבה שבה רוב החיבורים הם DAC או AOC (אצלי), ושני חיבורי ה-SFP28 הם יתרון משמעותי משום שניתן לחבר מחשב אחד, ו-NAS על 25Gbps. כרטיסי SFP28 וכבלים תואמים ירדו מאד במחיר, ניתן להשיג כרטיס כזה בעלי אקספרס ב-35 דולר - MCX4111-ACAT.

סייגים:
מסתבר שעשו כמה קיצורי דרך בתיכנון: אין לו למעשה Switch chip, אלא מה שהם קוראים Port extender, המשמעות היא שכל התעבורה עוברת דרך המעבד, והיא מוגבלת לרוחב הערוצים למעבד, ולכח החישוב. בפועל, תעבורה ברוחב פס מלא בין שני הפורטים של SFP28 מנצלת את כל הקיבולת של ההתקן, ובהתאם אי אפשר שכל הפורטים יעבירו תעבורה ברוחב פס מלא בו זמנית. לכן זה לא Switch למרות שבמבט חטוף נראה שכן.

פרט לכך עובד מאד יציב, כולל חיבורי SFP28, וכאשר מחברים בעיקר DAC ו-AOC אין בעיה של חימום או רעש מאווררים. העלות היא 580 דולר מאמזון כולל מיסים ומשלוח.

[itfan]

מדובר בנתב קווי מיקרוטיק ccr2004-1g-12s+2xs, המאפשר 12 פורטים של SFP PLUS, שני פורטים של SFP28, ופורט יחיד של גיגה המיועד לניהול. חיבור 5Gbps של בזק עובד היטב.

...

הצעה לניסוי מעניין: תבדוק מהי המהירות המקסימלית שהוא יכול לנתב בה בחיבור דרך חייגן PPPoE. אם יש לך שני מחשבים עם כרטיסי SFP28, אפשרי שאחד מהם ישמש כשרת PPPoE וגם כשרת iperf (או iperf3) והשני יהיה iperf client שממנו תמדוד. מערכת ההפעלה יכולה להיות OpenWrt על שניהם (כמובן שעל ה-client אפשר גם פשוט להריץ Windows, אם המעבד מספיק חזק).

[DanielGR]

ננסה, תמיד עניין אותי מה התוספת השולית של העומס הנגרם על ידי PPPOE מעבר לניתוב ״רגיל״ בלבד.

הייתי מעדיף ששרת ה-PPPOE ושרת ה-iPerf לא יהיו על אותו מחשב (בקצבים כאלו), נבדוק שיש לי מספיק נקודות.

אינפורמציה נוספת: מהירות המעבד קבועה על 2Ghz, ניצול המעבד בהעברת 5Gbps הוא בסביבות 40% מאוזן פחות או יותר על כל הליבות.

[itfan]

אינפורמציה נוספת: מהירות המעבד קבועה על 2Ghz, ניצול המעבד בהעברת 5Gbps הוא בסביבות 40% מאוזן פחות או יותר על כל הליבות.

...

מנסיוני, במדידות speedtest יש גם תלות בשרת שמולו בודקים. מה קורה אצלך מול השרת של Cellcom שנמצא בראש העין (מספר 46049)?

[DanielGR]

בדקתי:

מוזר מאד, העומס לא מאוזן על כל הליבות...

אותה בדיקה על RB5009:

חזרתי על הבדיקה מספר פעמים לוודא שהתוצאה לא אקראית, זה קורה במספר שרתי בדיקה, לא רק בזה. מה שמוזר לי שזה לא הופיע קודם.. נבדוק עוד.
עריכה: נראה כמו באג… תורים פר Interface אמורים להיות מטופלים אוטומטית

[DanielGR]

הצעה לניסוי מעניין: תבדוק מהי המהירות המקסימלית שהוא יכול לנתב בה בחיבור דרך חייגן PPPoE. אם יש לך שני מחשבים עם כרטיסי SFP28, אפשרי שאחד מהם ישמש כשרת PPPoE וגם כשרת iperf (או iperf3) והשני יהיה iperf client שממנו תמדוד. מערכת ההפעלה יכולה להיות OpenWrt על שניהם (כמובן שעל ה-client אפשר גם פשוט להריץ Windows, אם המעבד מספיק חזק).

...

יגיע עוד כרטיס עם שני פורטים של SFP28, אבצע את הבדיקה ואעדכן

[DanielGR]

הגעתי לזה, תצורת הבדיקה:

מחשב Client -> נתב CCR2004 -> מחשב שרת

מחשב השרת מריץ OpenWRT ומוגדר בו שרת rp-pppoe

CCR2004 עם Fasttrack

הבדיקה היא עם iperf3, מוגדרים 10 לינקים מקבילים
התוצאה:

קצת בעייתי... ליבה אחת על 100%, אבל יכול להעביר 10Gbps עם PPPOE. נראה שיש בעיה בגרסאות האחרונות, אם העומס יהיה שווה ניתן יהיה לדחוף יותר. חשוב לציין שללא Fasttrack ניתן להעביר רק 3Gbps, גם בדקתי

ליתר ביטחון בדקתי שהשרת המריץ את ה- PPPOE Server לא נחנק, אין בעיה:

לסיכום:
במצב bridging ניתן להעביר דרך הפורטים של SFP28 כ-22Gbps כאשר כל התעבורה עוברת דרך המעבד, אין HW Offloading
עם Fasttrack ניתן להעביר 10Gbps PPPOE, יש פוטנציאל לשיפור אם יתקנו את בעיית העומס על הליבות. ללא Fasttrack ניתן להעביר 3Gbps
נחזור על הבדיקה בגרסאות הבאות של ROS
@itfan תודה על הרעיונות

[itfan]

מוזר מאוד העניין הזה שכל העומס נופל על ליבה אחת. האם ניסית לראות איך זה מושפע משינויים בתדירות המעבד (ככל שזה ניתן לשינוי)? למשל, מצב שבו התדירות משתנה אוטומטית מול תדירות קבועה וגם אופציות של נעילת התדירות למשהו קבוע אבל נמוך יותר.

[DanielGR]

מוזר מאוד העניין הזה שכל העומס נופל על ליבה אחת. האם ניסית לראות איך זה מושפע משינויים בתדירות המעבד (ככל שזה ניתן לשינוי)? למשל, מצב שבו התדירות משתנה אוטומטית מול תדירות קבועה וגם אופציות של נעילת התדירות למשהו קבוע אבל נמוך יותר.

...

אכן מוזר, ובפרט שאני משוכנע שזה לא היה כך, וב-CHR ו-5009, זה גם לא קורה.

בדגם הזה אין אפשרות לשנות את תדר השעון, הוא נעול על 2Ghz. אחזור על הבדיקות כשתצא גרסה חדשה.

[DanielGR]

לחבר את הפוסטים האחרונים לנושא של השירשור- בזק סיב 5Gb עם ציוד פרטי.

מיקרוטיק חברה מעולה להבנתי: הציוד אמין, ישנו הרבה מאד תיעוד זמין, והתמורה למחיר טובה. האפשרויות שיש במערכת ההפעלה הן רבות ומגוונות, אם כי יש עקומת לימוד.

RB5009 הוא נתב מצוין, קומפקטי, קירור פאסיבי, והביצועים טובים. עם פורט יחיד של SFP PLUS הוא אידאלי עבור חיבור של 2.5Gbps, ותואם באופן מלא למודול SFP של בזק. ה-RB5009 יסחוב בקלות גם חיבור של 5Gbps אם כי ההגדרה יותר מורכבת בגלל הפורט 10Gbהיחיד.

CCR2004 משתייך לסגמנט אחר של השוק, הוא גדול יותר, ועם קירור אקטיבי, והחיבורים הרבה יותר גמישים. אבל, כנתב, היתרונות שלו פחות באים לידי ביטוי בחיבור 5Gbps, וללא צרכים מיוחדים. מי שרוצה חיבורי SFP28 עדיף לו להסתפק ב-RB5009, בשילוב עם סוויץ׳ crs518-16xs-2xq-rm. החיסרון:?עלות גבוהה של הסוויץ׳ יותר מ-800 דולר לפני מיסים.

במחשבה נוספת ישנם דגמים של ציוד ביתי לחלוטין של ASUS ודומיו שמתומחר ביותר מאלף דולר… ברור שהמוצרים שונים לגמרי, ואין כאן השוואה ישירה אבל זה כן אינדיקציה כמה אנשים מוכנים להוציא על הציוד תקשורת שלהם.

עריכה: טעות שלי לגבי הדגם של SFP28 שאליו התכוונתי , מדובר ב- CRS510-8XS-2XQ-IN

[rm1]

מבחינת מחיר וביצועים לא עדיף כבר Banna R4 ו SFP+ Switch

[DanielGR]

מבחינת מחיר וביצועים לא עדיף כבר Banna R4 ו SFP+ Switch

...

לגבי נתב 10G שיש לו יכולות Offload טובות מאד - R4 הוא הפיתרון הכי קוסט אפקטיבי שיש היום. OpenWRT בלבד או לינוקס.

היכן ההבדל? מוצרי מיקרוטיק מופצים במספרים גדולים, ולשווקים מאד תובעניים. המספרים בכמה סידרי גודל יותר גדולים מאשר Banana Pi. המוצר, תהליכי התכנון, והמשוב מהשוק בסוף תורמים לאיכות גבוהה יותר.

התיכנון של RB5009 הוא מצויין, כאשר כל המארז הוא גוף קירור אחד גדול עם צלעות קירור. אי אפשר לומר את זה על BPI R4, במיוחד עם מודול WiFi 7.
גם איכות הבניה של CCR2004 היא טובה מאד.

האם יש לזה משמעות בחיבור ביתי או שמוצר איכותי שעולה יותר זה ביזבוז כסף? הדעות חלוקות.

[DanielGR]

@itfan

התוצאות האלו לא מצאו חן בעיני אז התחלתי מהתחלה: איפסתי את הקונפיגורציה של הנתב מכל המשחקים והגדרתי מחדש, וכמו כן השתמשתי במכונת בדיקה Bare metal ולא Virtualized (לא נראה שזה היה צוואר הבקבוק אבל בכל זאת). התוצאות:

והעומסים:

נראה הרבה יותר טוב, וקרוב יותר לציפיות - 15Gbps מעל PPPOE. אם הם יתקנו את בעיית העומסים ניתן יהיה להגיע ליותר. במצב Bridging ניתן להגיע ל-21Gbps בין שני הממשקים של SFP28. מכונה חביבה למדי ה- CCR2004...

[MichaelIvensky]

אני חייב להודות ולהתנצל, התבלבלתי. בתור בור בעולם תקשורת הפייבר, מישהו יכול לסכם? אם אני משלם לחלאות בבזק על 5 גיגהביט אינטרנט, אבל ממש רוצה לזרוק את קופסת הזבל שלהם, להביא איזה ראוטר אנושי תומך OpenWRT, מה האופציות שלי? יש GATEWAY שמוכנים לספוג את החוט פייבר של בזק כמו שהוא? ברידג'ים שיתנו לי את כל הרוחב פס שלי? סטיק SFP שיכול להכנס לראוטר גנראי כלשהו בעל חיבור תואם?