בזק סיב 5Gb עם ציוד פרטי

[tzah]

מה הוא כבר מתכנן לשמור ביחידת ה- NAS זה רק הוא יכול לספק לנו, אבל תתפלא שיש גם לא מעט אנשים ששומרים ב"יחידת ה- NAS" שלהם בבית דברים אחרים וצריכים גם נפחים אחרים של אחסון ברשת ביתית. כמו למשל כל ההקלטות וידאו משפחתיים של עשרות שנים אחורנית. והקלטות אלה, כוללות גם הקלטות באיכות של 4K מהשנים האחרונות, שלא צולמו עם פלאפון, אלה עם מצלמה אמתית שמייצרת גם קבצים בנפחים "טיפה" שונים ממה שמכירים אלה שמצלמים עם פלאפון. ולשימושים כאלה מן הסתם שמה שהצעת לא יכול לעזור בכלום. מבלי כבר לדבר על אלה ששומרים את הסרטי 4K שהורידו מהרשת ושכל סרט כזה לוקח בין 60 ל 100 ג'יגה. ובדרך כלל מדובר על כמויות מעשרות רבות עד למאות של סרטים כאלה באוסף הביתי, שכל הזמן רק גודל אצל אנשים אלה.
ואפילו זה עוד לפני אלה שגם עובדים מהבית ועובדים בתחום של מדיה ושומרים על ה NAS בבית את החומרים שהם מצלמים ואורכים לצורך העבודה שלהם.
וכמובן שלכל זה יש את "כ"כ הרבה פתרונות חומרה מבוססי Open Source", שחלק קטן מבניהם זה פתרונות חומרה מבוססי Open Source שפירטתי כבר בעמוד הקודם של הדיון זה, שהגבת עליו.
וכמובן גם ש Banana Pi R4 הוא לא אחד מהפתרונות שמתאים לצרכים או לדרישות אלה.

כך שאין מה לעשות, ועל פתרונות חומרה מבוססי Open Source משלמים לפעמים "טיפ טיפה" יותר מ 500$, אבל משלמים על החומרה עצמה בלבד ולא על תוכנה, שבפתרונות הקנייניים, לעומת זה, חלק ניכר מהמחיר המוצר משלמים גם על התוכנה, על מיתוג ופרסום של היצרן.

...

OMG . סרט וידאו משפחתי בגודל 100 גיגה? אני מסתפק באיכות 1080P
זה מזכיר לי משתמשים שאוהבים להוריד סרטים בכמויות לא נורמליות משרתי טורנטים ושומרים אותם בבית על גבי שרת מקומי.
רק אלוהים יודע כיצד הגעת לעלות מעורכת של 500 דולר רק על חומרה מבוססת Open Source

[OMRIJ]

1. אפשר, כאשר ה- ONT שיש לך נמצא ברשימת הציוד התואם של בזק, לצורך זה הרשימה נוצרה
2. צריך לעבור תהליך של אקטיבציה עם ה-ID של הציוד
3. אפשר לבצע אקטיבציה טלפונית ללא טכנאי, אני מניח שטכנאי מגיע כדי לבדוק את עוצמת החיבור ליתר ביטחון. במקרה שלי הטכנאי לא עשה דבר חוץ מלאקטב את ה- ONT ועבד מיד

הערות נוספות:
הכבלים והסוויץ' טובים, הסייג היחיד הוא המחיר, ניתן למצוא ציוד טוב (מנסיון) בעלי אקספרס, אם המחיר לא שיקול תישאר עם זה
כרטיס הרשת הוא מאלנוקס ConnectX 4 התומך ב-25G, זה מיותר, אפשר ללכת על ConnectX 3 התומך ב-10G ויותר זול. לשם השוואה - ConnectX 4 בעלי אקספרס עולה בסביבות 35 דולר.

ביליתי את השבועיים האחרונים בבדיקה של שני מחשבים, TOPTON N305, ו- Minisforum MS-01, ומספר מערכות הפעלה. ספציפית לגבי Opensense, אם מתקינים ללא ווירטואליזציה צריך להפעיל Receive side scaling - RSS אחרת ליבה אחת לוקחת את רוב העומס ומגיעה קרוב ל-100%. וירטואליזציה עם Passthrough - תופעה דומה. וירטואליזציה עם virtio - יותר טוב מבחינת איזון עומס אבל מבדיקת ה- Host - בעומס תעבורה מלא הוא נחנק... שלוש ליבות מתוך 8 על 100% (נבדק על Proxmox).
בסוף - התצורה שכן עובדת עם 5Gbps היא Proxmox, Passthrough, עם RSS, ו- CPU governor על Performance ב- Host, וב-Opensense לקבוע את PowerD על Maximum. עוד חשוב לציין שבדקתי בעבר את OpenSense על מחשב אחר, ו-RSS עבד היטב, ועם המחשב הזה לא באותה מידה, וכנראה ש-RSS הוא גם תלוי חומרה. (תוצאות בדיקה קודמת בשירשור הזה)

ספציפית עם N305 התוצאות הטובות ביותר נתקבלו עם OpenWRT גרסת Snapshot מקומפלת עם אופטימיזציות (ראה בשירשור הזה). התקנה על Proxmox עם Passthrough. ארבע ליבות שהוקצו מגיעים ל-35% נצולת בעומס תעבורה מלא.

החומרה של ה- Minisforum הרבה יותר חזקה ויש פחות צורך להתעסק עם אופטימיזציות כי הוא יסחוב הכל. המחיר הוא חיסרון, אבל רק ההפרש של רכישת כל הציוד ההקפי לא מאמזון או UBNT גדול מההפרש בין ה- TOPTON ל- Minisforum, אבל כפי שביקשת - לא ניפתח דיון על העלויות.

יש בפורום מומחים גדולים ממני ל- pfSense / OpenSense אז כל הערות והארות יתקבלו בברכה.

...

בקשר לאחוזים של הניצול של המעבד
מציע גם לבדוק מה התדר האפקטיבי באותו זמן
יכול להיות שהניצול מגיע לעשרות אחוזים, אבל התדר מאוד נמוך. זה לפחות מה שאני רואה אצלי.

[DanielGR]

בקשר לאחוזים של הניצול של המעבד
מציע גם לבדוק מה התדר האפקטיבי באותו זמן
יכול להיות שהניצול מגיע לעשרות אחוזים, אבל התדר מאוד נמוך. זה לפחות מה שאני רואה אצלי.

...

תודה, בהמשך לעצתך כאן:

viewtopic.php?t=391405&start=75#p3337122+

כל הבדיקות התבצעו שה- Governor ב-Host הוא על Performance. כמו כן BTOP מראה גם את מהירות השעון שאכן עולה.

[OMRIJ]

עולה כן, לא נשארת ב400
אבל גם לא עולה למקסימום (או קרוב)
לפחות אצלי זה המצב במעבד דומה

[sys_admin]

OMG . סרט וידאו משפחתי בגודל 100 גיגה? אני מסתפק באיכות 1080P

...

יכול להיות שאתה מסתפק באיכות 1080P, אבל יש כאלה שכבר שמעו על הפלא החדיש, שהגיע עליינו בסך הכל לפני עשור ושמו של חידוש זה, הוא UHD או בשם אחר 4K. ויש כאלה שאפילו רכשו לצורך זה מסכי טלוויזיה מתאימים ומצלמות וידאו מתאימות ואחרי זה לא מובן למה, אבל גם רוצים לנצל את החידושים המרעישים אלה שרכשו לצפות במסכים שלהם בזיכרונות מהטיולים שלהם מלפני שנים ולראות את זה באיכות הנהוגה בעשור האחרון.

זה מזכיר לי משתמשים שאוהבים להוריד סרטים בכמויות לא נורמליות משרתי טורנטים ושומרים אותם בבית על גבי שרת מקומי.

...

דרך אגב, גם, אם אתה נזכר במשתמשים אלה, אז כדאי להיזכר גם שהסרטים שהם מורידים, אם הם גם באיכות של 4K וכל סרט כזה מופץ בשנים אחרונות גם במדיה שהנפח שלה הוא 100 או 120 ג'יגה. וגם כדאי להיזכר שכל המנגנון של טורנטים פועל כך שאת כל התוכן שם מורידים ממשתמשים אחרים ששומרים אותם בבית. וזה גם מה שמאפשר לרשת זו להתקיים. ואם, אף אחד לא שומר בבית על גבי שרת מקומי סרט כלשהוא משותף לרשת טורנט, אז הסרט זה גם לא יהיה זמין בה להורדה.

רק אלוהים יודע כיצד הגעת לעלות מעורכת של 500 דולר רק על חומרה מבוססת Open Source

...

אגלה לך עוד סוד אזרחי מפתיע ביותר. והוא, ש Open Source .... זה בכלל, לא... חומרה.
אלה שזה... כמה שזה לא ישמע בלתי אפשרי... תפיסה של תוכנה. שבתפיסה זו, מי שמפתח תוכנה כלשהי, משחרר גם את קוד מקור שלה, לרוב גם לגמרי בחינם, כך שכל אחד שרוצה לבצע בה שינויים יכול להשתמש בקוד מקור זה לצורך כך.
ותוכנה Open Source יכולה להיות מותקנת על חומרה שתעלה, 500 דולר, 50 דולר, 5000 דולר או כל מספר אחר של דולרים, שקלים או דרכמות וזה לא ישנה את המצב שהמערכת תהיה מבוססת על תוכנת Open Source.

[tzah]

יכול להיות שאתה מסתפק באיכות 1080P, אבל יש כאלה שכבר שמעו על הפלא החדיש, שהגיע עליינו בסך הכל לפני עשור ושמו של חידוש זה, הוא UHD או בשם אחר 4K. ויש כאלה שאפילו רכשו לצורך זה מסכי טלוויזיה מתאימים ומצלמות וידאו מתאימות ואחרי זה לא מובן למה, אבל גם רוצים לנצל את החידושים המרעישים אלה שרכשו לצפות במסכים שלהם בזיכרונות מהטיולים שלהם מלפני שנים ולראות את זה באיכות הנהוגה בעשור האחרון.



דרך אגב, גם, אם אתה נזכר במשתמשים אלה, אז כדאי להיזכר גם שהסרטים שהם מורידים, אם הם גם באיכות של 4K וכל סרט כזה מופץ בשנים אחרונות גם במדיה שהנפח שלה הוא 100 או 120 ג'יגה. וגם כדאי להיזכר שכל המנגנון של טורנטים פועל כך שאת כל התוכן שם מורידים ממשתמשים אחרים ששומרים אותם בבית. וזה גם מה שמאפשר לרשת זו להתקיים. ואם, אף אחד לא שומר בבית על גבי שרת מקומי סרט כלשהוא משותף לרשת טורנט, אז הסרט זה גם לא יהיה זמין בה להורדה.



אגלה לך עוד סוד אזרחי מפתיע ביותר. והוא, ש Open Source .... זה בכלל, לא... חומרה.
אלה שזה... כמה שזה לא ישמע בלתי אפשרי... תפיסה של תוכנה. שבתפיסה זו, מי שמפתח תוכנה כלשהי, משחרר גם את קוד מקור שלה, לרוב גם לגמרי בחינם, כך שכל אחד שרוצה לבצע בה שינויים יכול להשתמש בקוד מקור זה לצורך כך.
ותוכנה Open Source יכולה להיות מותקנת על חומרה שתעלה, 500 דולר, 50 דולר, 5000 דולר או כל מספר אחר של דולרים, שקלים או דרכמות וזה לא ישנה את המצב שהמערכת תהיה מבוססת על תוכנת Open Source.

...

צודק. המונח הנכון הוא חומרה מבוססת על Embedded. לדוגמא, בכל מה שקשור לארכיטקטטורת RISC הוא אכן Open Source Based ברמת חומרה ותוכנה , והוא גם פתוח ל- vendors ללא צורך ברשיונות לכן לא טעיתי. שתי התשובות נכונות!

[sys_admin]

צודק. המונח הנכון הוא חומרה מבוססת על Embedded. לדוגמא, בכל מה שקשור לארכיטקטטורת RISC הוא אכן Open Source Based ברמת חומרה ותוכנה , והוא גם פתוח ל- vendors ללא צורך ברשיונות לכן לא טעיתי. שתי התשובות נכונות!

...

לא, זה לא המונח הנכון. ועכשיו הסלט של מושגים לא נכונים שעשית עוד יותר ססגוני ומגוון.
אנסה עוד פעם לעשות טיפת סדר מבלי להיכנס ליותר מדי סיבוכים טכניים.

מושג של Embedded, זה קשור לתפיסה של סוג מערכת מחשוב, חומרה בעיקר, אבל גם בתוכנה שלה בעקיפין.
לעומתה, RISC, היא ארכיטקטורת מעבד. מערכת Embedded יכולה להתבסס על ארכיטקטורת RISC ויכולה להיות מבוססת על ארכיטקטורות אחרות.
ארכיטקטורת RISC, יכולה להיות מיושמת בפלטפורמה שהיא Embedded ויכולה גם בפלטפורמות אחרות.

ארכיטקטטורת RISC היא לא יכולה להיות Open Source Based ברמת חומרה, בגלל סיבה פשוטה ביותר והיא, שהמושג זה של Open Source מתייחס לתוכנה בלבד.

ארכיטקטטורת RISC היא לא חייבת בכלל להיות Open Source Based ברמת תוכנה. וזה בגלל סיבה פשוטה ביותר, שתפיסה של Open Source מתייחסת כפי שכבר כתבתי מקודם על זה שהמפתח משחרר קוד מקור לתוכנה שהוא כתב ולחומרה מושג זה של Open Source לא קשור בכלל. ותוכנה זו יכולה להיות מתאימה לפלטפורמה RISC או לכל אחת אחרת וזה לא קשור בכלל לכך שתוכנה זו היא Open Source.
מצד שני, לארכיטקטורת RISC חלק ניכר של התוכנות הן בכלל לא Open Source, אלה עם קוד סגור, שלא משוחרר על ידי המפתח.

למשל, יש בינינו כאלה שהפלאפונים שהם מחזיקים מבוססים על ארכיטקטורת Advanced RISC Machines , נניח מכשירים של APPLE למשל והתוכנה שם היא בכלל לא Open Source, עד כמה שבדקתי בפעם האחרונה.

מקווה שעכשיו כבר עשיתי לך טיפה יותר סדר במושגים עלה.

[DanielGR]

אכן כן. לחדד נקודה מסויימת ברשותכם: לגבי RISC, מדובר בעצם ב-Instructon set של המעבד, החלק הזה מוצע כקוד פתוח וללא תמלוגים, ומסמכי ההגדרה של ה-Instruction Set זמינים תחת רישיון של CC או BSD.

המשמעות היא שכל אדם יכול לקחת את המסמכים האלו ולתכנן גרסה משלו של מעבד או מערכת משולבת ללא צורך ברישוי או תמלוגים. זה שונה לחלוטין ממי שרוצה לבצע אותו דבר המבוסס על ARM, שם בוודאי צריך רישוי ותמלוגים.

כפי שצוין, התוכנה הנכתבת למעבדים אלה יכולה להיות Open source או Closed source - אין קשר.
כמו כן צריך לבצע אבחנה בין Royalty free ל- Open source, גם כאן אין זהות. תוכנה יכולה להיות בקוד סגור, וקניין רוחני של גוף או אדם, ועדיין להיות מופצת בחינם וללא תמלוגים

[elxyzad]

בטח שיש מושג של open source בחומרה...
למשל המעגלים של Sinovoip, הם מפרסמים את הסכמות החשמליות של המעגלים שלהם וכל אחד יכול להעתיק אותם. (למרות שהם קצת משקרים פה כי הם לא מפרסמים את כל המעגל והם בכלל לא מפרסמים את ה layout)
ויותר מזה, יש גם open source ברמת ה hdl.
RISC זו משפחה של ארכיטקטורות שנוקטות בגישה שכל instruction לוקח clock cycle אחד, להבדיל מ cisc שם רץ microcode

[borsood]

אכן כן. לחדד נקודה מסויימת ברשותכם: לגבי RISC, מדובר בעצם ב-Instructon set של המעבד, החלק הזה מוצע כקוד פתוח וללא תמלוגים, ומסמכי ההגדרה של ה-Instruction Set זמינים תחת רישיון של CC או BSD.

...

מתערבבים פה שני מושגים לא קשורים:
1. RISC הוא סוג של מבנה מעבד מאופיין במספר קטן יחסית של פקודות פשוטות כמו חיבור חיסור, קריאה וכתיבה לזיכרון, וביצוע פעולות קלט-פלט. המבנה השני הוא CISC שמכיל הרבה פקודות שחלקן יכולות להיות מאד מורכבות כמו "קח מטריצה בגודל מסוים מהזכרון, ותפעיל עליה טרנספורם פורייר מהיר ותשמור את התוצאה במקום אחר בזכרון. מעבד ה RISC הכי מוכר הוא ה ARM, ומעבד ה CISC הכי מוכר הוא X86 של אינטל.
שני המעבדים האלה אינם קוד פתוח ומי שרוצה לממש אותם חומרתית צריך לשלם הרבה כסף לבעלי הזכויות.

2. קוד פתוח, הוא לפי הגדרה תוכנה או חומרה שעומדת לפי רישיון, בתנאים מסויימים לרשות המשתמש, תוך כדי מתן האפשרות למשתמש לשנות את התכנון בלי לשלם סכומים גדולים של כסף. מה שמותר או אסור לעשות תלוי ברישיון המדוייק. יש כמה רישיונות כאלה. מערכת ההפעלה לינוקס היא דוגמה לתוכנת קוד פתוח, והבקר ארדואינו היא דוגמה לחומרת קוד פתוח.

מקווה שהבהרתי קצת את המונחים.

[DanielGR]

לדייק:

הייתי צריך להגדיר יותר במדוייק למה הכוונה, צריך להיות RISC-V. זהו פרויקט ספציפי שהחל בברקלי, וסט הפקודות הוא תחת רישיון קוד פתוח, BSD או CC. כמובן ש-RISC הוא מודל של יחידת עיבוד. הפרוייקט הזה הוא קוד פתוח, לא המודל. המשמעות היא שניתן לבנות תיכנונים של RISC-V ולשנות את התיכנונים הבסיסיים מבלי לבקש רשות או לשלם למישהו, דבר שאי אפשר לעשות ב-ARM. ובוודאי שלא עם X86.


בנוסף, מה בעצם הופך קוד, מסמכים, הגדרות, וכו׳ ל-Open source? אז הדבר היחיד הוא הרישיון שמצורף אליהם. כלומר עצם זה שמסמכי התיכנון, קוד המקור, הגדרות, קבצי מקור של אייקונים ופונטים וכיו״ב - זמינים ומופצים - לא הופך אותם ל- Open source. מה שכן קובע הוא ההסכם המצורף שמגדיר בלשון משפטית מה מותר לעשות עם האמור, ומה לא, ובאיזה תנאים. ישנם הרבה דוגמאות לכך, רישוי MIT, BSD, וכן ווריאנטים של GPL ועוד.

זה ש-SINOVOIP מפרסמים את כל המסמכים האלו לא אומר שניתן לקחת אותם, לייצר בדיוק אותו דבר, למכור, וכל זאת בלי לחטוף תביעה.

[elxyzad]

הבאתי את Sinovoip רק כדוגמה לקונספט של חומרה open source, הם כן טוענים שהכל פתוח, אבל לא נתקלתי בהגדרות רישיון כלשהן מצדם..
וכמובן שהם לא באמת משחררים את כל החומר הנדרש

[TomerHorowitz]

היי חברים, כתבתי בדיון הזה בשבועות האחרונים כמה פעמים.
היה אצלי טכנאי בזק היום (סוף סוף) ואיקטב אותי ל-5 - והו!

רק לצערי עדיין קיבלתי 2.5 עם הציוד שלי, אז אחרי קצת דיבוג, מצאתי ש-core אחד של המעבד מגיע ל-100% בזמן שהאחרים יושבים בשקט.

אז אחרי עוד קצת מחקר (שכלל גם קריאה של הפורום הזה), ביצעתי את השינויים הבאים:

1. net.inet.rss.enabled = 1
2. net.isr.maxthreads = -1
3. net.isr.bindthreads = 1
4. net.inet.rss.maxcpus = -1
5. net.inet.flowtable.enable = 1
6. Set System > Settings > Miscellaneous > PowerD to Maximum.

עשיתי ריסטרט, ובום:

עד לפה, הכל טוב ומהיר. אבל בגלל שמשהו בי היה קצת סקפטי, רציתי לבדוק iperf3 מ-opnsense ל-mainserver שלי, ולהלן התוצאות:

אבל, אם אני מריץ iperf3 מה-mainserver ל-backupserver שלי, אני מקבל:
(תמונה בתגובה הבאה בגלל הגבלה של האתר כנראה?)

למה זה קורה? אני מצפה לראות אותו הדבר שראיתי בין הסרברים שלי... זה היררכיית החומרה אם רלוונטי:
1. Adtran SDX 631
2. Ubiquiti’s Rj45 to SFP+ (1/2.5/5/10 Gbit/s)
3. Opnsense I3-N305 32GB 512GB - https://tinyurl.com/3cmmsh9p
4. USW Aggregation
5. ConnectX4 - https://www.amazon.com/gp/product/B0D39 ... UTF8&psc=1
6. Server / Backup Server

[TomerHorowitz]

[DanielGR]

האם אתה מריץ Bare metal או ווירטואליזציה? ואם ווירטואליזציה - איזו? האם כרטיסי הרשת הם Passthrough או וירטואלים?

כיצד מחוברים ה-Main וה- Backup? לא כל כך ברורה הטופולוגיה של הרשת

כמו כן חסר:

קוד: בחירת הכל

net.inet.rss.bits = X

כאשר X הוא בהתאם למספר הליבות המוקצות

קוד: בחירת הכל

for 4-core systems, use ‘2’

for 8-core systems, use ‘3’

for 16-core systems, use ‘4’

Etc.

וכאשר אתה מקבל את מלוא רוחב הפס, מה מצב העומס על הליבות השונות?

במבט נוסף יש פה עוד בעיה, שים לב לעמודה של retr - מדובר ב- Retransmission, לא אמור להיות ברשת מקומית

ןבדיקת תעבורה צריך לעשות עם מספר Streams במקביל, ו- Reverse, לדוגמא:

קוד: בחירת הכל

iperf3 -c iperf3.moji.fr -R -P 10

[TomerHorowitz]

האם אתה מריץ Bare metal או ווירטואליזציה? ואם ווירטואליזציה - איזו? האם כרטיסי הרשת הם Passthrough או וירטואלים?

כיצד מחוברים ה-Main וה- Backup? לא כל כך ברורה הטופולוגיה של הרשת

כמו כן חסר:

קוד: בחירת הכל

net.inet.rss.bits = X

כאשר X הוא בהתאם למספר הליבות המוקצות

קוד: בחירת הכל

for 4-core systems, use ‘2’

for 8-core systems, use ‘3’

for 16-core systems, use ‘4’

Etc.

וכאשר אתה מקבל את מלוא רוחב הפס, מה מצב העומס על הליבות השונות?

במבט נוסף יש פה עוד בעיה, שים לב לעמודה של retr - מדובר ב- Retransmission, לא אמור להיות ברשת מקומית

ןבדיקת תעבורה צריך לעשות עם מספר Streams במקביל, ו- Reverse, לדוגמא:

קוד: בחירת הכל

iperf3 -c iperf3.moji.fr -R -P 10

...

היי תודה על התגובה הזריזה!

1. מריץ Baremetal
2. ממש בקצרה: Servers -> Aggregation Switch -> Opnsense
3. אתה תותח. יש למעבד 8 cores עם 8 threads, אז מגדיר את הערך 3.
4. אני עושה ריסטרט עם ההגדרה החדשה ואבדוק - אערוך את התגובה הזאת עוד כמה דק׳.

5. גם את זה אעשה מחדש כפי שכתבת ואכניס בעריכת התגובה עוד כמה דק׳.

קוד: בחירת הכל

tomerh2001@mainserver:~$ iperf3 -s
-----------------------------------------------------------
Server listening on 5201 (test #1)
-----------------------------------------------------------
Accepted connection from 10.40.0.1, port 7164
[  5] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 47392
[  8] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 41172
[ 10] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 48914
[ 12] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 17195
[ 14] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 56702
[ 16] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 22212
[ 18] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 22052
[ 20] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 43733
[ 22] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 42680
[ 24] local 10.40.0.4 port 5201 connected to 10.40.0.1 port 23615
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  34.9 MBytes   293 Mbits/sec   36    222 KBytes       
[  8]   0.00-1.00   sec   139 MBytes  1.17 Gbits/sec    5    509 KBytes       
[ 10]   0.00-1.00   sec  94.9 MBytes   796 Mbits/sec    7    556 KBytes       
[ 12]   0.00-1.00   sec   125 MBytes  1.05 Gbits/sec    6    536 KBytes       
[ 14]   0.00-1.00   sec   140 MBytes  1.17 Gbits/sec    5    550 KBytes       
[ 16]   0.00-1.00   sec   142 MBytes  1.19 Gbits/sec    7    588 KBytes       
[ 18]   0.00-1.00   sec   126 MBytes  1.05 Gbits/sec    6    602 KBytes       
[ 20]   0.00-1.00   sec  80.8 MBytes   677 Mbits/sec    0    761 KBytes       
[ 22]   0.00-1.00   sec  73.9 MBytes   620 Mbits/sec   29    430 KBytes       
[ 24]   0.00-1.00   sec  59.1 MBytes   496 Mbits/sec   42    372 KBytes       
[SUM]   0.00-1.00   sec  1015 MBytes  8.52 Gbits/sec  143             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  54.9 MBytes   460 Mbits/sec    0    335 KBytes       
[  8]   1.00-2.00   sec   158 MBytes  1.32 Gbits/sec    0    566 KBytes       
[ 10]   1.00-2.00   sec   146 MBytes  1.23 Gbits/sec    0    689 KBytes       
[ 12]   1.00-2.00   sec  37.5 MBytes   315 Mbits/sec    0    536 KBytes       
[ 14]   1.00-2.00   sec   155 MBytes  1.30 Gbits/sec    0    629 KBytes       
[ 16]   1.00-2.00   sec   156 MBytes  1.31 Gbits/sec    0    635 KBytes       
[ 18]   1.00-2.00   sec   141 MBytes  1.18 Gbits/sec    0    684 KBytes       
[ 20]   1.00-2.00   sec  36.2 MBytes   304 Mbits/sec    0    761 KBytes       
[ 22]   1.00-2.00   sec  33.8 MBytes   283 Mbits/sec    0    448 KBytes       
[ 24]   1.00-2.00   sec  44.0 MBytes   369 Mbits/sec    0    407 KBytes       
[SUM]   1.00-2.00   sec   963 MBytes  8.08 Gbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  73.0 MBytes   612 Mbits/sec   29    342 KBytes       
[  8]   2.00-3.00   sec   116 MBytes   975 Mbits/sec   14    413 KBytes       
[ 10]   2.00-3.00   sec   108 MBytes   902 Mbits/sec   30    417 KBytes       
[ 12]   2.00-3.00   sec  92.5 MBytes   776 Mbits/sec   11    430 KBytes       
[ 14]   2.00-3.00   sec   116 MBytes   975 Mbits/sec   13    430 KBytes       
[ 16]   2.00-3.00   sec   165 MBytes  1.38 Gbits/sec    5    444 KBytes       
[ 18]   2.00-3.00   sec   119 MBytes   996 Mbits/sec   16    540 KBytes       
[ 20]   2.00-3.00   sec  75.0 MBytes   629 Mbits/sec   14    840 KBytes       
[ 22]   2.00-3.00   sec  52.5 MBytes   440 Mbits/sec    8    387 KBytes       
[ 24]   2.00-3.00   sec  50.7 MBytes   425 Mbits/sec    7    366 KBytes       
[SUM]   2.00-3.00   sec   967 MBytes  8.12 Gbits/sec  147             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  50.6 MBytes   425 Mbits/sec    2    362 KBytes       
[  8]   3.00-4.00   sec   132 MBytes  1.11 Gbits/sec    6    457 KBytes       
[ 10]   3.00-4.00   sec  46.2 MBytes   388 Mbits/sec    4    389 KBytes       
[ 12]   3.00-4.00   sec   131 MBytes  1.10 Gbits/sec    2    471 KBytes       
[ 14]   3.00-4.00   sec   131 MBytes  1.10 Gbits/sec    2    468 KBytes       
[ 16]   3.00-4.00   sec   132 MBytes  1.11 Gbits/sec    5    478 KBytes       
[ 18]   3.00-4.00   sec   132 MBytes  1.11 Gbits/sec    4    485 KBytes       
[ 20]   3.00-4.00   sec   119 MBytes   996 Mbits/sec    0    939 KBytes       
[ 22]   3.00-4.00   sec  56.2 MBytes   472 Mbits/sec    1    392 KBytes       
[ 24]   3.00-4.00   sec  52.6 MBytes   442 Mbits/sec    1    378 KBytes       
[SUM]   3.00-4.00   sec   985 MBytes  8.26 Gbits/sec   27             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  48.2 MBytes   404 Mbits/sec    0    452 KBytes       
[  8]   4.00-5.00   sec   150 MBytes  1.26 Gbits/sec    3    533 KBytes       
[ 10]   4.00-5.00   sec  66.2 MBytes   556 Mbits/sec   11    400 KBytes       
[ 12]   4.00-5.00   sec   148 MBytes  1.24 Gbits/sec    2    537 KBytes       
[ 14]   4.00-5.00   sec   142 MBytes  1.20 Gbits/sec    3    533 KBytes       
[ 16]   4.00-5.00   sec   150 MBytes  1.26 Gbits/sec    3    537 KBytes       
[ 18]   4.00-5.00   sec   149 MBytes  1.25 Gbits/sec    2    537 KBytes       
[ 20]   4.00-5.00   sec  90.0 MBytes   755 Mbits/sec   49    718 KBytes       
[ 22]   4.00-5.00   sec  50.0 MBytes   419 Mbits/sec   15    337 KBytes       
[ 24]   4.00-5.00   sec  50.1 MBytes   421 Mbits/sec    0    472 KBytes       
[SUM]   4.00-5.00   sec  1.02 GBytes  8.75 Gbits/sec   88             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  41.8 MBytes   350 Mbits/sec   30    317 KBytes       
[  8]   5.00-6.00   sec   165 MBytes  1.38 Gbits/sec   63    328 KBytes       
[ 10]   5.00-6.00   sec  67.5 MBytes   566 Mbits/sec    6    315 KBytes       
[ 12]   5.00-6.00   sec   149 MBytes  1.25 Gbits/sec   30    358 KBytes       
[ 14]   5.00-6.00   sec   141 MBytes  1.18 Gbits/sec   26    351 KBytes       
[ 16]   5.00-6.00   sec   158 MBytes  1.32 Gbits/sec   26    455 KBytes       
[ 18]   5.00-6.00   sec   149 MBytes  1.25 Gbits/sec   37    338 KBytes       
[ 20]   5.00-6.00   sec  96.2 MBytes   807 Mbits/sec   49    368 KBytes       
[ 22]   5.00-6.00   sec  47.5 MBytes   398 Mbits/sec    6    318 KBytes       
[ 24]   5.00-6.00   sec  55.2 MBytes   463 Mbits/sec    7    397 KBytes       
[SUM]   5.00-6.00   sec  1.04 GBytes  8.97 Gbits/sec  280             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  52.1 MBytes   437 Mbits/sec   37    329 KBytes       
[  8]   6.00-7.00   sec   160 MBytes  1.34 Gbits/sec   64    505 KBytes       
[ 10]   6.00-7.00   sec  80.0 MBytes   671 Mbits/sec   20    387 KBytes       
[ 12]   6.00-7.00   sec   145 MBytes  1.22 Gbits/sec   17    502 KBytes       
[ 14]   6.00-7.00   sec   138 MBytes  1.15 Gbits/sec  101    424 KBytes       
[ 16]   6.00-7.00   sec   154 MBytes  1.29 Gbits/sec   21    537 KBytes       
[ 18]   6.00-7.00   sec   148 MBytes  1.24 Gbits/sec   13    484 KBytes       
[ 20]   6.00-7.00   sec  90.0 MBytes   755 Mbits/sec   35    421 KBytes       
[ 22]   6.00-7.00   sec  47.5 MBytes   398 Mbits/sec   22    327 KBytes       
[ 24]   6.00-7.00   sec  55.6 MBytes   466 Mbits/sec   19    380 KBytes       
[SUM]   6.00-7.00   sec  1.04 GBytes  8.97 Gbits/sec  349             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  49.7 MBytes   417 Mbits/sec    0    433 KBytes       
[  8]   7.00-8.00   sec   154 MBytes  1.29 Gbits/sec    7    331 KBytes       
[ 10]   7.00-8.00   sec  91.2 MBytes   765 Mbits/sec    0    537 KBytes       
[ 12]   7.00-8.00   sec   146 MBytes  1.23 Gbits/sec   15    331 KBytes       
[ 14]   7.00-8.00   sec   140 MBytes  1.17 Gbits/sec   19    416 KBytes       
[ 16]   7.00-8.00   sec   150 MBytes  1.26 Gbits/sec    5    477 KBytes       
[ 18]   7.00-8.00   sec   148 MBytes  1.24 Gbits/sec   12    324 KBytes       
[ 20]   7.00-8.00   sec  76.2 MBytes   640 Mbits/sec    0    518 KBytes       
[ 22]   7.00-8.00   sec  48.8 MBytes   409 Mbits/sec   13    301 KBytes       
[ 24]   7.00-8.00   sec  52.9 MBytes   444 Mbits/sec    1    335 KBytes       
[SUM]   7.00-8.00   sec  1.03 GBytes  8.86 Gbits/sec   72             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  53.5 MBytes   449 Mbits/sec    2    385 KBytes       
[  8]   8.00-9.00   sec   162 MBytes  1.36 Gbits/sec   44    481 KBytes       
[ 10]   8.00-9.00   sec  81.2 MBytes   682 Mbits/sec   22    475 KBytes       
[ 12]   8.00-9.00   sec   150 MBytes  1.26 Gbits/sec   28    468 KBytes       
[ 14]   8.00-9.00   sec   141 MBytes  1.18 Gbits/sec    4    481 KBytes       
[ 16]   8.00-9.00   sec   156 MBytes  1.31 Gbits/sec    9    527 KBytes       
[ 18]   8.00-9.00   sec   149 MBytes  1.25 Gbits/sec   38    460 KBytes       
[ 20]   8.00-9.00   sec  82.5 MBytes   692 Mbits/sec   36    469 KBytes       
[ 22]   8.00-9.00   sec  40.0 MBytes   336 Mbits/sec   15    293 KBytes       
[ 24]   8.00-9.00   sec  46.2 MBytes   387 Mbits/sec    8    321 KBytes       
[SUM]   8.00-9.00   sec  1.04 GBytes  8.91 Gbits/sec  206             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  56.5 MBytes   474 Mbits/sec    9    355 KBytes       
[  8]   9.00-10.00  sec   144 MBytes  1.21 Gbits/sec   18    450 KBytes       
[ 10]   9.00-10.00  sec   125 MBytes  1.05 Gbits/sec   18    462 KBytes       
[ 12]   9.00-10.00  sec   140 MBytes  1.17 Gbits/sec   18    451 KBytes       
[ 14]   9.00-10.00  sec   138 MBytes  1.15 Gbits/sec   18    457 KBytes       
[ 16]   9.00-10.00  sec   145 MBytes  1.22 Gbits/sec   16    457 KBytes       
[ 18]   9.00-10.00  sec   142 MBytes  1.20 Gbits/sec   19    445 KBytes       
[ 20]   9.00-10.00  sec  46.2 MBytes   388 Mbits/sec    6    349 KBytes       
[ 22]   9.00-10.00  sec  45.0 MBytes   377 Mbits/sec    1    293 KBytes       
[ 24]   9.00-10.00  sec  48.4 MBytes   406 Mbits/sec    4    313 KBytes       
[SUM]   9.00-10.00  sec  1.01 GBytes  8.64 Gbits/sec  127             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    355 KBytes       
[  8]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    450 KBytes       
[ 10]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    462 KBytes       
[ 12]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    451 KBytes       
[ 14]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    457 KBytes       
[ 16]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    457 KBytes       
[ 18]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    445 KBytes       
[ 20]  10.00-10.00  sec  1.25 MBytes  4.88 Gbits/sec    0    349 KBytes       
[ 22]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    293 KBytes       
[ 24]  10.00-10.00  sec  0.00 Bytes  0.00 bits/sec    0    313 KBytes       
[SUM]  10.00-10.00  sec  1.25 MBytes  4.86 Gbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   515 MBytes   432 Mbits/sec  145             sender
[  8]   0.00-10.00  sec  1.45 GBytes  1.24 Gbits/sec  224             sender
[ 10]   0.00-10.00  sec   906 MBytes   760 Mbits/sec  118             sender
[ 12]   0.00-10.00  sec  1.23 GBytes  1.06 Gbits/sec  129             sender
[ 14]   0.00-10.00  sec  1.35 GBytes  1.16 Gbits/sec  191             sender
[ 16]   0.00-10.00  sec  1.47 GBytes  1.26 Gbits/sec   97             sender
[ 18]   0.00-10.00  sec  1.37 GBytes  1.18 Gbits/sec  147             sender
[ 20]   0.00-10.00  sec   793 MBytes   665 Mbits/sec  189             sender
[ 22]   0.00-10.00  sec   495 MBytes   415 Mbits/sec  110             sender
[ 24]   0.00-10.00  sec   515 MBytes   432 Mbits/sec   89             sender
[SUM]   0.00-10.00  sec  10.0 GBytes  8.61 Gbits/sec  1439             sender

האמת אני קצת מתקשה לפרסר את מה שאני רואה, זה אומר שהמהירות תקשורת בין opnsense ל-firewall (זה מה שבדקתי) היא 10Gbits/s?

[DanielGR]

אוקי, נראה כך:

הביצועים של ה- OPNSense בסדר, RSS עובד, ניתן לראות שהעומס על הליבות מאוזן. 60% זה פחות או יותר תואם לבדיקות שעשיתי, משאיר קצת Headroom לשירותים נוספים על ה-Firewall. לשם השוואה עם OpenWRT על אותו ציוד בדיוק, ניתן להגיע ל-25-30% עומס על כל הליבות (מאוזן). כמובן שההשוואה לא מדויקת כי הפונקציונליות לא זהה, אבל תלוי בצרכים, לצרכי ניתוב ו- Firewall בסיסי - OpenWRT יותר יעיל.

אם הבנתי נכון התעבורה בין השרתים שבדקת ב- iPerf לא עוברת דרך ה- OPNSense - זו בעיה אחרת. הקצב המתקבל הוא נמוך מהמקסימום, ויישנו כפי הנראה Packet Loss הגורם ל- TCP Retransmission. עם תעבורת UDP אין Retransmission ו- Packets יילכו לאיבוד, כדאי להבין מדוע זה קורה.

אני לא מכיר את ה- USW, תופעה דומה קרתה לי כאשר נקודות הקצה הוגדרו עם Jumbo Frames, והסוויץ' לא תמך ב- Jumbo Frames, במקרה הזה בדקתי באתר, והסוויץ' הזה כן תומך ב- Jumbo Frames. מעניין לבצע Disable ל- Jumbo Frames בכל זאת בנקודות קצה ולבדוק שוב למרות שלכאורה אמור לעבוד.

בנוסף מומלץ לבדוק קומבינציה שונה של זוג נקודות קצה לבדיקה כדי לבודד את הבעיה

האמת אני קצת מתקשה לפרסר את מה שאני רואה, זה אומר שהמהירות תקשורת בין opnsense ל-firewall (זה מה שבדקתי) היא 10Gbits/s?

...

זו אכן הקומבינציה שבדקת?

[DanielGR]

כמו כן, כך צריכה להיראות תצוגת iPerf "נקיה"

יש אפשרות שה-Retr נובעים מ-TCP Slow start, והדגימה הראשונה מזייפת. תוסיף את הפרמטר ב- Client:

קוד: בחירת הכל

-O 1

האות O גדולה, זה משמיט (Omit) את השניה הראשונה מהסיכום והממוצעים

ותבדוק שוב. אם עדיין יש Retr יש בעיה, תנסה לחבר את שני מחשבי הבדיקה עם כבל DAC ותראה אם הבעיה נמשכת. אם כן יש בעיה בהגדרות מול הסוויץ'.

לגבי רוחב הפס הנמוך בבדיקה מול OPNSense - נראה שזו בעיה בבדיקה או בגרסה, משום שתעבורה דרך ה-Firewall היתה גבוהה מ-2 Gbps

עריכה: לפי מה ששלחת בסעיף 5 בהודעה הקודמת יש Retr לא רק בשניה הראשונה.. יש בעיה כלשהי

[DanielGR]

עידכון ביצועים למי שזה מעניין אותו:

מטרת הפוסט הזה היא להדגים עד כמה ניתן לשפר את ביצועי OpenWRT בהתייחס לתצורה ספציפית. מסתבר שביצועי OpenWRT השתפרו מעט במעבר בין 24.10 RC3 ל- 24.10 RC4. קשה לי לומר מה בדיוק שינו שגרם לשיפור בביצועים אבל הוא עקבי.

התצורה:
ווירטואליזציה מעל Proxmox
הקצאה של 4 ליבות, מעבד: Host, מחשב: Minisforum MS-01
PCIE passthrough של הרשת, אינטל X520-DA2
Software offloading
Packet steering
גרסה: 24.10 RC5
הגרסה קומפלה עם CFLAGS

קוד: בחירת הכל

-O3 -march=‘alderlake’

התוצאה:

די יפה. מבחינה של ה- System log מסתבר ש-Multi-Queue מטופל נכון על ידי OpenWRT:

קוד: בחירת הכל

[    5.560479] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 4, Tx Queue count = 4 XDP Queue count = 0
[    5.561356] ixgbe 0000:01:00.0: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
[    5.561900] ixgbe 0000:01:00.0: MAC: 2, PHY: 14, SFP+: 3, PBA No: Unknown
[    5.562261] ixgbe 0000:01:00.0: 
[    5.563364] ixgbe 0000:01:00.0: Intel(R) 10 Gigabit Network Connection
[    5.727671] ixgbe 0000:02:00.0: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
[    5.728219] ixgbe 0000:02:00.0: MAC: 2, PHY: 19, SFP+: 6, PBA No: Unknown
[    5.728573] ixgbe 0000:02:00.0: 
[    5.729693] ixgbe 0000:02:00.0: Intel(R) 10 Gigabit Network Connection

[OMRIJ]

למה אתה משתמש בX520?
למה אתה צריך OFFLOADING?