שרשור תגובות: ענקיות הטק נפרדות מנבידיה ומפתחות מעבדי AI בהתאמה אישית

[zviwr]

https://htmag.co.il?p=100639

הגיאופוליטיקה שמשנה את תעשיית הסיליקון

[ufffnick]

הניסיון של מיקרוסופט ליצור כלי המרה, בדומה למה שAMD מספקת, זה לשחק חתול ועכבר.
כל שינוי שאנבידיה יכניסו ב CUDA, יצטרכו לרדוף אחרי ב- ROCm וכן בכלי המרה hipfy.
בסוף התוצאה לא תתעלה משמעותית על מה שיש היום - יש כלי המרה, לא מושלם שדורש לעבור על הקוד ולתקן פה ושם.

עד שלא תהיה סטנדרטיזציה בתקשורת בין הקוד לחומרה בתחום AI, אנבידיה תמשיך להכתיב את הטון, כמי שמוציא בסופו של דבר את החבילה הכי טובה ונוחה לפיתוח והכי ריווחית מבחינה תיפעולית.

יעשו נכון AMD אם יפסיקו את החתול ועכבר הזה וימשיכו בקו של דרייברים קוד פתוח וכן תמיכה ב-ROCm בסביבה פתוחה.
כשהמוצרים שיוציאו יהיו תחרותיים, מפתחים יזוזו לאן שצריך. יעזור מאוד שת"פ עם שאר החברות ביצירת סטנדרטיזציה של הקוד - זו תהיה כנראה הדרך היחידה לחזק את התחרות בתחום החומרה, כי עלויות הפיתוח ירדו משמעותית ורף המעבר בין חומרות יהיה נמוך יותר - כמו בתחום ה cpu, ולמעשה כל שאר רכיבי המחשב (הביתי כאנלוגיה לשרתים).

[oferlaor]

נראה שגוגל הראשונים שהצליחו פורמלית במאמץ הזה. Gemini 3 (שביומיים האחרונים נראה שהוא עלה לטופ בכל המדדים העדכניים) אומן אך ורק על צ'יפים TPU של גוגל!

[Huber]

זה שהגדולים מפתחים לעצמם שבבים יעודיים זה לא חדש בכלל, גוגל הייתה הראשונה בין הגדולות והתחילה כבר ב 2015.

זה צץ עכשיו יותר בגלל שגעון ה AI. הנה וידאו שמסכם את הנושא:





סיכום למי שלא מעוניין לצפות:

הסרטון משווה בין שבבי Nvidia GPU לשבבי AI מותאמים אישית (ASIC) של חברות הענן, ובוחן קטגוריות שבבי AI נוספות.

1. Nvidia GPU (ה"אולר שוויצרי" של AI):

יתרונות: מוביל את תחום ה-AI הגנרטיבי בזכות יכולות עיבוד מקבילי מעולות לאימון והסקה של מודלי AI. אקוסיסטם CUDA הקנייני של Nvidia מעניק לה יתרון משמעותי.
מתחרה: AMD עם סדרת Instinct שלה.
2. שבבי ASIC מותאמים אישית (ה"כלי הייעודי" של AI):

יתרונות: שבבים שתוכננו למשימה ספציפית (לרוב הסקה), מה שמקנה להם יעילות אנרגטית ותפעולית גבוהה יותר בהשוואה ל GPU, ומפחית את התלות ב Nvidia.
חברות מפתח: גוגל (TPU), אמזון (Inferentia/Tranium), מיקרוסופט (Maya) ומטא.
3. קטגוריות שבבים נוספות:

NPUs (Neural Processing Units): שבבים ייעודיים ל-AI המשתלבים במכשירים אישיים (סמארטפונים, מחשבים ניידים). מאפשרים AI מקומי (On-device) מהיר ופרטי.
FPGAs (Field Programmable Gate Arrays): שבבים ניתנים לתכנות מחדש, המציעים גמישות רבה כחלופה ל ASIC, אך פחות יעילים.
4. תעשיית הייצור (Foundry):

תלות ב-TSMC: רוב ענקיות הטכנולוגיה תלויות בחברת TSMC מטייוואן לייצור שבבי AI מתקדמים.
החזרת ייצור לארה"ב: חוק ה CHIPS האמריקאי מעודד הקמת מפעלי ייצור חדשים בארה"ב.
מסקנה: שוק שבבי ה AI צומח במהירות, כאשר Nvidia מובילה באימון, בעוד ASIC ו NPU מאיצים את ההסקה, והתחרות צפויה להתגבר.

[ufffnick]

נדמה לי שג׳נסן הואנג דיבר על זה לפני שנה, אולי שנתיים - שאנבידיה בונה את מפעלי הAI לחוות שרתים, ובפועל שם הם מצטיינים.
משם נגזר שהשוק עם הכי הרבה תחרות זה שוק ההסקה (inference), ושם בעיקר משקיעות החברות הגדולות (והקטנות) את עיקר המאמץ. נדמה לי שבאותה הזדמנות הוא סימן איפה nvidia תתמקד בתחום ההסקה וזה רובוטיקה (מודלי עולם). כלומר nvidia כבר עברה לשלב הבא (לפני כשנתיים) להתמקד יותר במודלים מחליפים/משלימים למודלי שפה LLM).
רק AMD שמבחינת ביצועי חומרה ומעטפת תוכנה מתחילה לנשוף בעורפה של nvidia, אולי לכל היותר לצמצם פערים, עם יתרון קל לטווח הארוך - התבססות על הקוד הפתוח.
שם בסופו של יום מתחילים רוב המפתחים שאין להם את המשאבים והגיוס הראשוני לבניית סיד.

לדעתי, ככל שרכיבי ההסקה ישבו אצל המשתמש, וככל שהמודלים יתמקדו במשימות ספציפיות, נחווה יותר טוב את מהפכת ה-AI, עם פחות PR ומילות באזז ויותר התייעלות.

[Huber]

למי שהנושא מעניין אותו, הנה מאמר מעניין על TPU v7, השבב החדש של GOOGLE:

https://www.servethehome.com/this-is-th ... wood-chip/