שרשור תגובות: הבינה המלאכותית יורדת למכשיר ומבקשת מקום, זיכרון ותקציב

[aminadav]

https://htmag.co.il?p=108162

כשה AI רץ מקומית, המפרט כבר לא נשאר אותו דבר.

[ufffnick]

צריך לשים לב לכוכבית קטנה בנושא - זה נכון למודל LLM נוכחי.
חלק מהמשימות שלו יבוזרו למודלים קטנים (כפי שהיה לפני עליית הLLM), ועם הזמן המודל יעבור ייעול, כי תפקידים שהוא מבצע עכשיו לא תמיד נמצאים בנקודת הייעילות המירבית שלו, מחוסר ברירה פשוט, עד שיצוץ מודל חדש.
מודלי הLLM לאט יהפכו להיות הfrontent של מודלי עולם ומודלים משימתיים למטרות מסויימות.
אם זה סוף עידן האפליקציות - אני חושב שלא, כי אפליקציות יהיו יותר כמו skills של agent שיעשו שימוש במודל המקומי, ובכך יתעלו את עוצמתו של הLLM המקומי למטרות ספציפיות של האפליקציה.

[oferlaor]

השאלה היא מה המודלים המקומיים יכולים לבצע. בינתיים שמענו הרבה דיבורים אבל כשזה מגיע למעשים - כולם משתמשים במודלי ה-frontier המובילים מהענן...

[ufffnick]

@oferlaor
לא מדוייק.
סתם דוגמא - יש לי pixel 8A ויש לו ליבות NPU (למעשה הן קיימות בפיקסלים הרבה לפני).
בגרסת האנדרואיד הקיימת יש לו זיהוי קולי מקומי - כלומר המודל לא שולח את הצלילים שהוא מקליט לשרת מרוחק, אלא מפענח מקומית -
משווק כחלק משיפורים במדיניות הפרטיות (בדיקה פשוטה של זיהוי במצב טיסה מאמת את זה).
כך, למשל, עובד זיהוי שירים מקומי (אפשר להגדיר שישתמש בשרת במקום במקומי, אם רוצים דיוק טוב יותר).
ברור לי שזה סוג של "בטא" לרעיון של מודלים שכאלה, אבל אם יש משהו שגוגל עושה נכון - זה הניסויים הממוקדים האלה תוך "ליטוש" המודלים המקומיים.
מן הסתם מודל מקומי לא יכול להשתוות לזה שנמצא בענן, פשוט סקאלות אחרות של יכולות חישוב ומימדי המודל,
אבל יכולים להיות תסריטים שמודל מקומי הוא יותר מ"מספק את הסחורה".


גוגל השקיעה הון עתק בפיתוח ליבות הסקה, כי זה השוק הכי פנוי מבחינת תחרות.
במיוחד כשבהסקה חשובה יותר התגובתיות מאשר עוצמת החישוב ומהירות הזיכרון (שיותר חשובה לאימון).
כל רעיון ה-egde computing מקבל קפיצת מדרגה משמעותית כאשר אפשר להחליף אלגוריתם מסובך על שרת חישוב מרוחק בליבת AI מקומית ומודל שמבצע פעולה אחת ממש טוב (שמחקה את החישוב המסובך).

ובסוף, מכשיר סלולרי זה לחלוטין מכשיר edge מאוד עוצמתי.

תוספת:
לפני כשנתיים בניתי שרת פנימי שיודע לקבל שאילתות הסקה לפי מודל נדרש.
ישב על ה-ws שלי, שלה היו אז שני GPUs אחד ישן למטרות האלה (1060 6GB).
כל התפקיד שלו היה, לקבל מה-rpi תמונות בסטרימינג, ואם יש בתמונה כלב, חתול או לשלוח את המידע אל ה-rpi.
ה-rpi היה מחובר לזרוע של מגירה, בה יושב אוכל לחתולים.
הלוגיקה היתה פשוטה -
אם הזרוע במצב סגור ויש חתול בתמונה - לפתוח.
אם הזרוע במצב פתוח ויש כלב בתמונה - לסגור.
(הכלבה למרות שאלרגית לאוכל של החתולים היתה מנשנשת אותו בלילות).
די ברור, שאם היתה חומרה שיושבת כולה במקום ה-rpi, שלה גם יכולות להחזיק את המודל (במקום שרת "רחוק"), המשחק היה שונה לגמרי.

זה יכול להיות ההבדל בין מוצרים מקושרים כל הזמן (IoT),
למוצרי קצה שאתה מחבר או מתחבר אליהם רק לשידרוג קושחה,
ובשאר הזמן פשוט עושים את העבודה.

[oferlaor]

פעם חשבנו שמודלי שפה בסיסיים (תיקון שגיאות, Speech to text) זה שיא הטכנולוגיה של ML. כיום זה לא מגרד כלום ושום דבר.

בשביל שזה יהיה באמת מרשים צריך genAI משמעותי (לא המודלים הדרדלה שראיתי שאפל מתנסים איתם פה ושם). מה שהיה מרשים אותי כיום זה מודל שפה משמעותי שמאפשר SIRI לוקאלי, או generative imaging (להסיר או להוסיף דברים לתמונה) שרצים 100% מקומית. זה מרשים.

[ufffnick]

תצטרך לעזוב את אפל בשביל זה.
זה קיים על פיקסלים של אנדרואיד כבר כמה דורות - עריכת תמונות בעזרת מודל גנרטיבי מקומי.
הקפיצות בין שידרוגי מערכות ההפעלה והטלפונים מאוד גבוהים, המשתמש הפשוט לא שם לב לזה, כי מבחינתו זה שינוי אינקרימנטלי, או "אותו פיצ׳ר", אבל אם נחזור לזיהוי הקולי המקומי - זה חתיכת בום טכנולוגי.
בשביל זה יש את ג׳מיני נאנו שכבר היום זמין למפתחים על אנדרואיד כמודל להריץ מקומית מתוך אפליקציה.
לא סתם קוואלקום מנסה לדרוס רגל לתוך עולם ה-AI, אחרת היא מאבדת לקוחות.

אני חושב שיש לגרופים של אפל חתיכת פער חווייתי, כי אם יש מכשירים שבהם האינטגרציה של AI נחותה במיוחד - זה הסביבה של אפל.
אפילו אלכסה עוברת השנה למודל רב שיכבתי שבינהם גם LLM עם יכולות אג׳נטיות - הרץ על חומרה ייעודית מבית אמאזון, שבבים בפיתוח ביתי.

נוצרה סיטואציה ביזארית שבה אפל מפסידה במקום שהיא הכי הצטיינה בו - אינגרציה מלאה לסביבה שלה והבשלה של פיצ׳רים שרק "עובדים" אצל המתחרים.

[Huber]

לאשתי יש אנדרואיד (סמסונג), לי יש אייפון, מה ש ufffnick ציין נכון לחלוטין. רכשתי 16 PRO MAX מתוך הבטחה שה AI שלהם יגיע (כולל לסירי המחורבנת שלהם), הבטחה שאני עדיין ממתין שתתממש.

ד"א, בארה"ב הם הפסידו בתביעה על הנושא הזה בדיוק, שילמו רק 150 מליון דולר שזה פירורים לעומת ההבטחות השבורות שלהם שעדיין לא התקיימו.