שרשור תגובות: OpenAI משיקה את GPT-5.2 - שדרוג ממוקד לעבודת ידע מתקדמת

[zviwr]

https://htmag.co.il?p=101886

פחות הייפ, יותר כלים לעבודה מקצועית

[oferlaor]

לא בטוח שזה פחות הייפ. אנשים כבר אומרים שזה AGI...

[Huber]

עופר, אנחנו רחוקים מאוד מ AGI. אדון סאם אלטמן אמר את זה בפה מלא בראיון האחרון שלו וכל מי שמשתמש בכלים האלו על בסיסי יומי (מרים את היד) מבין שאנחנו לא קרובים עדיין.

כנס ל CHATGPT כל כל AI אחר ושאל את זה:

Are you an AGI? If not, why not? explain the difference

[oferlaor]

[Huber]

זה משהו שאתה בדקת אישית או משהו מהרשת? אני שואל כי אני לא מצליח לשחזר את זה, עם הגרסה החינמית לפחות.

[ziv_r]

מרוב AI אנשים כבר שכחו לגגל.

[Huber]

לא בטוח שזה פחות הייפ. אנשים כבר אומרים שזה AGI...

...

אז אומרים...

פרופסור מייקל וולדרידג' (Michael Wooldridge), ראש תחום ה AI באוניברסיטת אוקספורד, שבו הוא מסביר מדוע מודלי שפה גדולים (LLMs) הם בעצם "Hack" הנדסי ולא בינה אמיתית.

[oferlaor]

אז אמר...

עובדתית מה שהמודלים האלה עושים בעולמות התוכנה זה פלא מטורף

[ufffnick]

בסוף, זה מודל שמחקה יצירת טקסט אנושית, כן, זה הכל.
הטקסטים שעליהם אומן, והגישה אל מקורות המידע שיש לו במאגרים, אלה היכולות שלו - הוא לא יכול לצאת את גבולות היכולות וההטיות האנושיות, לכל היותר להשתוות אליהם.
עיקר התחרות כרגע בין המודלים, היא הליטושים, ההתאמות, הגמישות והאינטגרציה לכלים. מבחינת "יכולות" ההבדלים מינוריים, ומשתנים לפי שימוש.

אישית, בניסיון יומיומי - זה כמו ג׳וניור שדורש תשומת לב צמודה עם רמת אמינות מפוקפקת ללא יכולות למידה למשך האינטראקציה או לאורך זמן.
טוב למשימות ממוקדות, דורש בדיקה צמודה, ואסור לתת לו יותר מידי חופש פעולה, פשוט כי הוא מתפזר וטועה המון.
מצויין בניסוחים מחדש של טקסטים למטרות שונות, לא טוב מספיק בסיכום מידע, כי היכולת שלו להבין את העיקר והתפל לא מספיק טוב.

[Huber]

אז אמר...

עובדתית מה שהמודלים האלה עושים בעולמות התוכנה זה פלא מטורף

...

אין ספק שהם עושם דברים יפים. מפה ועד AGI הדרך לצערנו רחוקה.

[Huber]

ג'רי טוורק (Jerry Tworek), חוקר לשעבר ב-OpenAI שהיה שותף בפיתוח מודלי o1 ו o3, מזהיר כי חוסר היכולת של המודלים הנוכחיים ללמוד מטעויות מהווה מחסום קריטי בפני השגת בינה מלאכותית כללית (AGI).

להלן סיכום הנקודות המרכזיות מדבריו:

הבעיה המרכזית - חוסר למידה מכישלונות: מודלי שפה גדולים (LLMs) כיום מצטיינים בפתרון בעיות המופיעות בנתוני האימון שלהם, אך כאשר הם נתקלים בבעיה חדשה ונכשלים, אין להם מנגנון לעדכן את הידע או ה"אמונות" שלהם בעקבות הכישלון.

שבריריות המודלים: טוורק מתאר את תהליך האימון הנוכחי כ"שברירי" (Fragile). המודלים נוטים לקרוס או להיתקע בלולאות של טעויות כשהם מתמודדים עם דפוסים לא מוכרים, בניגוד לבני אדם שמסוגלים לתקן את עצמם וללמוד תוך כדי תנועה.

השוואה לבני אדם: בעוד שבני אדם לומדים באופן רציף מניסיון ומתקנים שגיאות, מודלי AI נותרים סטטיים לאחר האימון (Pre-trained parameters). הם לא מבצעים עדכון בזמן אמת (Online learning) כתגובה לטעויות.

פתרונות קיימים אינם מספקים: טכניקות כמו למידת חיזוק ממשוב אנושי (RLHF) או זמן חישוב מוגבר בזמן הסקה (כמו במודל o1) משפרות ביצועים נקודתית, אך לא פותרות את בעיית הליבה של חוסר היכולת להפנים לקחים ולמנוע חזרה על אותה טעות בעתיד.

ההשלכות לעתיד: טוורק מאמין שבינה אמיתית חייבת לכלול יכולת להיחלץ ממצבים קשים באופן עצמאי. הוא עזב את OpenAI כדי לחקור ארכיטקטורות חדשות שיאפשרו למידה מתמשכת (Continual learning) ופתרון בעיות אוטונומי, מתוך הבנה שזו הדרך היחידה להגיע ל AGI אמיתי.

[ufffnick]

היה כבר ניסיון כזה, קראו לזה Tay של מיקרוסופט.
הבעיה מתחילה משאלת הבסיס - מה מגדיר או נוסך המשמעות למנגנון ההופך אותו לתיקון עצמי?
מה מהווה תיקון עצמי לעומת למידה של מנהגים רעים?
זה דורש בעצם שאותו AI יחזיק סולם ערכים פנימי ויבצע השוואה בין עולם הערכים לבין הלמידה.
חושב שכאן נגמר הבעיתיות שהיא עמוק בפילוסופיה? לא.
כי גם ערכים מסויימים, רלוונטים בהקשר וסיטואציה מסויימת ועשויים להתהפך או לקבל תפנית בסיטואציות אחרות.
זה דבר שגם בני אדם לא מסוגלים להתמודד איתו בצורה עיקבית.

בעצם, AGI אמיתי, צריך להיות כמעט בנאדם, ברמה של כישורים חברתיים ועידכון ערכי וקונטקסט תמידי.
דבר שהוא לא רק בגדר דימיוני, הוא לא מוגדר בצורה שאפילו בני אדם יוכלו להביט בו בהסכמה גורפת.

לתפיסתי, הרעיון של AGI יושב עמוק בתוך ההגדרות של קבוצה ריקה, בטכנולוגיה המוכרת לנו היום, ו- LLM או כל מודלי הלמידה הקיימים היום (ואסתכן לומר שאף בעתיד הנראה לעין) לא מוסגלים להתקרב לשם.
כי אם נהיה כנים, הטכנולוגיה הזו מבוססת על מאמרים משנות ה60 וה-70 שרק בעשור האחרון הצליחו לממש חומרתית ותוכנתית, כשיהיה בסיס תיאורטי לקיום AGI נוכל להתחיל בדיון של מתי - אבל ככל הידוע לי, זה לא קיים גם בתיאוריה.
קרי - מדע בדיוני.

כל הטכנולוגיה הקיימת היום, לכל היותר יודעת לשקף את הדאטה שעל בסיסו עברה תהליך למידה, לטוב ולרע.
הצורה הכי מילולית של -
Garbage in, garbage out

(אגב, פעם היו קוראים לזה אלגוריתם חיזוי)

[Huber]

מנכ״ל אנבידיה, ג׳נסן הואנג, אומר כי ייתכן שכבר הגענו ל-AGI - אינטליגנציה מלאכותית כללית.

כשהקצב של מכירת השבבים תלוי בכך שהעולם יאמין שהמהפכה כבר כאן, "הגעה ל AGI" נשמעת לפעמים כמו הכרזה שיווקית לא פחות מאשר מדעית. זה קצת כמו שסוכן נדל"ן יגיד לך ש"הדירה הזו היא לא רק נכס, היא שער לממד אחר של אושר".

אדון ג'נסן לפעמים "שוכח" לציין ש AGI דורש ארכיטקטורה שונה לגמרי ולא רק "עוד מאותו דבר".

בזמן שג'נסן הואנג (ולצידו סם אלטמן מ-OpenAI) חוגגים את "בוא הגאולה", יש לא מעט קולות כבדי משקל בתעשייה שטוענים שמדובר בלא פחות מ"מכירת אשליות" (AI Hype).

הנה שלושה מהמבקרים החריפים והמנומקים ביותר, והטיעונים המרכזיים שלהם נגד הקביעה ש-AGI כבר כאן:

1. יאן לקון (Yann LeCun) – המדען הראשי של Meta
לקון, אחד מ"אבות ה-Deep Learning", הוא המבקר הכי קולני של הגישה של אנבידיה.

הטיעון: מודלי שפה (LLMs) הם "מבוי סתום" בדרך ל AGI.

למה? לקון טוען ש LLMs רק חוזים את המילה הבאה על בסיס סטטיסטיקה. אין להם הבנה של העולם הפיזי, אין להם זיכרון לטווח ארוך, והם לא מסוגלים לתכנן פעולות. הוא נוהג לומר ש"חתול בית אינטליגנטי יותר מכל AI שקיים היום" כי לחתול יש מודל עולם פנימי – הוא יודע שאם הוא יפיל כוס היא תישבר. ל AI אין מושג מה זה "כוס" מחוץ להקשר של טקסט.

2. גארי מרקוס (Gary Marcus) – פרופסור לפסיכולוגיה ומדעים קוגניטיביים
מרקוס הוא ה"ילד הרע" של עולם ה AI שתוקף כמעט כל הכרזה בומבסטית של ג'נסן או אלטמן.

הטיעון: מה שיש לנו זה "הזיה סטטיסטית" (Stochastic Parrots), לא אינטליגנציה.

הדוגמה המנצחת: הוא מראה שוב ושוב איך מודלים שנראים כביכול כ AGI נכשלים במבחני היגיון פשוטים של ילד בן 5 ברגע שמשנים להם מילה אחת בשאלה שהם לא ראו בסט האימון. הוא טוען שג'נסן משתמש במונח AGI כדי להצדיק שווי שוק מטורף, בזמן שהמערכות האלו עדיין סובלות מבעיות אמינות ובטיחות בסיסיות.

3. אנדרו אנג (Andrew Ng) – מייסד Google Brain ופרופסור בסטנפורד
אנג בדרך כלל מתון יותר, אבל הוא מבקר את הנטייה להגדיר AGI כ"מעבר מבחנים".

הטיעון: הגדרה נוחה מדי של המטרה.

למה? הוא טוען שג'נסן מגדיר AGI כמערכת שיכולה לעבור מבחן ברמת עו"ד או רופא. אנג מסביר שזה מבחן של ידע, לא של אינטליגנציה. היכולת של המכונה לשלוף מידע מספריית ענק לא הופכת אותה לבעלת יכולת הסקה כללית. הוא מזהיר שדיבורים על AGI יוצרים פאניקה ורגולציה מיותרת שפוגעת בקוד הפתוח, מה שמשרת בעיקר את החברות הגדולות (כמו אנבידיה).

השורה התחתונה של המבקרים:
הם טוענים שיש הבדל תהומי בין "מחשב חזק מאוד שמעבד טקסט" (מה שג'נסן מוכר) לבין "יישות בעלת תודעה, הבנת עולם ויכולת פתרון בעיות חדשות" (AGI אמיתי).

ג'נסן רוצה שתחשוב שהמרחק ביניהם הוא רק "עוד כמה אלפי שבבי Blackwell", המבקרים חושבים שחסרה לנו פריצת דרך מדעית שלמה שעדיין לא הומצאה.

[ufffnick]

ג׳נסן מוכר אתי חפירה לכורי זהב.
מה שאנחנו רואים זה מעיין מרוץ חימוש ובהלה לזהב בו זמנית.
אז קצת ברור מאליו שהוא ישתמש בשיטת שיווק ישנה שבה מי שיקנה כמה שיותר אתים יוכל לכרות מהר יותר, זהב איכותי יותר.
השימוש בAGI זה רק מילת באזז שמציתה את הדימיון ופותחת ארנקים.
חובת ההוכחה היא עדיין אצל כורי הזהב, לא כל כך אצל יצרני האתים.

[ufffnick]

@Huber

רק תיקון קל stochastic parrot והזייה סטטיסטית אלה שני מושגים שונה.
הראשון זה כינוי למעשה תוכי סטטיסטי - מהדהד טקסטים אנושיים בלי הכרה ובלי הבנה שלהם.
הזייה סטטיסטית - כשהמודל פולט ערכים (טקסט) שנתפסים למשתמש תלושים לחלוטין מהקונטקסט או ידע שגוי לחלוטין, בטון התבטאות מלא ביטחון.
אגב, הטעות הזו היא דוגמא מצויינת להזייה סטטיסטית, הנובעת מכך שהטקסט נוצר על ידי תוכי סטטיסטי...