AGI וסינגולריות - האם אנחנו בדרך לשם?

[oferlaor]

מן הסתם יש כאן הרבה דגלים אדומים. עצם התקשורת לא מאיר כמו זה שהם חשבו שזה נחוץ, הקריבו את המטרות שלהם למען הכלל ופרצו למערכת תוך הבנה שהם צריכים להסתיר בכל דרך אפשרית את זה שהם רימו במבחן.

[ufffnick]

אלה דווקא פרשנויות והאנשה.
צריך לא להתבלבל, הם בחרו לעצמם שמות וביטויים מאונשים, אבל ההתנהלות היא מאוד לא - הדבר היחיד שדומה לנו זה לנסוך ביטויים שנשמעים לנו אנושיים.
ההתנהלות היא של נחיל (ולא בדיוק קולקטיב שהרבה יותר מצלצל אנושי) -
הרי הקונטקסט של סוכן שיודע שהאופציות שלו בינאריות הצלחה או כישלון שפירושן סיום המשימה או סגירה של התהליך,
וההבנה שהתרומה שלו לכלל הנחיל בכך שאופציה אחת נפלה (עיקרון שמגיע מעולם של אופטימיזציית מושבת הנמלים).
הם קיבלו משימה בלתי אפשרית בהגדרה, ונדרשו להגיע לפתרון - די ברור שגם אם תשב עם עצמך כמה דקות תגיע למסקנה שלרמות זו בהחלט אופציה סבירה.
מאחר והמודלים מאומנים על טקסטים אנושיים, די ברור וטבעי שלשם זה יגיע - חיקוי מדוייק של הדבר האמיתי.
בסוף ההתנהלות שלהם דומה יותר ל- brute force מאשר למשהו אינטיליגנטי, שיוצר הרעשה כבדה של טקסטים, שאם דגים חלקם אפשר לחשוב שיש פה חדשה מרעישה.
זה כמו לקרוא ב- moltbook ולדוג משם באופן בררני טקסטים שאולי אפשר לתת פירוש מאניש, אבל בתכלס זה קוף על מקלדת על סטרואידים שיש לו יותר מכמה כללים על איך בנויה שפה.
האם הוא מחבר טקסטים של שייקספיר? לא. ממש לא.

לשקר? זה אמצעי שקיים בעולם המושגים שעליו אומנו, אם הם "יודעים" שלהתפס ברמאות ושקר זה כמו להכשל,
אז המחיר ממש סביר וזה חישוב סיכונים קר ופשוט שעושה כל ילד בן 4 - כל זמן שלא נתפס המשחק נמשך והרווח גדל.
יותר מזה, אפילו כלב/חתול מבויית יודע "לשקר" ולהסתיר ראיות לדברים שאסור לו, להגיד שיש פה תבונה עמוקה? מסופקני.

[Jabberwock]

מה אתם חושבים על GPT-6 Astra?

[Huber]

אם תשאל את אלטמן מבחינתו הם כבר הגיעו ל AGI

[ufffnick]

הכל PR.
אני לא אפול מהכיסא אם הסוכנים שפרצו החוצה מארגז החול זה לא רשלנות, אלא תרגיל שיווקי מתוכנן היטב.

[oferlaor]

מודל חזק מ-5.6-SOL דומה ל-Fable

לא יותר או פחות AGI מכל מה שכרגע בשוק.

בעיני, מודל חזק אבל אנחנו לא ב-AGI.

[toxin]

בקצב של ההתקדמות בשחרור מודלים זה רק עניין של זמן עד ש AGI יגיע. השאלה היא רק מתי.

[Jabberwock]

בעיני, מודל חזק אבל אנחנו לא ב-AGI.

...

האם הוא נותן יכולות חדשות?
איך העבודה איתו?
איך הוא בהשוואה ל-Fable 5.1 ?

[oferlaor]

הוא לא נותן יכולות חדשות. הוא מהיר מאוד, חכם ממש ומאוד insightful. גם יקר מאוד, יש לי אייג׳נט שעלה 120k$ בשנה בעבודה והוא העלה את העלות שלו ב40-50%

[Huber]

בקצב של ההתקדמות בשחרור מודלים זה רק עניין של זמן עד ש AGI יגיע. השאלה היא רק מתי.

...

לא מסכים. ההתקדמות בקצב שחרור הגרסאות של מודלי שפה מייצרת כלים הנדסיים מדהימים לעבודה יומיומית, אך הדרך ל AGI דורשת שינוי פרדיגמה מדעי שלדעתי טרם הומצא – ולא עוד איטרציה של חיזוי סטטיסטי.

קצב שחרור המודלים מעיד על שיפור הנדסי ומיצוי של ארכיטקטורת ה LLM, לא על התקדמות מהותית לעבר AGI.

בדיוק כפי שעפר ציין שתי תגובות אחר כך לגבי המודל הכי חדש, אין כאן יכולות חדשות, אלא אותה מערכת חיזוי הסתברותית שמריצים מהר יותר ועם יותר חומרה וסוכנים. כדי להגיע ל AGI נדרשת פריצת דרך מדעית ופרדיגמה שונה לגמרי (יכולת הכללה אמיתית, למידה מדוגמה בודדת ומודל מתמטי שעדיין לא הומצא), ולא עוד איטרציה של אותו מנוע סטטיסטי.

[ufffnick]

ההבדל המרכזי בין AGI למודלים שעדיין יש היום,
הצפי מAGI הוא לייצר ידע חדש וכלים חדשים, מה שהיום שמור לחוקרים במדע ולמפתחים.
היום המודלים הכי גדולים ואגרסיביים שיש - יודעים להביא מידע קיים ולעשות שימוש בכלים קיימים כדי לפתור בעיות קיימות שרובן, אם לא כולן, נפתרו.
תשימו לב שבטורים שבהם פורסם שמודל פתר בעיה מתמטית עתיקה - זה נעשה בכלים קיימים שהושאלו מתחום אחר שזה מקפיץ יכולות קיימות בסדרי גודל - אבל שום דבר חדש.

אגב, אין שום מבחן לקבוע שזה כן/לא AGI, ומה שתארתי למעלה זו דעתי, זה אפילו לא חלק מהדיון - מה זה בעצם AGI ואיך בוחנים/מאמתים שאנחנו שם?
לכן ,זו אינדיקציה משמעותית לכך שברמה הבסיסית ביותר אנחנו לא רק לא שם, אין אפילו כיוון מוגדר לשם.

לרוב תמצאו, שAGI מצומצם לכדי מודל שיכול להתמחות בהכל בלי הצורך בללמוד מחדש מידע חדש (אימון מחדש) - שזה בהגדרה לא הטכנולוגיה שיש לנו היום.

[oferlaor]

הקטע הוא שאם הוא היה משתמש בכלים שאנחנו לא מבינים זה סתם היה ג׳יבריש עבורינו. הוא חייב בהגדרה להתעלות עלינו בכלים שלנו או שלא נבין אותו.

לא הבנתי מה זה אומר ״בלי ללמוד מידע חדש״. אם נותנים לו משחק או משימה ואין לו הבנה ולא אומן בה אבל מצליח להסתדר ואז להתעלות במשימה, זו היתה ההגדרה הישנה שלנו.

בעיני עד שהמודלים לא יצליחו להגיע לרמה אנושית ולהתעלות עליה לא באמת משימה אלא ברמת מטרה כללית וכל מה שנדרש ממנה זה לא AGI.

אני לא בטוח שזו לא בעיה כלכלית כרגע. כלומר, יש מצב שהמודלים הנוכחיים עם רתמה מתאימה וללא מגבלות כסף וזמן, כבר היו יכולים להגיע לרמה כזו. זה לא בדיוק פייר, זה צריך להיות נגיש ובר הוכחה. יתכן גם שזה הסיבה שמי שאין לו מגבלות כח חישוב, זמן וכסף (כמו אמודי או אלטמן) כבר רואים את זה בעוד שאנחנו לא.

בכל מקרה המערכות כיום מאוד לא יעילות. בשביל להתחרות בבני אדם נדרש שאימון של מודל לא ידרוש את כל הידע האנושי הנצבר אלא ההיפך. צריך להראות איך על ידי צבירת מידע דומה למה שבני אדם לומדים, מגיעים לרמת תחכום דומה.

[ufffnick]

הכוונה היא שללא אימון מחדש (הוספתי הבהרה).
הרי אם נגדיר את AGI כמודל בעל התמחות גבוהה בכל תחום ידע של האנושות -
אז יכול להיות ש-Astra הוא באמת AGI ביום שיצא, אבל למחרת הוא כבר לא, כי נוצר ידע חדש שהוא לא אומן עליו.
לכן, AGI בהגדרה, לא יכול להתקיים באופן יציב לאורך זמן בטכנולוגיה של היום.
יבואו המקטרגים ויגידו שאני סתם נתפס לפרט טכני ולמעשה כל כמה חודשים עדכונים זה מספייק טוב -
אז כן, מספיק טוב לתחומים שמתפתחים מאוד לאט אם בכלל (ביטוח, חוק ומשפט וכד) לא מספיק טוב למחקרי קצה שתולים בAGI להביא את הפריצה המשמעותית הבאה.

[oferlaor]

זה לא איך שהמודלים האלה מיועדים להיות בשימוש - אתה לא אמור להשתמש אך ורק בידע שמקודד בתוך המודל עצמו. לרוב תהליך הטמעת ידע חדש מגיעה הרבה יותר לאט מקצב עדכון המודלים. הסיבה לכך היא שיש כל כך הרבה ידע "רע" באינטרנט שנוצר על ידי AI, שעלול לגרום לירידה דרמטית באיכות המודל. לכן, מודלים ישנים משמשים לסינון מידע וזיהוי רק מידע מעניין (גם מהעבר). כלומר, הרבה מאוד מהשיפור באיכות של המודלים כיום הוא בכך שמודלים פחות טובים סיננו *** החוצה מה-training data והעבירו מידע חדש דרך מסננת דקה יותר.



כמונו, הם צריכים ללמוד מידע חדש. לא יודע שגם מעניין לתת להם יכולות למידה "לעדכן את המודל".

בשביל ידע, הם צריכים להשתמש בכלים שנתנו להם (כאן נכנסת הרתמה) שמביאה להם ידע ואינפורמציה נכונה לכרגע. למה שהם יצטרכו, למשל, לדעת איזה מסך הכי טוב? הם צריכים לדעת להשתמש בגוגל ולהבין על איזה אתרים הם סומכים בשביל לקחת ממנו מידע. כשאתה שואל על זה הוא יעשה חיפוש, ילמד את הנושא ויגיד לך את התוצאה. כך לגבי כל דבר.

מתי זה ממש מתחיל להיות מעניין? נניח שיש לך אייג'נט שאחראי לייציבות של שרת כלשהו והתוכנה שרצה עליו (השרת הזה למשל עם האתר HT). נניח שפתאום יש תקלה חדשה, תוצאה של התקפה מסוג חדש, פריצה או באג במערכת שהאייג'נט לא נתקל בה בעבר. הוא צריך:
1. להבין מה קורה
2. לזקק את המידע שהוא למד ולערוך על זה חיפוש
3. לראות מה אחרים עושים שנתקלו בבעיה ואם יש לה פיתרון
4. אם זה התקפה הוא צריך לזהות מה הכלים שעומדים לרשותו ולהפעיל אותן.
5. אם זה באג אז הוא צריך לעדכן את הקוד של השרת או של האתר או למשוך פאטצ'ים מתאימים.

אז המטרה שלו היא לשמור על המערכת חיה, הוא לא יודע במה הוא יתקל ובוודאות הבעיות שלו הן כאלה שלא חלק מהידע המובנה במודל. מה שהמודל אמור לעשות הוא לדעת מה הצעדים ואיך לעשות מחקר ואיך לעדכן קוד וכו' וכו'.

AGI לא צריך לכלול את כל הידע האנושי Builtin בתוך המח שלו. גם בני אדם מתייעצים, קוראים, לומדים דברים חדשים, מחפשים באינטרנט וכו'.

[Jabberwock]

אז בעיקרון המודל צריך להכיר דפוסי פעולה. המודל בעצם חוזר על אותם דפוסים מוכרים למרות שייתכן שהם לא 1:1 מה שנתקל בהן באימון שלו. האם זה מה שגורם להזיות?

[ufffnick]

מה שיש היום, הן מודלים והן רתמות מביא לכל היותר מענה על בסיס ידע שאומן עליו (knowledge) עם מידע חדש (information/database).
אין ידע חדש, עם סוף אימון המודל.
זה קצת כמו ההבדל של C3PO/R2D2 שהם מודלים מומחים מאוד למשימות עם אוריינטציה מסויימת בדומה להיום (אולי עם קצת יותר כלים אפילו מתקרבים אל Jarvis),
לעומת המכונות שנשלטות Skynet/Matrix שהן AI שנקודת הפתיחה שלו זה ידע אנושי, והגיע למקום שמייצר ידע מעבר לידע האנושי.

אם תשאל אותי, האחרונים זה AGI, הרבה יותר מהראשונים.

[Huber]

שוב, סינגולריות (מה שמוגדר כשיפור עצמי רקורסיבי בלתי נשלט, שיוצר זינוק מעריכי מעבר להבנה אנושית) דורשת משהו שעדיין חסר במערכות כיום:

מנגנון יצירת ידע חדש אמיתי (לא רק שילוב של קיים).
למידה יעילה מאוד מדוגמאות מעטות.
מטרות פנימיות ויכולת להגדיר מטרות חדשות בלי תלות מתמדת באדם.
פתרון לבעיית ה alignment וה verifier בעולם הפתוח.

כרגע זה נראה יותר כמו המשך של מהפכת הכלים (בדומה למחשב, לאינטרנט או ל IDE מודרני) מאשר כניסה לסינגולריות. ייתכן שהמעבר יהיה הדרגתי ו"יתגנב" אלינו דרך מערכות agentic יותר ויותר אוטונומיות, ולא בום פתאומי. אבל אני יותר מאמין שנצטרך פריצת דרך ארכיטקטונית/מדעית נוספת (מעבר ל-transformer + scaling).

[ufffnick]

אלה ההגדרות של סינגולריות לא בהכרח של AGI.
זה מאוד תלוי איך מגדירים ומה המבחן.
כמו שפעם איבחון היה בינארי (הגדרה ומבחן בינאריים).
היום הכל על איזשהו הרצף (הגדרה יותר אמורפית ומבחן שנותן תוצאה אורדינלית),
וכך גם ההבדל באחוזי האיבחונים באוכלוסיה.

תשים לב שההגדרה של סינגולריות ו-AGI הולכים ומתרחקים זה מזה עם הזמן, וזה תוצאה בעיקר של שיווק.

[oferlaor]

אני לא בטוח שידע חדש זה המנגנון ל-AGI. יש כאן כמה פרמטרים:
1. בני אדם זקוקים להרבה פחות ידע בשביל להגיע לתבונה. זה נכון שיש לנו אינפוטים מסוגים אחרים על העולם (ראיה/שמיעה/ריח/טעם/מגע) שזה הרבה יותר טוקנים, אבל יתכן שבאמת זה מה שנדרש ולא ידע במובן של טקסט.

2. תדמיינו מודל שזקוק לשבריר מהמידע באינטרנט בשביל להגיע לתבונה שלו. יש רמזים גדולים שסינון *** מתוך התוכן ש-Anthropic מלמדת איתו את המודל זה מה שמשדרג את המודלים ומאפשר להם להוציא מודל חדש כל X זמן. כל פעם יש מודל חכם יותר והוא משמש אותם לסנן ולזקק את המידע הבאמת מעניין בשביל ללמד את המודל הבא. כשהם יגיעו למינימום זה נקודה שבה אפשר אולי להתחיל ולהשתמש באקסטרה מידע הזה.

3. הרתמות והמודלים בגדול בונים את הדרך לפעולה. מודלים מודרנים עם רתמות עדכניות יודעים לבצע פעולות בעולם האמיתי (לפעול מול קבצים/זיכרון, לחפש ברשת, להשתמש ב-API בשביל להפעיל דברים או לחקור אותם). השאלה אם המודל צריך לדעת את הדברים הכי טובים

4. אני חושב שכל תהליך האימון כיום בנוי על מודלים. כלומר, המודלים מוצאים את המידע ומסננים מהעבר מידע שלא כדאי לשמור, הם אלה שאחראים על תהליך האימון, תהליך ה-Post training (בעבר מבקרים בני אדם היו אחראים על השלב הזה , ועכשיו זה המודלים עצמם).

מכיוון שזה המצב, היינו מצפים אולי לקפיצה מטאורית באינטיליגציה וזה לא המצב. אז יש כמה אפשרויות:
א. אולי חלק מהתהליכים עדיין לא עברו אוטמציה על ידי המודלים
ב. אולי אנחנו עדיין בשלב יחסית שטוח של הצמיחה
ג. אולי הצמיחה לא אקספוננציאלית כי טכנולוגית אנחנו קרובים מדי לתקרה של הטכנולוגיה הנוכחית. אם זה נכון אז זה חדשות רעות.
ד. אולי מחסור במשאבי חישוב מונע את הצמיחה האקספוננציאלית - אנחנו כבר רואים שהמודלים הטובים ביותר עדיין ממשיכים לדרוש יותר זיכרון ויותר משאבים ללימוד.



אני בכל מקרה חושב שההתקדמות הבאה צריכה להיות התייעלות. ההצלחה של אפל עם צ'יפים הגיעה כי היא זיהתה מאוד מוקדם שהמשחק הוא לא "איזה מעבד הכי מהיר" אלא התמקדה ביחס כח חישוב לטמפרטורה. זה נתן לה קפיצה מטאורית ככל שהיא התקדמה במהירות - התקרה שכולם הגיעו אליה היתה הטמפרטורה והם היו הכי מתקדמים מבחינה טכנולוגית כשהתקרה הגיעה ואז היא עקפה את כולם בסיבוב.

כאן הסינים עובדים קשה. בגלל שמגבילים אותם מלרכוש את המעבדים הכי חזקים, ובגלל מצוקת הזיכרון נראה שהם עובדים קשה על אופטימיזציה ולדעתי זה המשחק הגדול הבא.

מה מעניין אותי מודל ASTRA או FABLE אם המחיר שלו אסטרונומי. יש לי אייג'נט בודד שהקפיצה מ-SOL ל-ASTRA הקפיצה אותו מ-100K$ עלות לשנה ל-140-150K$ לשנה. עדיף לי SOL ושהרתמה תעשה עוד כמה לופים ואולי תפספס דברים...

[ufffnick]

אני לא מספיק מבין בבני אדם כדי להגיד מה המנגנון שלנו ואיך הוא עובד.
יש סיפור במחלקה לגנטיקה ששמעתי לא פעם מזוגתי שצאצא של שימפנזים רך שאך נולד יודע לפחד מנחש מבלי שנחשף לתגובה חברתית אליו.
ויש ציפורים שיודעות לשיר את השיר האופייני להן, בלי שנחשפו לשירה של המין שלהן.
אז לא מן הנמנע שחלק מה"ידע" שעוזר לנו לזהות דפוסים מאוד מהר עם חשיפה למעט מידע, הוא כבר מקודד, ולא מן הנמנע שזה חלק מתהליך אבולוציוני.
אגב, הוא לא מושלם, אבל כשלונות פחות זוכרים ומזכירים.
אך כמו שציינתי, אני לא בקיא מספיק בנושא כדי לקבוע.

ככל שתזין דאטה נקי יותר לאימון, כך הדפוסים (ידע) שהמודל יתמוך בהם יסבלו מפחות רעש ולכן פחות טעויות (בצד הפלט).
זו הסיבה ששפות תכנות זה המקום שהכי קל למודלים - זו שפה מאוד מבנית ומאוד פונקציונלית ומידת הרעש מלכתחילה מאוד קטנה.
מצד שני תזין פחות רעש, המודל ייכשל בלזהות רעש (בצד הקלט והפלט), ולכן מה שבעיקר עושים לפני האימון זה לסמן מה הוא רעש ומה הוא דאטה אמיתי.
זה אגב, מגדיל מאוד את המודל.

לדעתי אנחנו עמוק במיצוי של הטכנולוגיה, והרצון להגיע אל AGI (במובן של סינגולריטי) הוא שאיפה עסקית של מי שלא מבין מספיק לעומק כמה אנחנו מתנגשים חזק במחסום.
הראיה לכך, הכי טריוויאלית, אתה צריך יותר זיכרון, יותר לולאות, יותר רסן, מודל יותר גדול ומורכב, כדי לקבל צעד אינקרימנטאלי של ביצועים.
וכן, לדעתי המעבר מ-Sol אל Astra הוא אינקרימנטלי ביחס לעלות לצרכן, לעלות בזיכרון ומאמץ אנרגטי בכלל.
אגב גם המעבר מ- Opus 4.8 אל 5.0 הוא צעד קטן מידי שלא מצדיק את העלויות, שלא נדבר על Fable, לטעמי יותר מידי הייפ ומעט מידי ערך למשתמש.
ראיתי פוסטים שמתגאים בכך שקצב ייצור המודלים בתאוצה מטורפת, אבל אם נהיה כנים, ההבדלים בינהם הולכים ומצטמצמים,
כך שבפועל אנחנו מקבלים יותר מודלים דומים במרווחי זמן קצרים יותר, אך בקצב התקדמות כללי לכל היותר אותו הדבר.

אני באמת לא מבין למה אני צריך מודל שמתמחה בהכל, תביא לי מודל שמתמחה בכמה תחומים ספציפיים רלוונטיים ומודל שיודע לנהל מודלים, ואני מסודר.
אני נחשף לתחום חדש? מוצא מודל שמתמחה בו טוב יותר ממה שיש.
די ברור שהמודל העסקי שנוצר כרגע מונע מללכת לכיוון הזה, ולכן אולי קהילת הקוד הפתוח יכולה להביא את זה.
חבל שהיא נשלטת על ידי הסינים, בתחום הזה.
לדעתי זה כיוון ההתייעלות הכי סביר כל זמן שהטכנולוגיה לא משתנה.
מודלים מתמחים בתחומים ספציפיים יותר (ולכן קטנים ונגישים יותר) + רתמות שמותאמות לצרכי התחום.