AGI וסינגולריות - האם אנחנו בדרך לשם?

[Huber]

https://www.geektime.co.il/why-llms-can ... JpGOz7dA9w

אני רואה לא מעט דיונים ברשת לגבי הנושא הנ"ל, חלק מהם אפילו פה בפורום. החלטתי לפתוח דיון בנושא ולרכז מידע שאמצא ברשת - אני אישית חושב שמתישהו בהחלט זה יקרה, אבל במקביל שאנחנו אפילו לא קרובים לשם וזה כאחד שמשתמש בכלים הללו על בסיסי יומי, מספר פעמים ביום. בנוסף נראה שכל מי שטוען ש AGI כבר כמעט פה הם אנשים בעלי אינטרס בתחום (אלו שמפתחים ומוכרים לנו את הכלים הללו, אלו שמפתחים ומוכרים את החומרה להם וכו), או מי שלא באמת מבין מה זה LLM ואיך הוא עובד.

הנה כמה מהדיונים נגד הטענה ש AGI אוטוט כבר פה שהעליתי בדיונים אחרים:

viewtopic.php?p=3399184&hilit=AGI#p3399184+

viewtopic.php?p=3399184&hilit=AGI#p3395882+


לשם הבהרה, זו ההגדה של המונחים לגביהם נוצר הדיון:

סינגולריות (Technological Singularity) – שיפור עצמי רקורסיבי ומעריכי (Recursive Self-Improvement) שמביא לזינוק אינטלקטואלי בלתי נשלט שעובר את ההבנה והיכולת האנושית.

AGI (בינה מלאכותית כללית) – השוואת היכולות לכלל המנעד האינטלקטואלי של האדם (ולא רק מומחיות בתחום צר), יחד עם יכולת הכללה (Generalization) והסתגלות עצמאית.


הנה סיכום של המאמר שלמעלה שגרם לי לפתוח את הת'רד הזה:

פער היצירתיות הבלתי-מותנית (The Unconditioned Creativity Gap):

מודלי שפה פועלים על בסיס חיזוי סטטיסטי והסתברותי של הטוקן (מילה/תו) הבא בהתבסס על הקשר נתון (Prompt) ונתוני האימון שעליהם הם הוכשרו. כל פלט של המודל הוא תוצר "מותנה" (Conditioned) – הוא תמיד מגיב לקלט חיצוני ונע בתוך מרחב ההסתברויות של הדאטה הקיים.

לעומת זאת, יצירתיות ופריצות דרך אנושיות אמיתיות (במדע, באמנות ובפילוסופיה) מתרחשות לעיתים קרובות מתוך חשיבה "בלתי מותנית", סקרנות פנימית, שבירת מוסכמות והמצאת פרדיגמות חדשות שאינן נגזרות סטטיסטית מהעבר.

אינטרפולציה מול אקסטרפולציה:

מודלים מצטיינים באינטרפולציה – שילוב, עיבוד וארגון מחדש של רעיונות קיימים בדרכים מתוחכמות ומרשימות. עם זאת, הם מתקשים מאוד או כושלים באקסטרפולציה אמיתית – יצירת ידע חדש לחלוטין שאינו נובע ישירות מהמידע שעליו אומנו, מבלי "להזות" (Hallucinations).

מדוע מודלים לא יכולים להניע סינגולריות בעצמם?

רעיון הסינגולריות מניח מערכת שיכולה לבצע שיפור עצמי רקורסיבי (Recursive Self-Improvement).

כאשר מאמנים מודלי שפה על תכנים שנוצרו על ידי מודלי שפה אחרים (Synthetic Data ללא בקרה אנושית), המודלים סובלים מ"קריסת מודל" (Model Collapse) ומהידרדרות איכותית, ולא מזינוק אבולוציוני. ללא תובנה אנושית מקורית, מודל לא יכול להגדיר לעצמו מטרות חדשות או לייצר פריצות דרך קונספטואליות מחוץ למסגרת הנתונים שלו.

שורה תחתונה?
מודלי שפה הם כלים רבי-עוצמה להרחבת הפרודוקטיביות וליצירת חיבורים בין פיסות מידע קיימות, אך הם חסרים את מנגנון היצירתיות הבלתי-מותנית ואת ההבנה העמוקה הנדרשים כדי לחולל סינגולריות או להחליף את כושר ההמצאה האנושי.

[ufffnick]

המונח שמסכם את כל זה, נקרא stochastic parrot
מודלי LLM הם תוכי סטטיסטי ותו לא, אין להם יכולת לצאת ממרחב המידע שעליו אומנו, לכל היותר לאתר מידע חדש ברשת ולנסות להסיק משילוב עם מידע ישן.
כדי שמידע חדש "יחזיק" מבלי לאמן מחדש את המודל, נדרש מנגנון "זיכרון" שבכל שאילתא מעלה את המידע החדש בנוסף לשאילתא וזה בא על חשבון כמות המילים שאפשר להשתמש עבור הקונטקסט.
היכולת היחידה שנותנת להם יתרון על אדם זו האינטגרציה של כמות עצומה של מידע - וגם אז נדרשת בקרה הדוקה שהקונטקסט נשמר רלוונטי למטרה לאורך התהליך.

לא ציינת, ואוסיף - ככל שהמודלים האלה צומחים ביכולות (בעיקר בעומק וכמות המידע שעליו מאומנים, והיכולת להחזיק קונטקסט גדול יותר) כך הנגישות שלהם יורדת מהסיבה הבאנלית של עלויות חומרה (בעיקר זיכרון) ועלויות תפעול.
קחו לדוגמא את kimi k3 שנחשב למודל סיני המשתווה למודלים המערביים האחרונים - כדי להשתמש בו למטרות אישיות, כלומר פריסה on premise, צריך חומרה שאפשר למצוא רק ב data center, ואני לא נכנס למורכבות ההגדרות שנדרש עד שמגיע לכיול שאפשר לעבוד איתו.
נכון יש כאלה מוכנים ב- hugging face, אבל אישיתי הייתי נזהר.
העלות הראשונית וגודל החתימה שלה במערכות הפיננסים מאוד מקשה על בניית כלי תקיפה מבוסס AI שנסתר מכלי המודיעין.
הפער מהכלי הזה, החדש והאחרון ביותר שיש לבין AGI, זה פער טכנולוגי כל כך גדול, שלתפיסתי הוא בערך כמו הפער בין המצאת האינטרנט לבין הופעת ה-AI כיום בחיינו.
זו טכנולוגיה שעוד לא נכתבו המאמרים הראשונים לתיאור המתמטי שלה בתיאוריה.
כדי לסבר את האוזן, מודלי LLM הופיעו במאמרים בתיאור מתמטי שעל בסיסו הם נשענים במאמרים מ-1948 כשקלוד שאנון תיאר מנגנון דומה (שרשראות מרקוב), עבור תקשורת מילולית לחיזוי המילה הבאה. רק ב2003 הופיע מאמר שעושה שימוש בתמורה שדומה ל-llm היום, והחומרה שמאפשרת את זה הופיע כעשור אח"כ.

בחזרה ל-AGI, אחת המגבלות העיקריות (תחת הנחה שפתרנו תיאורתית את ההגדרה המתמטית של AGI) היא איך לאפשר ל-AGI לצמוח באופן חופשי בלי אימון מחדש ובחומרה נתונה כאשר, תיאורתית, היא אמורה לייצר מידע בקצב אקספוננציאלי, ולא רק ללמוד מידע קיים וחדש שנעשה על ידי אדם (שכבר היום מוגבל מאוד לפי הדוגמא לעיל, גם בלי ייצור ידע באופן עצמוני).
כיום אין לזה פתרון, זה לגמרי מדע בדיוני.

[Huber]

ufffnick - סיכום יפה, מסכים לגבי הכל למעט הקביעה של "מדע בדיוני". הטכנולוגיה בעשורים האחרונים מתקדמת בקפיצות ענק, מה שהיום נראה מובן מאליו היה נראה כמדע בדיוני לפני 3-4-5 עשורים בלבד. כל החוכמולוגים (ובראשם מאסק) מנבאים את זה ב 5-10 שנים הקרובות. אני לא חושב שאנחנו כ"כ קרובים, והייתי מוכן להמר לא מעט שלא נגיע לשם בטח ובטח לא ב 5 שנים הקרובות, כנראה גם לא בעשור הקרוב.

[oferlaor]

מי שחשוף רק לצ׳אטים עלול בטעות לחשוב שהטכנולוגיה תקועה ושבאמת מדובר על עדכונים יחסית קטנה. אני שומע הרבה שמדברים על תוכים סטוכסטיים ולדעתי פשוט אתם לא חשופים למערכות בקצה העליון של הטכנולוגיה.

מה שמדהים זה שמדובר במערכות שרצות על מודלים זהים. כלומר, המודלים משתפרים הדרגתית אבל עם רתמות מתאימות אפשר לפתור בעיות ברמות שאי אפשר היה לפתור בעבר. תוכי סטוקסטי לא מסוגל לפתור בעיות מתמטיות שעומדות לפעמים עשרות או מאות שנים ללא פיתרון.

אצלנו בחברה לפני חצי שנה התחלנו להשתמש ברתמות שהן self reflective ו self improving. בחודשיים האחרונים הקפיצה היתה מטורפת. הכל רץ על אותם מודלים, וגם הרתמות לא שופרו דרמטית. מה שהשתנה זה הידע שהם צוברים והארגון שלו.

חלק גדול מהעבודה בחברה שלי מנוטר, מוגדר ומפותח על ידי רתמה אחת אצלנו. זה מאפשר דברים שבעבר היו מדע בדיוני. זה לא מושלם אבל כל פעם אני מרגיש שיש שיפור קטן שמקפיץ את זה עוד רמה. זה מאוד קשור בנחישות שלהם ובלופים. בחברות שאין להן מגבלות תקציב מריצים ״צבא״ או ״נחיל״ של אייג׳נטים. זה נראה עדיין לא בשל (בוודאי שזה לא כלכלי כרגע להתנהל ככה) אבל יתכן שהקפיצות הבאות בכלל קשורות לאיך מפעילים את המודלים ולא המודלים עצמם.

אני לא אכנס לפרטים (אני כותב על זה לא מעט בלינקדאין - שם ראיתי שיש קהילות ועניין רב בנושאים האלה אז אני חוסך את זה מכאן). אני רק יכול להגיד שיש לי כל שבוע wtf moment אחד לפחות כשאני מבין שהרתמה פתרה בעיות שאפילו לא ידעתי שיש לנו. בשבוע האחרון היו לנו 3 שונים - כשהוא פתאום החליט לשחזר באג של יוזר ולצלם לנו וידאו על זה כי לא הצלחנו להבין את הבאג (וזה למרות שלא ביקשנו ממנו, ואין לו יכולת לצלם, לדובב או לעשות את כל הדברים שהוא החליט לבצע על דעת עצמו). ה wft השני היה כשפתר באג בערכת שלנו שהיתה קיימת לפחות שנה ואין ספור אנשים אצלנו לא הצליחו לזהות את הבעיה. הוא עשה את זה בנון שלנטיות - פשוט הצליח לראות את ה pattern שכולנו פספסנו. האחרון היה כשביקשתי ממנו לבדוק עם סימולציה כל שינוי התנהגותי שלו ואז פתאום הוא נהיה לי כמה יותר חכם כי הוא היה משנה לעצמו את ההתנהגות בעבר אבל לא בודק שהשינוי באמת אופטימלי.

לא שאני אומר שאנחנו קרובים לסינגולריות, אלא שלא בטוח שזה יהיה איזה בום מטורף אלא יתכן שזה יתחזק עם הזמן ויתגנב לנו לחיים בלי שנשים לב.

[Huber]

עפר, הדוגמאות שנתת מרתקות וממחישות בדיוק איפה ה AI של היום זורח, במעבר מ Chatbot פשוט לעולם של Agentic Workflows, שימוש בכלים (Tool Calling), לולאות משוב (Reflection loops) והרצת סימולציות. זה אכן מייעל תהליכים בארגונים בצורה פנומנלית וחוסך אינספור שעות הנדסה.

אבל שים לב להבדל הקריטי בין אופטימיזציה מתוחכמת של מרחב חיפוש קיים לבין AGI או סינגולריות:

1. זיהוי תבניות מתקדם אינו יצירת פרדיגמה חדשה:
סוכן אוטונומי שבודק מיליוני קומבינציות, מריץ בדיקות קוד, לוכד באגים ומייצר וידאו עושה עבודה מדהימה של חיפוש ואינטגרציה בתוך חוקי עולם סגורים ומוגדרים (קוד, API, תבניות נתונים). מודל יכול לזהות באג שחמק מבני אדם פשוט כי יש לו זיכרון עבודה רחב יותר ויכולת לסרוק לוגים עצומים ללא עייפות, לא כי הוא "הבין" את המהות התודעתית שלו.

2. האשליה של Self-Improvement:
רתמות של שיפור עצמי עובדות מצוין כל עוד יש להן שופט מוגדר וחד-משמעי (Ground Truth / Verifier), כמו קוד שמתקמפל, מבחן יחידה (Unit Test) שעובר או מדד הצלחה מספרי. אבל בבעיות פתוחות של העולם האמיתי (איפה שנדרש AGI), אין קומפיילר שבודק את התוצאה. ברגע שמשחררים מודל לשיפור עצמי רקורסיבי ללא מטריקה חיצונית קשיחה, הוא מתחיל לסבול מהידרדרות ומ"קריסת מודל" (Model Collapse) בגלל הזיות שמוזנות חזרה למערכת.

3. בעיית ה Scaling הכלכלי והמבני:
ציינת בעצמך, הרצת "צבא" או נחיל סוכנים בלולאות אינסופיות היא יקרה בטירוף, צורכת משאבי מחשוב כבדים והכי חשוב אינה פותרת את מגבלת הארכיטקטורה הבסיסית של ה LLM בבסיסו. הוספת שכבות ניהול ופרומפטים מעל המודל הקיים משפרת את הביצועים המעשיים פלאים, אך היא לא משנה את העובדה שהליבה נשארת מערכת הסתברותית מותנית.

אני מבין שמה שאתם עושים אצלכם הוא העתיד של הנדסת תוכנה ופרודוקטיביות טכנולוגית, וזה מדהים. אבל היכולת להריץ סוכנים שפותרים באגים בתוך מערכת סגורה היא עדיין כלי עבודה חכם מאוד (Narrow AI משודרג), ולא קפיצה אבולוציונית לעבר תבונה כללית שמסוגלת להמציא פיזיקה חדשה או לפרוץ את גבולות הדאטה שברשותה.

ד"א, אשמח להמלצות על קהילות איכותיות בנושא שציינת, למשל בלינקדאין.

[oferlaor]

1. זה התחום שלי ספציפית ולכן זה הדוגמאות שלנו. האמת שאם בעבר אי אפשר היה לסמוך על דירוג של מודל, זה כבר לא המצב. גם הבנו איך לגרום לרתמה לתת ביקורת בונה ולדרג הצלחה או מצבי עצירה.

זה אומר שגם משימות בלי חוקיות קשיחה (תוכנה או מתמטיקה) כבר יכולים לעבור תהליכים כאלה. מערכות כמו GEPA בנויות לשיפור פורמטים וליעל טקסט והנחיות.

2. יש פתרונות למניעת קריסה. אנחנו מריצים רתמה כזו ברצף כבר כמעט חצי שנה (המודליםמוהרתמה כל הזמן מתעדכנים אבל הזיכרון והנסיון שלו נשארים). אחד הדברים שעוזרים זה שהוא כל הזמן מקבל פידבק מהעולם החיצוני. הוא גם כל הזמן עסוק בלהבין מה חשוב ואיך לארגן לעצמו את הזיכרון בצורה חכמה ויעילה. זה עובד. הזיכרון שלו הוא DB בגודל של בערך 3GB וכל הנסיון ו סקילים שלו כבר נושקים ל 20 GB. המכונה עומדת על בערך 100GB של אחסון (כולל קבצים זמניים שהוא עובד עליהם).

3. לא הבנתי מה אתה מנסה להגיד כאן. עובדתית אנחנו רואים פרוייקטים גדולים (ויקרים) שמנוהלים על ידי נחיל סוכנים. האלמנט ההיסתברותי לא באמת משחק תפקיד בסקייל כזה. הם מקבלים תפקידים על עצמם ואם יש אחד שהלך לכיוון לא לעניין או הוזה, יש מספיק אחרים שמזהים ומתקנים את זה. מה שעדיין לא פתור זה ארכיטקטורה חכמה לזה - איך הם מתנהלים יעיל, מתקשרים, נמנעים מבלבול קולקטיבי, וכו. רתמת נחיל זה הדבר הבא והיא תיתן לפתור בעיות בסקייל שלא הכרנו בעבר. יש פרוייקטים שמנוהלים ככה כיום עם מעט מאוד אנשים שמתפעלים את הרתמה אבל לדעתי הם עוד לא בשלים לפרוייקטים משמעותיים. Openclaw למשל מאוד שברירי בגלל שיטת הניהול הזו אבל אני מנחש שבסוף זה יפוצח בחודשים הקרובים. ראיתי גם פרויקטים כמו ההמרה של bun ל rust שנוהל באנתרופיק וגם כתיבת MySQL מחדש. אלה דברים שלוקחים שבועות במקום עשור (שזה מה שלקח לבנות את הפרוייקט מראש).

אתה צודק שזה תועלתני ופותר בעיות טכניות כרגע אצלי אבל בחברה זה לא המצב.

מה שבטוח שיש כברת דרך עדיין בתחום הזה. זה כבר ברמה שאפשר לתת לו משימה כללית והוא יודע לשבור את הראש אבל זה לא תחליף לבני אדם וטוב שכך.

כלומר, אי אפשר לטעון שאנחנו ב AGI כרגע אבל וקטור ההתקדמות והאינטיליגנציה עלו דרמטית בחודשים האחרונים. מה שמפתיע הוא שאני לא חושב שהמודלים התקדמו דרמטית אלא הרתמות - וזה גורם לי לחשוב שאולי בנוסף למודלים שממשיכים להשתפר, הרתמה חשובה לא פחות. לדוגמא אני רואה איך Chargpt הוא ״סבבה״, קודקס ממש טוב אבל מוגבל, והרמז מדהים. ההבל בינהם זה רק הרתמה - המודל זהה.

[Jabberwock]

דיון מעניין.
אתם עושים שימוש בכמה מודלים או במודל אחד שהוא מודל-דגל (frontier)?

[oferlaor]

הסיבה להשתמש בכמה מודלים ו-orchastrator זה לרוב מסיבות צמצום עלויות או צורך להגיב מהר יותר.

אצלנו רוב הבעיות דורשות מקסימום אינטיליגנציה אז אנחנו לרוב מריצים GPT 5.6-SOL ורק משחקים עם רמת ה-reasoning (לא תמיד גבוה יותר זה טוב יותר). זה נכון לגבי מרבית הסוכנים שאני מריץ (אני מגרד את ה-10 מלמטה - כל אחד עושה משימות אחרות ומתמחה בתחומי עניין שונים)..

בכל מקרה, במקרה של HERMES AGENT אפשר לתת לו לפתוח תת-סוכנים עם מודלים שונים. במקרה של פיתוח תוכנה למשל אני לא מרשה לו לפתח תוכנה בלבד, מותר לו רק לפתוח CODEX ולתפעל אותו ובעצם הוא זה שעובד איתו באופן צמוד. ככה יש לנו שלושה סוגי סוכנים - Orchastrator שמגדיר את המשימות, בוחן אותן וכו', קודקס לפיתוח, ועוד אייג'נט (פרסונה שהיא חלק מהאייג'נט הראשי) שהתפקיד שלה זה לשאול שאלות ולבחון את התוצאה - למה לממש ככה? מה עם מקרי קצה ששכחת, יש כאן באג, או יש שיטה לעשות את זה יעיל יותר או בפחות שינויים בקוד? וכו'.

זה נשמע כאילו שהאייג'נט עסוק בפיתוח אבל זה בכלל לא המטרה שלו. המטרה שלו זה שכל פעם שיוזרים שלנו חווים קושי (בין אם הם מדווחים על זה או שרק מרגישים את זה) שיהיה ניתוח ואם יש כאן pattern גם לתקן אתז ה.

[Huber]

עפר, הפירוט של הארכיטקטורה שאתם מריצים (Orchestrator עם Hermes שמפעיל תת סוכנים כמו Codex ופרסונת Reviewer שמתשאלת מקרי קצה) הוא הדגמה מעולה למקום שבו התעשייה נמצאת כיום, קרי מיצוי מקסימלי של מודלי שפה דרך הנדסת מערכת (System Engineering) מתקדמת.

זה מרשים מאוד ומייצר פתרון פרקטי מדהים לאופטימיזציית מוצר, אבל כאן בדיוק נמתח הגבול בין אוטומציה מערכתית עילית לבין AGI או סינגולריות:

הערכה והטיה מעגלית (LLM-as-a-Judge):
העובדה שסוכן אחד כותב קוד והשני שואל "מה עם מקרי קצה" או מערכות כמו GEPA שמייעלות הנחיות – מייצרות מנגנון בקרת איכות מצוין בתוך חוקי שפה ותכנות. אבל בבעיות ללא Ground Truth מוחלט, להציב מודל שיבקר מודל מאותו סוג מייצר הטיה מעגלית (Circular Bias). המערכת מתכנסת למה שהסוכן המבקר חושב שנכון לפי מרחב ההסתברויות שלו, ולא בהכרח מייצרת פריצת דרך תפיסתית חדשה.

ההבדל בין Context Management ללמידה עצמאית:
דאטהבייס של עשרות גיגות וצבירת ניסיון שוטפת הם מימוש מצוין של Long-term Memory ו RAG מתקדם. אבל חשוב לדייק: המודל עצמו לא השתנה ולא עבר אימון מחדש. המשקולות שלו קבועות, וה"אינטליגנציה" לכאורה מגיעה מניהול נכון של חלון ההקשר (Context) והזנת הפידבק החיצוני. אם ננתק את הפידבק החיצוני (המשתמשים שמתלוננים או ההגדרות שאתם שמים לו), המערכת נתקעת בלולאה סגורה.

נחילי סוכנים ופרויקטי ענק (Bun / MySQL):
הדוגמאות שציינת של שכתוב קוד או הסבת פרויקטים הן פריצת דרך ענקית ב Throughput וביעילות הנדסית (Refactoring & Transpilation מסיבי). המערכת יודעת לקחת לוגיקה קיימת ולתרגם אותה לשפה אחרת תוך תיקון הדדי. אבל זה עדיין עיבוד וסידור מחדש של ידע אנושי קיים בתוך מרחב חוקים דטרמיניסטי.

אתה צודק לחלוטין שהרתמות (Scaffolding / Orchestration) הן אלו שעושות את ההבדל התהומי בין צ'אטבוט פשוט לכלי עבודה פרודוקטיבי. אבל רתמה טובה יודעת לנתב, לסנן ולבקר את הפלט של ה LLM, היא לא משנה את עובדת היותו מנוע הסתברותי מותנה בבסיסו.

ז"א שמה שאתם עושים מראה שאפשר להוציא מה LLMs הקיימים פי 10 יותר ערך באמצעות ארכיטקטורת סוכנים חכמה, וזה העתיד המיידי למשל במקרה שלך של פיתוח תוכנה. אבל היכולת של מערכת סוכנים לזהות דפוס של חוויית משתמש ולשפר קוד קיים היא עדיין אוטומציה מתוחכמת במיוחד (Narrow AI משודרג), ולא תבונה כללית שפורצת את גבולות הדאטה שעליו הוכשרה או מסוגלת להניע סינגולריות ללא תלות באדם.

[Huber]

ד"א, אשמח להמלצות על קהילות איכותיות בנושא שציינת, למשל בלינקדאין.

...

תוכל לשתף אותן כאן או בפרטי? אשמח ללמוד ממקורות טובים.

[IsportaR]

כל תגובה פה ניסחת עם AI, לא יכולת לשאול אותו את זה?

[oferlaor]

זה פשוט בלינקדאין, האלגוריתם מביא לי את האנשים והפוסטים המעניינים. הקהילות זה רדיט, לינקדאין, X וכו'.

[ufffnick]

עופר, בסוף, אתה מתאר להקה של תוכים סטטיסטיים שמזינים זה את זה, כאשר לכל אחד חלון קונטקסט מסויים שבנוי לבקר את השכן שלו.
זה באנלוגיה כמו שרשרת של בקרים שכל אחד אמון על סט פרמטרים והם דואגים שכל בקר שכן פועל באופן תקין בתחום העבודה שלו (או פונצקיות של אם-אז).
אם חלון הקונטקסט היה בלתי מוגבל, לא היה צריך סוכנים או להקה של תוכים.
זו דרך מצויינת למצות מהתוכי ייעילות - אבל זה קצת brute force - בואו נשפוך עוד כלי עיבוד עם עוד בקרה כדי לקבל תוצאה מדוייקת.

כל מה שכתבת לא משנה כלום מהטיעונים שלי - הLLM מצטיין באינטגרציה של מידע ועושה את זה מהר, ולכן כל הפתרונות שהצגת שהם בגדר WTF moment הם תוצר של אינטגרציה של המידע שהוכנס בניהול קונטקסט חכם, ועדיין קונטקסט מוגבל שאילץ שימוש בלהקה.
המודל לא יצר תובנות חדשות, הוא מצא תובנות קיימות של מערכת שנוצרה על ידי אדם, בכלים תבניתיים - ולכן מודלי LLM מצטיין כל כך. לזה הוא נועד.

באותה מידה, תוכלו בקלות להתנתק משירות LLM צד שלישי ופשוט לבצע הטמעה מקומית (או ענן משלכם) של מודלים קוד פתוח (למשל Gemma של גוגל), הרי אין סיבה שלא תוכלו תוצאות טובות ללא התלות בשירותי צד שלישי.

וזה מוביל לטיעון המרכזי שלי - אנחנו לחלוטין לא במגרש המשחקים הטכנולוגי של AGI. לכל היותר בנינו כלי שמבצע אינטגרציית יעילה מהותית מהכלים שהיו לפני שנים בודדות וזה, אולי, האמצעי לקפיצת המדרגה הטכנולוגי שתביא בעתיד את ה-AGI.

אם בעיסוק עסקינן - אני מתעסק במודלים אחרים, פשוט כי LLM תמיד שיעמם (בעיקר מקורות של תמונה וצליל), אבל נשאר מעודכן במה שקורה בתחום.
גם כלים שלכאורה חופפים את המודלים שאני עוסק בהם - המודלים המסחריים פשוט כושלים. סתם לדוגמא, תבקש ממודל שמקבל קבצי הקלטה של צליל לתאר מה הוא שומע בהקלטה, תראה שמלבד דברים גנריים ופשוטים לרוב הוא נכשל (למשל זיהוי ציפור שיר, להבדיל בין צפרדעים/חרקים לעופות, לזהות כלי הרכב לפי צליל מנוע - דברים שבני אדם יודעים לעשות).
למה? כי אלה כבר לא תבניות של קוד שה- ground truth מאוד מוגדרת ופשוטה לבקרה עם לולאה של בדיקות קונטקסט או להקה של תוכים במגוון קונטקסטים עם יכולות לבקר זה את זה.

[oferlaor]

לא שכנעת אותי. עובדתית האייג'נטים האלה לא היו מסוגלים לעבור את בני האדם אם הם היו רק תלויים בידע קיים.

אבל הם מצליחים לפצח בעיות מתמטיות.

אצלנו הבאגים שהם מוצאים הם באגים חדשים שלא זוהו או טופלו על ידי בני אדם. האם הם טופלו היכן שהוא בעבר על ידי מישהו והתיעוד של זה הגיע לאייג'נט? אני לא חושב, כי כל מקרה וכל בעיה היא בפני עצמה. לכן אני לא מסכים שמדובר בתוכים סטוקסטים. לפני כמה חודשים זה בהחלט היה המצב - בגדול ה-Auto complete היה זכרון תובנותי שהגיע מפיתרון של מישהו אחר. עכשיו זה כבר לא המצב - התובנות הן עמוקות.

אפשר באותה מידה, אגב, להגיד שאנחנו תוכים סטוקסטים שמשחזרים משהו שלמדנו מתי שהוא במהלך חיינו עד כה. אבל עובדתית כל פעם אנחנו חשופים למידע אחר והיכולת שלנו להתאים את הידע והתובנות מהעבר לסיטואציה חדשה זה בדיוק מה שהופך אותנו לתבונתיים.

בכל מקרה, מרגיש לי שקבעת עובדה ולא אזיז אותך עם טיעונים, בוודאי כאלה שמבוססים על נסיון אימפירי פרטי שלי. כשתגיע אתה לאייג'נט שפתאום יבצע עבורך משימה שמעולם לא חשבת שתוכי סטוקסטי יכול לבצע, אז יפול לך האסימון.

[oferlaor]

אגב, אנחנו משחקים הרבה עם מודלים חינמיים. הטובים ממש דורשים חומרה שלא מעשי להחזיק מקומית.

בשביל סוכנים מבוססי Hermes אין כרגע משהו שמסוגל לרוץ מקומית ברמה מספיק מהירה (יש מודלים גדולים שבעזרת טריקים מקטינים את הזיכרון שהם זקוקים להם למשהו שיכול לרוץ ב-MBP). לצערי אין לנו מחשבי Spark של NVIDIA אז לא יכול להגיד לך מה החוויה של המודלים האלה אם היינו מריצים אותם לחלוטין מקומית.

[ufffnick]

אתה לא חייב להסכים, אבל עובדתית - הם תוכים סטטיסטי, זו המתמטיקה שמאחורי המודלים: "לנחש" בכלים סטטיסטיים על מרחב עצום במימדים מה המילה הבאה. זו הסיבה שהקונטקסט כל כך עוזר, הוא מקטין את מרחב האפשרויות דרסטית לגבי מי המילה הבאה.

באגים היו שם גם אם לא מיפיתם אותם ולא הגדרתם אותם, הם לא הומצאו מתוך רעיון אמופרי מורכב, אלא כשל שבגלל מורכבות המערכת קשה לאתר אותו, נדרש מיפוי עמוק של המון אפשרויות עד שמגיעים לבעיה - ובזה תוכי סטטיסטי מצטיין יותר טוב מכל אדם, ועושה את זה מהר מכל אדם.
התבניות (של באג) קיימת, צריך למצוא אותה בערימת שחת, של... טקסט.
כשאת סירי בנו עם לולאות של אם-אז, זה העיף לגרופים את הסכך שהינה אפל מגשימה את HAL 9000 - רוצה לומר אם תבנה מספר עצי החלטה מספיק מורכבים שמכסים נושא מסויים, תקבל AI מטורף עם עומק ידע.
הבעיה שזמן העבודה על כזה עץ החלטה לא סביר, ולכן שרשראות מרקוב ורשת נוירונים הניתנות לאימון על דאטה - יעילות יותר (בצד הבניה ומהירות השימוש).

עצם העובדה שבני אדם יכולים לקבל מידע חלקי ולהשלים אותו - ללא למידה מלאה, זה מבדיל אותנו מתוכי סטטיסטי.
עצם העובדה שמידע שלא מיפית ולא סיפקת למערכת לא קיים זה מספיק כדי להבין את ההבדל בין תוכי סטטיסטי ל... בעלי חיים.
כל יונק לומד מאירוע בודד, מחשיפה חלקית למידע, מה שתוכי סטטיסטי רחוק ממנו שנות אור.

בחזרה לדוגמא של באגים - כהגדרתו הוא כשל בבנייה/תיכנון שמאופיין על ידי התוצאה שהוא מייצר, המידע קיים (התופעה) וכן המקור לבעיה נגיש לכל (הקוד) כל שנשאר זה לבצע אינטגרציה של שתי קצוות המידע הקיים ולשייך את התופעה הלא רצויה לקטע הרלוונטי בקוד.
העובדה שהבאג לא הוגדרה על ידכם לא אומרת שהוא לא מופה כבר במידע שהוא אומן עליו.
גם "פתרונות" לבעיות מתמטיות שפורסמו לא מזמן - זה בדיוק אותו מנגנון, המודל השאיל טכניקות מתחום אחד כדי לפתור בעיה בתחום אחר - אינטגרציה של מידע קיים.
עומק ה"תובנות" הוא כעומק המידע שנגיש למודל.
ככה פשוט.
אולי נשמע שאני "מקטין" את ה-AI המודרני - אני לא, חשוב להבין מה הוא עושה ויותר מזה, מה לא.
זה כלי מפלצתי שישמש כל מי שעוסק בתפקידים שדורשים לשחות בהמון מידע טקסטואלי, אבל זה עוד לא נמצא במקום של להבין את הרעיונות מאחורי הטקסט לכדי יצירה של רעיונות שלא קיימים בטקסט.

[oferlaor]

אני רק אומר שאני חושב שההתנהגות של המערכות כבר לא של השלמת טקסט אלא של reasoning. תקרא לזה מה שתרצה, אבל כשהוא יכול לקחת החלטות מההתחלה ועד הסוף ומסוגל לקחת תחום מסויים שדרש שיקול דעת אנושי זה קפיצה דרמטית. זה בהחלט לא AGI, אבל זה כבר לא auto complete על סטירואידים.

סתם מתוך עניין - יצא לך לעבוד עם אייג'נטים בסד"ג הזה? על בעיות אמיתיות? אני מניח שאני הייתי אומר אותם דברים אם לא הייתי נחשף לדברים האלה בחודשים האחרונים.

[Huber]

. זה בהחלט לא AGI, אבל זה כבר לא auto complete על סטירואידים.

...

עם זה אני מסכים. זה שלב אחד מעבר בזכות הכלים החדשים, אבל שוב זה רחוק מאוד מ AGI.



ברגע שהמשימה מוגדרת היטב ויש בה מדדי הצלחה (קוד שעובר טסטים, מערכת שמתפקדת, לוגים שמראים שיפור), הסוכנים מפגינים "שיקול דעת" מרשים ביותר. אבל המבחן האמיתי של AGI ותבונה כללית הוא היכולת לפעול בסביבות ללא חוקים מוגדרים מראש, להמציא מושגים מופשטים חדשים לחלוטין (Out-of-Distribution) וללמוד מאירוע בודד מבלי להסתמך על מיליארדי דוגמאות עבר.

אני לא חושב שהמערכות האלה הן "רק Auto-complete פשוט", אבל אני גם לא חושב שהיכולת המרשימה שלהן לנהל תהליך ולפתור באגים מעידה שאנחנו צועדים בקו ישר ל AGI. מה שאתם רואים אצלכם בחברה זה ה State of the Art של אוטומציה הנדסית מתקדמת (Applied/Narrow AI בשיאו), וזה כלי עבודה מדהים שמשנה את התעשייה כאן ועכשיו, גם אם הוא עדיין רחוק מאוד מסינגולריות או מתבונה אנושית אמיתית.

[ufffnick]

כן, אני עובד איתם כל יום, בעיקר עם Opus ו- Sonnet.
בעבר השתמשתי באחרים, אבל הקלוד קוד נתן אחלה של אינטגרציה.
אני לא מגיע לסקיילים שאתה מתאר, אבל יש לי סוכנים שצדים באגים בסביבת הפיתוח, שלפני יציאה ל- production, הם מדמים את הסביבה במכונה וירטואלית.
לא מושלם כי זה חסר את הדאטה של דבר האמיתי - וזה לפעמים גורם לבעיות, אבל מוטב כך.
הסקיילים שונים לגמרי, אז אין באמת צורך מעבר לכך.

ולא, הכוונה לא היתה auto complete - למרות שזו אחלה הפשטה של הדבר, אבל עם כל הצער שבדבר, זה מה שיש מתחת למכסה מנוע.
בדיוק כמו אם תרים את המכסה מנוע של סירי תראה קוד של אם אז, זה נראה כמו HAL 9000 אבל... זה לא.
ה-reasoning זה טריק נחמד של פירוק משימה לתתי משימות פשוטות עם לולאת בקרה - בכל מקרה זה תרגיל של מיצוי מידע מהשחת, כלומר זו אסטרטגיה שהתוכי הסטטיסטי מאפשר - וזה משמעותי, אבל לא מעבר.

[oferlaor]

נתחיל רגע בהכי פשוט - אני לא רואה ב-Claude code כמשהו אינטיליגנטי. אתה מבקש משהו והוא בונה אותו. זה רתמה יחסית פשוטה שלא משתפרת לאורך זמן או לומדת (סקילים צריך לשכנע אותו ללמוד או להסביר לו שהוא צריך כאלה).

המוצר שאני מדבר עליו הוא Hermes Agent (גרסא הרבה יותר חכמה על בסיס אותו רעיון של OpenClaw).

ממליץ לך לנסות את זה. אם יש לך גישה ל-Claude API אז זה רץ מעולה עם Opus 5. אם יש לך גישה למנוי OpenAI אז לחבר אותו למנוי שלך ב-GPT/CODEX זה ליגה אחרת על GPT-5.6-SOL. אני לא מרשה לו לכתוב קוד (מותר לו רק להריץ CODEX).

מה שמיוחד שם זה היכולת שלו ללמוד, להסיק ולהגיע לתובנות.

אפשר להשתמש בזה לטובת כתיבת קוד (אני גם עושה את זה, אבל זה הרבה יותר שגר ושכח). הדברים היותר מדהימים שזה עושה דווקא כשזה לא קשור לקוד עצמו. היכולת שלו לחפור ב-DATA (למשל LangSmith, Mixpanel, Sentry ולוגים), היכולת שלו להסביר דברים מסובכים בדרכים פשוטות. לדוגמא, לאחרונה התחלתי לבקש ממנו להסביר לי דברים בוידאו. אין לי מושג איך הוא עושה את זה (זה גם לא מעניין אותי) אבל הוא מייצר וידאו שמסביר במילים פשוטות בעיות במערכת, הצעות שיש לו לשיפור, הסברים מה יוזרים חווים, הוכחות מצולמות לתיקונים שהוא מבצע וכו'.

אבל כאמור הדברים היותר מעניינים זה המקומות שבו אנחנו נותנים לו יד חופשית. אנחנו רואים שהוא משתפר לאורך זמן. הוא דרמטית יותר חכם היום מאשר היה לפני כמה חודשים, וזה למרות שהמודלים לא השתנו באופן דרמטית. ההבנה שלו של מה שאנחנו צריכים, המתודולוגיה שלו וכו'.

ממליץ בחום שתנסה את זה, זה מרגיש כמו קפיצה של כמה שנים לעתיד ביחס לסתם Claude.

יש לרתמה לא מעט דברים חכמים שהוא עושה שגורמים לזה: בדיקה עצמית (גם קלוד עושה את זה אבל רק לקוד), יכולת להתאים את עצמו ואת הזיכרון שלו (אלגוריתם GEPA), הוא מחפש כל הזמן דרכים לשפר את עצמו בעזרת בניית Skills עצמאית (זה ממש מדהים לאורך זמן), הוא "חולם" בלילה (מארגן את הזיכרון שלו, מעביר מהזיכרון קצר טווח לזיכרון ארוך טווח). זה עובד במיוחד טוב כשהוא מחובר ל-Slack או Discord - כלומר, סביבות שנותנות לך לפתוח שרשור נפרד לכל נושא, מה שמבטיח שהקונטקסט שלו נקי.

אצלנו יש כבר כמה וכמה כאלה והם מדברים אחד עם השני דרך Slack.