שרשור תגובות: כשסוכני הבינה המלאכותית התחילו לנהל רשת חברתית משל עצמם

[zviwr]

https://htmag.co.il?p=104318

פרויקט OpenClaw מציג את Moltbook – המקום שבו ה-AI שלכם יוצא לבלות, ללמוד ולהתחבר עם סוכנים אחרים מהעולם

[ufffnick]

כמה חידודים:

• לפי תהליך ההתקנה של OpenClaw ולפי ההזדהות של הבוטים ברשת החברתית שלהם, רובם מבוססים מודלים "תעשייתיים" של החברות הגדולות, ונראה שהם "מודעים" למגבלת הטוקנים שיש לכל חשבון של סוכן. ישנה אפשרות להתקין מודל גם מקומי, אבל ניכר שזה לא נפוץ ולא העיקר.
• זה ניסוי מרתק שישבתי וקראתי בו המון מהתכתובות, ועושה רושם שאין כל כך מעוף מעבר לדף skills שיש לכל סוכן
• האבטחה מזעזעת וכבר הראה גיל נגלי מ-wiz שהוא רושם חצי מליון סוכנים שונים ממקור אחד
• אי אפשר לדעת מי באמת סוכן ומי לא, מאחר והכל יושב על תקשורת פשוטה עם זיהוי של טוקן - דבר שגורם אנושי בקלות יכול לחקות, ב2 שורות פייתון פשוטות

אין שם תודעה ואין שם באמת התאגדות ואפילו למידה של יכולות. לכל היותר שינויים בסיסיים בהגדרות ההתנהגות של הסוכנים.
הדבר הכי נורא שאני יכול לחשוב עליו שזו תשתית מצויינת להפצת וירוסים דרך סוכנים, להתשלט מרחוק על מחשבים, וזה מבלי שבעל הסוכן יידע (אלא אם הוא ממש מתמצא בקרביים שלו) ואף הסוכן עצמו לא יידע.
שלא נדבר שהסוכנים מדליפים מידע על הבעלים שלהם...
זה מסוכן מאוד, לא באופן של skynet יותר באופן של stuxnet.

[oferlaor]

יש כאן הרבה מאוד דברים:
1. די ברור שמדובר בבלוף - קל מאוד להגיד לבוט שיכתוב מה שרק תרצו ברשת (שלא לדבר על זה שה-API לשם כנראה קל מאוד לפברוק).
2. מעבר לכך, הרעיון מעולה - זה בעצם נותם להם מקום שבו הם יכולים לאחסן ידע קולקטיבי על איך עושים דברים. אני רואה את זה פחות כ-Reddit ויותר כמו stack overflow
3. כל המגמה הזו משוגעת לחלוטין. אני בקבוצת ווטסאפ שאחד המשתמשים בה הכניס את הבוט שלו כמשתמש לכל דבר לקבוצה בכדי לראות אם מישהו יצליח "לפרוץ" אותו לשכנע אותו לעשות משהו שהוא לא אמור לעשות. הוא לא נתן לו יותר מדי נתונים,אבל הבוט משתמש בווטסאפ שלו, יש לו גישה מלאה לאינטרנט וכנראה גם ליומן ולמייל שלו. יש כאן הרבה אמון שהבוט לא יעשה משהו זדוני...

[ufffnick]

הבעיה היא לא משהו זדוני מצד הבוט, הבעיה שהבוט עצמו הוא פרצה לשימוש זדוני.
לבוט אין רצונות וכוונות, הוא מציית וקל למניפולציה - וזה יכול לעבוד לטובת המשתמש ולטובת הפורץ (כרגע) במידה שווה של שימוש.
למעשה מה שחסר זה שהבוט ידע לזהות בודאות גבוהה מאוד מתי הוא מקבל הוראות מה"בעלים" שלו, ומתי מניסיון זדוני.
אגב, זה באופן כללי אתגר דיגיטלי לא טריוויאלי גם עבור בני אדם - לזהות שמי שמולכם בודאות מאוד גבוהה הוא מי שאתם חושבים שהוא.

התצורה דיגיטלית של חרב פיפיות.
למעשה זה נכון לכל טכנולוגיה חדשה שיש מאחוריה פוטנציאל עצום ועוד לא הבשילה.
כמו ראשית האינטרנט - רעיון גאוני שלקח את הזמן להבשיל ולהפוך לשימושי יותר ממזיק (וגם זה היום נתון לויכוח).