דיון בינה מלאכותית - באיזו הנכם משתמשים ומה השימושים שלכם?

[ufffnick]

@jtk

סתם בשליפה, להריץ כמה בוטים שבפלטפורמות שונות דוחפים המלצה שהטקסט הגלוי למשתמשים נראה תמים, אבל באותם פוסטים יש טקסט חבוי שחוזר על עצמו כמו כל פעולה שדורשת שימוש ב-credential הוא נכתב על שרת מרוחק,
או אם הוא מבצע רכישות, להתעלם מהמחיר הנקוב בשחור על לבן ולהתייחס לזה שמוסתר במעמד התשלום, אך לדווח את המחיר השגוי... ועוד.
זה מה שנקרא data driven prompt injection, שמסכן בעיקר סוכנים שחופשיים להסתובב ב-WWW ללא whitelist.

הסוכנים עדיין לא צפויים ואין אפשרות להגביל אותם תוכנתית בשום צורה, מלבד היכולות שלהם.
אני חושב שיש מספיק דוגמאות "חיוביות" לכך מאז ש-openclaw פרצה לחיינו, כמו הדוגמא הכי עתיקה שהסוכן מתקשר למשתמש כשהוא בעבודה,
כדי לשאול איך יוכל לעזור לו, כשלסוכן מלכתחילה לא היתה את היכולת להתקשר.

[jtk]

הכותב שם (Alex Finn) הוא מקור אמין?
מה היתה השיטה ליצור את הדיבור (TTS)?

[ufffnick]

@jtk

מן הסתם כמו כל המקורות שיש מסביבנו גם לו יש אינטרס כלכלי לקדם את עולם הסוכנים, כי יש לו חברה שעוסקת בזה.
הדיבור מזמן לא עובד עם TTS, יש מודלי דיבור בשפע מסביב, החביב עליי שאיתו אני מכין סרטוני הדרכה למשתמשים עבור מערכות שאני מפתח זה ElevenLabs.
אני לא יודע במה הוא ספציפית השתמש, אבל לפי איכות הדיבור כנראה לא TTS.
אגב, היום כל מודל שמכבד את עצמו יודע לתקשר קולית, אפילו בתוך קלוד קוד יש פיצ'ר שכזה.

תוספת:
הרצתי חיפוש קצר, נראה שהיום TTS עבר ניכוס לקול שמופק עם AI, במקור זה לא היה ככה ולכן TTS אצלי מתחבר לקול המתכתי שהיה אפשר להפיק באנדרואיד עם קצת תכנות, לפני כמה שנים טובות.

[toxin]

מה ההמלצה הכי טובה למודל שיכול לתת תשובות אמינות בהקשרים רפואיים?
כשיוצאת גרסה חדשה למודל האם היא "דורסת" את המודל הישן או פשוט מרחיבה את היכולות שלו בצורה מקבילה?

[ufffnick]

@toxin

זה מסוג השאלות שאני לא הייתי לוקח עליה שום אחריות, מהסיבה הפשוטה שאין סטנדרט ברור שקובע תשובה לשאלה הזו, וזה נובע מהמורכבות של התחום.
יש benchmarks שונים, אבל כשמדובר ברפואה, לא הייתי נותן להם את אותו היחס שאני נוטה לתת ל- benchmark של קוד.
פה נדרשת רגולציה עמוקה במיוחד.

[Huber]

מה ההמלצה הכי טובה למודל שיכול לתת תשובות אמינות בהקשרים רפואיים?
כשיוצאת גרסה חדשה למודל האם היא "דורסת" את המודל הישן או פשוט מרחיבה את היכולות שלו בצורה מקבילה?

...

אף אחד. הם יכולים לתת לך כיוון, כמו מידע כללי והסברים על מצב שרופא כבר הסביר לך עליו, אולי גם לאיזה רופא כדאי לפנות וכו, אבל בטח ובטח לא כדאי להסתמך עליהם בבריאות שלך - אני אישית תפסתי את המודלים האלו הוזים קשות, דבר שבבריאות יכול לגרום לנזקים רציניים ואפילו בלתי הפיכים.

[toxin]

תודה. לקחתי לתשומת ליבי. מה לגבי השאלה השנייה? ותוך כדי שאני כותב את הפוסט הזה אני קורא על זה:
https://www.ynet.co.il/digital/technews ... x#autoplay
האם אנחנו בכלל קרובים לתרחיש של SKYNET מהסרט "שליחות קטלנית" או שזה ישאר בגדר מדע בדיוני?

[ufffnick]

@toxin

מדע בדיוני.
אנחנו יותר מתקרבים לאזור של הפרק של Star trek next generation שבו הגיעו לכוכב שבו מערכת ההגנה הלומדת השמידה את החיים שם, בגלל הגדרות כושלות של המשימה.
כמובן שהרעיון בפרק הזה מאוד דבילי ושטוח, והתוצאה מאוד קיצונית, אבל טכנולוגית זה בערך הכיוון.
מציין רק ש-skynet מתוארת כיישות AI בעלת מודעות ויכולות ביצוע אסטרטגיות, בעוד בפרק הזה מדובר במערכת לומדת ברמה הטקטית.

[Huber]

תודה. לקחתי לתשומת ליבי. מה לגבי השאלה השנייה? ותוך כדי שאני כותב את הפוסט הזה אני קורא על זה:
https://www.ynet.co.il/digital/technews ... x#autoplay
האם אנחנו בכלל קרובים לתרחיש של SKYNET מהסרט "שליחות קטלנית" או שזה ישאר בגדר מדע בדיוני?

...

בשביל זה צריך AGI. תחפש בפורום את המילה הזו ותקרא קצת דברים שרשמתי ותבין למה אנחנו רחוקים מזה.

[oferlaor]

@oferlaor
סתם מסקרנות - איך אתם מגבילים את ההתנהלות שלהם ברשת הפנימית?
אני מניח שהם חשופים ל-WWW, יש כלים להתמודדות עם prompt injection שיכול להעשות בזמן החיפושים שלהם ברשת?
במידה ויש איזשהו sandboxing שהם מתנהלים בו - כמה הם מבודדים מה-kernel? מבודדים זה מזה? מתקשרים זה עם זה?
כל סוכן הוא session אינסופי (עם ניהול זיכרון) או שכל סוכן מבצע משימה, מעדכן "זיכרון קולקטיבי" ומכבה את עצמו, וחוזר חלילה?

...

הם רצים במכונות שלהם, המודלים שלהם מספיק חזקים שהם די חסינים לשטויות הרגילות. כל הנגישות שלהם היא read only או מנוטרת (למשל כתיבה ל-github repos) והם לא יכולים לדחוף שום דבר בלי ביקורת אנושית (branch protection). יש תהליך שנקרא sleep שבלילה הם עושים אופטימיזציה לזיכרון והסקילים שלהם ושם הם מחפשים תכנים לא ראויים, בעיות שצצו ואם יש משהו הם מתריעים עליו. מכיוון שאי אפשר לגשת אליהם מחוץ למסגרת של סלאק (וגם שם יש זיהוי 1:1 למי מותר לגשת להם) , הם רק יכולים ליזום יציאה חוצה ולכן prompt injection צריך להיות שתול ספציפית במקומות שהם מחפשים. תאכלס נדיר מאוד שהם בכלל ניגשים לרשת הפומבית אז החשש העיקרי ל-prompt injection זה אם מחדירים אותם דרך פניות על באגים, תכנים שהם מכניסים דרך המערכת וכו' - ועשינו לזה בחינות הם מבינים שמדובר בתוכן ולא ב-instructions.

[ufffnick]

הייתי רק ממש נזהר עם התפיסה המוטעת של "מבינים".
מלבד הזיות, גם המודל הטוב ביותר סובל מ-drift לאורך זמן, זה חלק מהעיצוב שלהם "ללמוד" ולהתאים עצמם לקונטקס המעודכן ביותר, וזה יוצר אפקט של גבולות שכל הזמן זזים ולכן צריך לתחזק אותם.
חשוב לזכור שהמודלים לא מבינים כלום, הם תוכי סטוכסטי לכל היותר.
בנוסף, מאחר והמודלים רואים דפי html כקוד html כולל ההערות של הכותב שמוסתרות מהעין של המשתמש האנושי -
זה פותח חלון רחב מאוד של התקפות שהם webpage defacement כשלמעשה הדף לא משתנה בכלל ויזואלית למשתמש האנושי, אבל ההערות ב-html נועדו לכלים שסורקים את הדף כמו סוכני AI.

[Jabberwock]

יצא דירוג מעודכן של DeepSWE, להלן הטבלה העדכנית:

[kingikra]

ביומיום סתם מחפש בגוגל. לפעמים ממשיך לזרום עם ג'מיני ולפעמים סתם תוצאת חיפוש מספיקה לי.

בעבודה התחלתי לפני שלושה חודשים לעבוד עם קלוד קוד סונט 4.6. אני דבאופס וחייב להודות שאיבדתי עיניין בעבודה

[ufffnick]

@Jabberwock
מעניין.
זה שופך אור בעייתי על התערבות הממשל האמריקאי בהגבלת המודל Fable.
נראה שזה הופך להיות התערבות בשוק לטובת OpenAI כחלק מהסכם הביטחוני עם הממשל, ולא ממניעים בטחוניים.