רובי הבוט מדבר שטויות

[ufffnick]

משרד החינוך השיק את "רובי הבוט", כדי ללמד את תלמידיו להשתמש בכלי AI, בפניה לנושאי לימודים כדי לקבל מידע. אני התחנכתי על אינציקלופדיה, לימים גם מהפכת החיפוש, היום... זה.

בשיעור הונחו הילדים לשאול שאלה בצורה ממוקדת ומותאמת למשתמש ולהעתיק את התשובה למצגת (לא נכנס לדיון הדידדקטי, כי אני לא מורה במקצועי).

ביתי חזרה בהתלהבות לספר על השיעור ועל המשימה.
אחרי דקות קצרות, קיבלה שיעור משותף איתי ומצחיק למדי, לכמה שטויות פולט הבוט וכמה כדאי להיזהר מהדברים שהוא כותב.

בפנייה לבית הספר קיבלתי תשובה עוד יותר ביזארית - זה של משרד החינוך, תפנה אליהם.

מאחר ואני לא מוצא זמן לעצמי, אז לא בא לי להלחם בטחנות רוח, ולכן בחרנו להשתעשע במשחק "רובי הבוט מדבר שטויות".
מאחר וזה נושק לתחום העיסוק שלי, על הדרך שיעור לחיים באיך למצוא מידע עובדתי, וכמה המודלים של LLM כושלים כשמדובר בתרבויות שאוצרות את הידע והרקע התרבותי שלהם בשפה איזוטרית כמו עברית.

מוזמנים להצטרף.

(בטון קצת פחות משועשע - ככל שתבחרו לתשאל על מידע שבהכרח אין לו מקורות באנגלית, כך התשובה תהיה הזויה יותר, למטיבי לכת - נושאים שנויים במחלוקת בעיניים לא ישראליות תקבלו תשובות מטרידות ממש)

למנהלים: אין כוונה לפתוח בדיון פוליטי, אלא למשוך את תשומת ליבם של הורים המשתתפים בפורום לשים לב לתכנים והכלים שהילדים נחשפים אליהם בבית הספר.
הסיבה לכך פשוטה, אין למשרד החינוך ולבתי הספר את הכלים להבין ולהתמודד עם AI במסגרת לימודים, בטח שבשפה איזוטרית כמו עברית.
ממליץ בחום לכולם לנסות בעצמם, ולהחליט איך להתמודד עם הנושא מול הילד/ה ומול המוסד החינוכי.

[ufffnick]

מוסיף:

עושה רושם שהסיפור של רובי הבוט יהיה קצר, בתוך בתי הספר.
היום ראיתי שישנה השקה של מערכת הנקראת Q, לה יש בינה הרבה פחות חרטטנית ויותר בקיאה בשפה וההיסטוריה המקומית.
היא במרחב סגור של משרד החינוך, וכל ילד/ה נדרש להכנס אליה בעזרת ההרשאות שלו/ה.
הורים שלא אישרו לילדים להחשף למערכת הלמידה - היא סגורה בפניהם.

חייב לציין שהמערכת הזו היא שיפור משמעותי, לא רק מבחינת הבינה, אלא הערכה הדיקטטית מסביב שחושפת את הילדים לאפשרויות בצורה מדורגת, זהירה עם המון הנחיות סביב המגבלות שלה.

כרגע היא קצת מוגבלת, אבל נראה שמה שהיא כן מבצעת - עושה את זה טוב.

[ziv_r]

במקרה של הילדים שלי והחברים שלהם, כולם משתמשים ב- AI נפוצים יותר, כמו Gemini & ChatGPT. אני מתקשה לראות אותם זולגים לפתרונות עקומים שבית הספר יכניס.

[odedee]

גם הכלים הלכאורה יותר טובים נכשלים על ימין ועל שמאל, גם באנגלית, גם בנושאים טכניים שלכאורה לא דרושה באמת אינטליגנציה כדי "להבין" את המידע הזמין ברשת ולתקצר אותו.

דוגמה טרייה מעכשיו: בעקבות שרשור אחר פה, ביקשתי מ-copilot לדעת איזה רסיברים יש לימאהה בקו Aventage. נתן רשימה עם המודלים הקיימים, ולפיה גם לדגם RX-A4A וגם לדגם RX-A2A יש 7.2 ערוצים עם 100W לערוץ.

שאלתי שוב שאלה מחודדת, מה יש ל-4A של-2A אין, ענה עם יותר פרטים, ביניהם של-4A יש הספק 110W לערוץ.

בקיצור, אי אפשר לסמוך על שום דבר כמעט. גם כשביקשתי פעם להכפיל מטריצות קיבלתי תשובות מוטעות, בכל פעם שאני מצביע על הטעות אומרים לי תודה ונותנים תשובה אחרת, לרוב שגויה גם היא.

כיוון שאין באמת דרך לדעת מתי התשובות נכונות ומתי שגויות, קשה לי לראות איפה הכלים האלה יכולים לעשות משהו בעולם המורכב של שפה טבעית לגבי נושאים כלליים. יישומים טכניים צרים - עובד בהחלט. לאדם הממוצע - פחות, הרבה פחות.

[avngas]

גם אני נתקלתי בטעות של CHATGPT וכשהסברתי לו מה הטעות הוא התנצל וכתב שהוא עדיין לומד .

[ufffnick]

אישית, ניסיתי כמה פעמים את copilot ו- gemini לקיצורי דרך בכתיבת קוד (איפה ששניהם אמורים לככב), ומצאתי את עצמי עובד ב-QA שלהם יותר מידי.
אני לא מצליח להבין את הבאזז, וכמה שהוא מנותק מחוסר היעילות בשימוש בהם באפליקציות שלי.
אבל כנראה שיש מספיק קונים לדבר הזה...

אני כן יודע לומר שכלים אחרים, שמתמחים בתחום צר מאוד וממוקד של משימות או תחום התמחות מחליפים אלגוריתמים מסובכים בצורה טובה מאוד.
אולי זה מרמז על ההבדל בין PR מצויין ואלמנט ה"מגניב" לבין ביצועים נטו.

[עופרפולק]

רובי הרובוט