בהשקה בסן פרנסיסקו, OpenAI חשפה את המודל החדש שלה – GPT-4o. האות "o" מייצגת את "אומני" (omni), המדגישה את כושר ההתאמה של המודל לטקסט, דיבור ווידאו. בגרסה החדשה הזו, GPT-4o מסוגל לא רק לטפל בטקסט אלא גם במשימות קוליות וחזותיות.
המטרה היא להעניק חוויית משתמש אינטראקטיבית ודינמית יותר. עכשיו ניתן לשוחח עם המודל בצורה טבעית יותר, לקטוע אותו ולקבל תגובות בזמן אמת. הוא גם יכול לפענח תמונות, וידאו ולתרגם טקסט חזותי.
המהירות המשופרת של 320 מילי-שניות לתגובה, מאפשרת שיח רציף וטבעי ללא השהיות. דוגמאות לכך הן תרגום בזמן אמת ופתרון משימות גאומטריה באמצעות קלט חזותי כמו הצבעה באמצעות עט.
בנוסף לכך, OpenAI שדרגה את ממשק המשתמש שלה ושיחררה יישומון שולחני לנוחות המשתמשים. היא גם הציגה מודל freemium לגישה רחבה יותר לכלי ה-AI שלה. כל אלה נועדו להנגיש את הטכנולוגיה המתקדמת הזו לקהל רחב יותר. לכן אם יש לכם מינוי לגרסת GPT-4 לא הייתי ממהר לבטל אותו עד שלא תגלה את יכולות של גרסת החינם.
מהן יכולות GPT-4o וכלים מתקדמים בחינם
בעת שימוש ב-GPT-4o, למשתמשי ChatGPT Free תהיה כעת גישה לתכונות כגון:
– התנסות במודיעין ברמת GPT-4
– מקבל תגובות (נפתח בחלון חדש) הן מהדגם והן מהאינטרנט
– ניתוח נתונים (נפתח בחלון חדש) ו צור תרשימים
– צ'אט על תמונות שאתה מצלם
– העלה קבצים (נפתח בחלון חדש) לסיוע בסיכום, כתיבה או ניתוח
– גלה והשתמש ב-GPTs ו-GPT Store צור חוויה מועילה יותר עם Memory
בסרט מבוא ל- GPT-4o
יכולות המודל
לפני גרסת GPT-4o, התקשורת עם ChatGpt הייתה בעיקר טקסטואלית, עם זמני המתנה ממוצעים של כ-2.8 שניות לגרסת GPT-3.5 וכ-5.4 שניות לגרסת GPT-4.
כדי לאפשר תקשורת קולית, נעשה שימוש בשרשרת של 3 מודלים נפרדים – מודל אחד לתעתיק שמרת, GPT-3.5 או GPT-4 שמקבלים טקסט ומחזירים טקסט, ומודל נוסף שממיר את התשובה לשמע. תהליך זה גרם לאיבוד מידע מסוים, כיוון שהמודל העיקרי לא יכול היה לצפות בטון דיבור, רעשי רקע וכדומה, או להביע רגשות בצורה טבעית.
עם הגרסה החדשה GPT-4o, רואים שינוי גדול. מדובר במודל אחד שאומן על טקסט, תמונות וקול גם יחד, כך שכל הקלטים והפלטים עוברים דרך אותו מודל. מכיוון שזוהי הפעם הראשונה שמשלבים מודליות שונות כל כך, אנחנו עדיין רק בתחילת הדרך בחקירת היכולות והמגבלות של המודל החדש.
בטיחות ומגבלות המודל
GPT-4o כולל אבטחה מובנית בתכנון שלו לכל המודליות, באמצעות טכניקות כמו סינון נתוני ההדרכה וחידוד התנהגות המודל לאחר ההדרכה. יצרנו גם מערכות אבטחה חדשות שמספקות גדרות הגנה על פלטי הקול.
האבטחה הסייברית, CBRN, השכנוע, והאוטונומיה של המודל מראות שGPT-4o לא קיבל ציון סיכון גבוה מבינוני באף אחת מהקטגוריות האלה. הערכה זו כללה ריצת סדרת הערכות אוטומטיות ואנושיות במהלך תהליך הדרכת המודל. נבדקו גרסאות של המודל לפני ואחרי פעולות האבטחה, באמצעות התאמה אישית והנחיות מיוחדות, כדי לגרות בצורה טובה יותר את יכולות המודל.
GPT-4o גם עבר ביקורת חוץ נרחבת עם יותר מ-70 מומחים חיצוניים בתחומים כמו פסיכולוגיה חברתית, הטיה והוגנות, ודיסאינפורמציה, כדי לזהות סיכונים שמוכנסים או מוגברים על ידי המודליות החדשות שנוספו. השתמשו בתובנות האלה כדי לבנות את התערבויות האבטחה במטרה לשפר את הבטיחות בשימוש ב-GPT-4o. OpenAI תמשיך למזער סיכונים חדשים ככל שיתגלו.
OpenAI מכירה בכך שלמודליות השמע של GPT-4o יש מגוון סיכונים חדשים. היום שוחררו לציבור קלטי טקסט ותמונות ופלטי טקסט. במהלך השבועות והחודשים הקרובים, יעבדו על התשתית הטכנית, הנגישות באמצעות עיבוד לאחר ההדרכה והאבטחה הנחוצים כדי לשחרר את המודליות האחרות. לדוגמה, בשלב השחרור, פלטי השמע יוגבלו לקבוצה של קולות מוגדרים מראש ויצייתו למדיניות האבטחה הנוכחית.
יהיה ממש מעניין לראות לאן הטכנולוגיה הזאת תוביל אותנו!
התמונות והסרט מאתר chatgpt.com
