אפל משתמשת כבר שנים רבות ב-AI אבל השנה יש קפיצה דרמטית ביכולות של מערכות AI ו-large language models.
אבל אפל דורשת שהפיצוח המוצרי צריך להיות ממוגן, אישי ושימושי.
הקונטקסט של מערכות AI כיום לא מכירות אותך ואת כל הנתונים שלך. אבל איך משתפים את ה-AI במידע הזה בלי לאבד את ה-security והפרטיות שלך?
אפל תאפשר יצירת שפה, תמונות, פעולות ויכולות הכל בכל הפלטפורמות שלה – אייפד, אייפון, שעון והמק. יהיה זיהוי מה חשוב בכל נקודה ולתדעף דברים חשובים.
טקסט אוטומטית יבדק לאיכות הטקסט עם הערות שפה ועוד בכל אפליקציות הטקסט, כולל מייל, notes ועוד.
ניתן ליצור את תמונות על בסיס התמונות שלכם. זה מייצר את התמונות בסטיילים שונים: ציור, אנימציה וסקצ'. זה קורה בכל האפליקציות של אפל, כולל pages, notes ועוד.
בכל כלי, ניתן לבצע דברים בקונטקסט של מה שאתם עושים כרגע. אפשר לבקשה וזה יבצע.
הקונטקסט הוא כל מה שהמכשיר יודע עליכם ומה שכרגע נמצא על המסך. אנחנו מקבלים מייל, הוא מבין זמן, מרחק, איפה זה קורה, מי מעורב במייל ועוד.
אבטחה ופרטיות
איך אפל בנו את הכלי AI שלהם בלי לאבד את הפרטיות ובאבטחה גבוהה?
הכל קורה במערכת ההפעלה ובמודל החישובי, כך שזה יכול לקרות במכשיר עצמו. מודלים מקומיים ואינדקס סמנטי מזהה את המידע הקריטי בתוך המכשיר. כשצריך המודל בענן מופעל. איך שומרים על בטחון המידע כשזה עולה לענן?
הרעיון הוא לייצר איזור מאובטח בענן. אלה שרתי אפל סיליקון פרטיים של אפל.
המודלים המקומיים מעבירים את המידע הקריטי בלבד לענן, וכל השאר נשאר מקומית על המכשיר.
<אמונה באפל מומחים פרטיים>
איך זה משפר את החוויה?
סירי משודרגת משמעותית לראשונה מאז ההשקה שלה. כשהיא פועלת המסגרת של המסך זוהרת. היא מבינה מה שקורה על המסך.
אפשר לעבור איתה לטקסט כדי לא לדבר בקול רם.
סירי מכירה את כל היכולות של המכשירים ואפשר לבקש ממנה עזרה לעשות משהו במכשיר והיא תנחה איך לבצע.
אפשר למשל להוסיף נתונים לכרטיס איש הקשר עבורכם ואפשר לקשר בין אפליקציות שונות. אפשר לבקש בקשות מורכבות כמו למצוא תמונות לפי פילטר מסובך ואז לבקש לערוך את התמונה ולשפר אותה.
App Intents מאפשר לאפליקציות לחשוף יכולות החוצה בכדי שאפשר יהיה להשתמש בהן ב-AI וכך אפשר להעביר נתונים מכל אפליקציה לכל אפליקציה וזה נפתח לכל אפליקציה שרוצה בכך דרך API.
הקונטקסט מודע לכל מה שיש במכשיר שלכם, אירועים, מסמכים, תמונות, מיילים והודעות פרטיות. אפשר לחפש אותם או לבקש למלא פרטים ואפשר לקשר בין כל האפליקציות.
התובנות של זה מאפשרות לשאול מתי נוחתת מישהי, זה לבד מבין מהמייל איזה טיסה מדובר ולבד מושך את הנתונים של הנחיתה מהאינטרנט.
סירי זמינה בדרכים שונות במק, באייפד ובאייפון.
עוד דוגמא ליכולות: rewrite משכתב את מה שכתבתם בטון הנכון או לפרמט אותו באופן יפה יותר.
זה גם יודע לתקן את הניסוח, לסכם, לייצר נקודות Action item. הכל קורה ברמת הטקסט ולכן חי בכל מקום ובכל אפליקציה.
תגובה מהירה מבינה את המייל ואת השאלות ומאפשר תגובות פופולריות בהתחשב באיך שאתה בד"כ מנסח תשובות.
המייל מקבל סיכום במקום השורות הראשונות של המייל וגם המיילים מסודרים לפי חשיבות ודחיפות. דברים דחופים עולים למעלה כדי שלא תפספסו.
כך גם הנוטיפיקציות – יש סיכום חכם, ודברים דחופים או חשובים עולים למעלה ויש סיכום של הנוטיפיקציות הדחופות והחשובות.
כשאתם עסוקים אפשר לתת ל-AI להחליט מה דחוף. כל מה שלא דחוף לא יבלבל לכם את השכל.
איך בוחרים אמוג'י? Genmoji פשוט מתארים מה שרוצים לייצר וזה מייצר אחד כזה..
אפשר גם לשלב תמונות של אנשים בג'נמוג'ים האלה…
איך מייצרים תמונות generative?
image playground מייצר תמונה דינמית על ידי ערבובים של תמונות משולב עם טקסט וזה זמין ב-pages, keynote ו-Freeform.
כל ההצעות משתמשות במידע פנימי שלכם ואפשר לשלב תמונות מהגלריה שלכם ליצירת התוכן בסגנונות השונים. יש גם API חדש שמאפשר למי שרוצה להשתמש ביצירת תמונות בכל אפליקציה שרוצה בכך.
Image wand הוא עוד כלי שמזהה מה שאתם רוצים לצייר ולכתוב מה שאתם רוצים וכך לייצר תוכן ב-notes או באפליקציות נוספות.
בעריכת תמונות אפשר לנקות תמונות כמו להעיף אורחים לא רצויים מהתמונה… אפשר גם לחפש באופן חכם הרבה יותר בתמונות וזה אפילו יודע לחפש רגעים מסויימים בתוך וידאו ולא רק למצוא את הוידאו עצמו.
איך ליצור וידאו באופן דינמי? קל – כותבים מה שאתם רוצים לראות וזה לבד מזהה את התמונות הרלוונטיות ואז מייצר סיפור ומחבר את הכל לוידאו שכולל תמונות ווידאו. זה גם מוסיף לבד מוזיקה מ-apple music.
ב-notes הם הוסיפו יכולת להקליט ולתמלל את הדיבור. בסוף זה גם מסכם את הטקסט שהוא ריכז.
ניתן יהיה להקליט שיחות (זה יעדכן את הצד השני שהוא מוקלט) ותקבלו תמלול של השיחות (באנגלית). מעניין, כי הרי אפל נמנעה מהקלטות עד כה בגלל חוקי קליפורניה המחמירים.
מודלים נוספים
אפל מודה שהם לא היחידים בשוק ושיש מודלים חיצוניים טובים. לדוגמא, סירי תדע להתממשק לבד עם ChatGPT 4o וכשנדרש מידע מהם לשתף את המידע הנדרש בכדי לקבל תשובות. לכן, לפני שהיא משתפת היא נותנת את האופציה לשתף את המידע ועושה זאת רק אחרי אישור מהמשתמש.
התוצאות חוזרות עם מיתוג של ChatGPT
אפשר גם ליצור טקסט בעזרת ChatGPT ותמונות הכל הישר מהמחשב. לא צריך בשביל זה חשבון, אפל דואגת לעלויות כאן והיא גם מעבירה את המידע ל-OpenAI בלי שיש להם קונטקסט מי היוזר שביקש אותו.
למנויים של Open AI (יהיו כאלה אחרי זה?) יש אפשרות לחבר את החשבון למערכת ההפעלה ואז לקבל פיצ'רים יעודיים שלא יהיו זמינים למשתמשים שלא משלמים.
מודלים נוספים יהיו זמינים בהמשך השנה, כך שאם יש Agent או מודל שטוב בתחום מסויים הם יכולים לחבר אותו ומערכת ההפעלה לבד תחליט שזה רלוונטי להם.
מפתחים יוכלו להוסיף image playground וטקסט זמין ללא שום צורך בשינוי – הכל אוטומטי.
אפליקציות שמשתמשות ב-Siri kit יקבלו את היכולות הרבות והחדשות של Siri ו-App Intents יכולים לבקש פעולות בתחומים שונים כמו שיפור איכות תמונה, עריכת וידאו, יצירת פרזנטציה וטבלאות, עריכה וכו'.
סיכום
מה שמפתיע הוא שהקול של סירי נותר מלאכותי כשהיה, בעוד שראינו כבר של-OpenAI יש פתרונות כל כך הרבה יותר אנושיים וטבעיים.
נראה שנדרש מעבד m1 ומעלה בכדי לקבל את היכולות האלה במק ובאייפד, ובאייפון נדרש אייפון 15 פרו או פרומקס ומעלה.
החלק המעניין הוא שילוב בין מודלים מקומיים לבין מרוחקים. נראה שאפל נעזרת בכך שהיא יכולה להריץ מודלים חזקים למדי כבר על המכשיר ובכך לסנן ולזהות את המידע הרלוונטי. כך שכשהיא זקוקה למודל חזק יותר, המודל על המכשיר מצליח להעביר רק את המידע הנדרש ובאופן מאובטח לענן.
עם זאת נדרש לא מעט אמונה שאפל תעשה את זה באופן מאובטח, שכן מודלים רבים, כולל אלה שיוצרים תמונות, עלולים לקבל תמונות לא ראויות או פקודות לא ראויות. אפל לא התייחסה כלל לנושא הזה שכמובן יהיה דבר הראשון שכולם ינסו…
מגבלת המכשירים אומרת שבעצם נוצרו שני קלאסים של מכשירים עכשיו, כאלה שיש להם Apple intelligence וכל השאר… טריק טוב לעודד שדרוגים בכל הפלטפורמות של החברה.
