דיון בינה מלאכותית - באיזו הנכם משתמשים ומה השימושים שלכם?

[Jabberwock]

שמתי לב שאין פורום בינה מלאכותית כאן באתר.
החלטתי לפתוח דיון בנושא.
נפתח בכמה שאלות קלילות:
באיזו בינה מלאכותית הנכם משתמשים?
כמה זמן כבר אתם עושים שימוש ב-AI?
מה השימושים שלכם?
באילו חבילות הנכם מנויים? 20$, 100$ או 200$?

אתחיל:
בינה מלאכותית בשימוש: GPT 5.5, קלוד אופוס 4.8 (או פבל 5 שהיה פתוח...).
השימושים שלי: בעיקר תכנות, אך מדי פעם שאלות בצ'אט שאני רוצה שהבינה תסביר על נושאים חדשים ויצירת תקציר לטקסטים.
כמה זמן כבר בשימוש: אומנם בתיבת הדוא"ל שלי אני רואה שכבר ב-2023 נרשמתי ל-ChatGPT (האמת שלא זכרתי שנרשמתי) אבל בפועל לתכנות אני עושה שימוש רק בחצי שנה האחרונה.
חבילות: 20$

[toxin]

GPT 5.5, שאלות כלליות או שאלות בנושאים ספציפיים.

[ChinggisKhan]

במערכת של ג'ימני שזה בעייני פשוט מערכת הפעלה שלמה שהכל מתחבר. NotebookLM הכלי הכי שימושי בשבילי

[oferlaor]

דווקא יש, אם כי הוא משמש בעיקר לחדשות

https://htmag.co.il/forum?q=dmlld2ZvcnVtLnBocD9mPTY5

אני משתמש אישית בכל המובילים : ג׳מיני (החבילה שהם נותנים שכוללת גם אחסון פשוט מעולה), chatGPT (הסוכנים שלי עובדים על החשבון 100$ שלהם שכולל גם קודקס וגם יצירת התמונות שלהם הכי טובה בשוק כיום) ו אנתרופיק (מאז שהם חסמו את openclaw צמצתי דרמטית את השימוש בהם ומעביר מה שאפשר החוצה מהתשתיות שלהם).

[Jabberwock]

אשמח לשמוע עוד על השימושים שלך, כלומר מה בעצם עושים עם openclaw? שמעתי שיש עכשיו את Hermes שהוא יותר טוב ממנו.

עכשיו הזכרת לי ששכחתי לציין באילו חבילות הנכם מנויים. אעדכן את הפוסט.

מישהו בכלל עושה שימוש ב-AI הסינים?

על פניו, לפי מה שהבנתי מהמדיה, ואני מצטט: "הבינה המלאכותית של הסינים היא 8 חודשים מאחור באינטליגנציה מאשר אילו של האמריקאים".

[ufffnick]

ביומיום למטרות עבודה (קוד) משתמש ב claude code, בד"כ opus 4.8 לתיכנון וכתיבת spec, ו- sonnet 4.6 ליצירת קוד
חבילת $20 ומידי פעם כשיש peak של עבודה, אני מוסף $50 קרדיטים, כשהתנסתי ב Fable בשבוע שעבר, לדוגמא, הייתי צריך להוסיף קרדיטים.
יש לי גם Gem של Gemini Pro שאליו העלתי את הספרות המקצועית של האופנוע, והוא משמש לי כ- workshop assistance לטיפולים ותפעול תקלות באופנוע.

לשאלת כמה זמן:
ה-AI עבור האופנוע בערך שנה.
למטרות קוד - בערך חודשיים.

[Huber]

Gemini pro

היתרון הכי גדול שלו זה שיש להם את כל הכלים תחת קורת גג אחת, יצירת תמונות, שירים, ווידאו, צט למידע והתייעצות וכו. לא בכולם הם הכי טובים אבל יותר ממספיק טובים ברב המקרים, בטח לשימוש אישי.

אני גם מסכם איתו מאמרים, סרטוני ווידאו מיוטיוב, מבקש מתכונים לדברים שבא לי להכין או מברר איך לשפר מתכון שיש לי כבר ועוד ועוד. אין יום שאני לא משתמש בו כמה עשרות פעמים.

והיתרון הכי גדול הוא כלי שלהם שנקרא notebookllm.

שפכתי אליו את כל המידע הפיננסי שלי לדוגמא והוא משמש בתור רואה חשבון שלי. עלה על כפילויות בביטוחים, תשלומים גבוהים מידי לתאגיד המים, עשה לי סדר בפנסיה וכו. כלי נפלא.

אה, ובגלל שיש לי את הפרו בתשלום אני מקבל גם 5 טרה בענן של גוגל, לשם אני מגבה את כל התמונות והמסמכים החשובים שלי.

[Jabberwock]

בהחלט מעניין. לא ידעתי שזה קיים.
עושה רושם שאנחנו עדיין מגששים את השימוש ב-AI, עוד לא הגענו למיצוי שלו.

התנסתי בשימוש ב-AI באופן מקומי על המחשב בעזרת LM Studio. אפשר להוריד את המודלים של גוגל כדוגמת Gemma 4. עובדים היטב.
גם התנסתי ב-AI על אנדרואיד שרץ לוקלית, האפליקציה נקראת: Google AI Edge Gallery. מתאים למכשירים עם הרבה RAM.
ניסיתי אותו על הטאבלט שלי OnePlus Pad 3 שיש לו 16GB זיכרון. רץ דיי מהר.

ממה שהצלחתי להבין הבינה המלאכותית היא בעצם מסד נתונים מאחורי הקלעים. האם זה נכון?

[ufffnick]

@Jabberwock

אני ממש מנסה להסביר על רגל אחת נושא מאוד מורכב ומאוד מגוון, כך שמי שמבין בנושא ורוצה להוסיף/לתקן מוזמן.

התשובה נעה בין לא לבין כמעט לא.
נכון יש שם רכיב של מסד נתונים (למשל ב-LLM יש vocabulary), אבל זה שונה ממה ש"מסד נתונים" מוגדר להיות ולכן הוא לא ישב תחת אותה קטגוריה.
עם זאת מודל - כל מודל, נוצר בצילו של מסד נתונים והתוצרים שהוא מייצר נובעים בעיקר ממסד הנתונים שעל בסיסו אומן.
אך ברגע שנגמר תהליך האימון, מסד הנתונים "חי" באופן ייצוגי בתוך המודל, כשבהגדרה אין התאמה של 100% בין מה שיש במודל לבין מסד הנתונים.

ספציפית במודל Gemma יש מספר מודלים, מלבד ה-LLM:
זיהוי תמונה (Visual Transformer שמתפקד כ- classifier, קרי מזהה פרטים בתמונה).
אודיו (תלוי בגרסא של Grmma 4, המכיל audio tokenizer שמזין conformer).
אלה מבחינה מבנית ופונקציונלית מודלים שונים לגמרי, ולעיתים כל מודל כזה יכול להיות בנוי מתתי מודלים נוספים להרחיב את הפונקציונליות.
כל זה בצד של ה- input והעיבוד שלו, הצד של ה-output פחות מעניין (ופחות אכנס אליו) כי מדובר בד"כ בטקסט (מודל גנרטיבי שמקבל את תוצרי העיבוד, והופך אותו לטקסט קריא בצורה שוטפת) או בטקסט שמומר לקול (שזה עוד מודל גנרטיבי שממיר טקסט כתוב לקול עם התאמה לקונטקסט ולטון) או בתמונה/וידאו ש... הבנת את הפואנטה.

כל מודל שכזה הוא ממשפחת ה- neural network, מאומן למשימה שלשמה נוצר, כשאימון מתייחס למסד הנתונים שמכתיב את ה-input וה-output המבוקש בהתאמה.
כל מודל כזה מעוצב ספציפית למשימה עוד לפני האימון שלו, ולמעשה בתום האימון הוא יודע לקבל input (תלוי ההתמחות שלו) ולפלוט וקטור עצום שמייצג את הנקודה במרחב ה-N מימדי.
כאשר כל מימד מיוצג על ידי פרמטר - ככל שיש יותר פרמטרים למודל כך הוקטור גדול יותר, כך המודל יכול "ללמוד" מסד נתונים גדול יותר ככל שיש יותר פרמטרים הוא מדוייק יותר בתשובה וכך גם נדרשים משאבים עצומים יותר לאימון.
הוקטור הזה מייצג את ה"תשובה" שהכי מתאימה ל- input מבחינה הסתברותית על בסיס תהליך הלמידה שעברה רשת הנוירונים (שנובע ממסד הנתונים שעל בסיסו אומנה).
מכאן נעשה תהליך של התאמת הוקטור הזה לתצורה שלמשתמש מתקבלת תשובה עם "משמעות", בין אם זו שכבה שמייצרת טקסט או תמונה או אודיו וכו'.

למעשה "מסד הנתונים" לא קיים בתצורה של סידור ידע באופן נגיש לשליפה עבור המשתמש או אלגוריתם מתוחכם שיודע לדלות את התשובה המותאמת (ע"ע סירי),
אלא ברמת הנוירונים שיודעים להרכיב את התשובה (רצף של אותיות ומילים, במקרה של LLM) מותאמת ספציפית ל-input, כי כך אומנו לעשות.
הקונטקס, הוא מעין פילטר שמוחק מהוקטור התשובה את התשובות שלא רלוונטיות לנושא שאליו מתייחס המשתמש, ובכך המשתמש מקבל תשובה ממוקדת הרבה יותר סביב הכוונה הכללית שלו.

תרגום של הפלט הזה לכדי משמעות נעשה בראש של מי שקיבל תשובה, עבור המודל (אם נניח ומדובר ב-prompt), אין באמת הבנה עמוקה של הטקסט שנפלט,
אלא חישוב מתמטי טהור של ההסתברות הכי גבוהה שרצף האותיות/מילים שמייצר הפלט הוא הכי מתאים הסתברותית ל- input + פילטר שמתאים את ההקשר.
מכאן אפשר ללמוד למה כל כך קשה למודלים עם שפות איזוטריות כמו עברית (פתיר ברמת מסד הנתונים), וכן החשיבות שמסד הנתונים על בסיסו נעשית הלמידה, יכול בקלות להוות garbage in garbage out.

[Batnun]

מנוי מקס 100$ על Claude, בעיקר לפיתוח + DevOps
מנוי פרו לג'מיני שכולל נפח אכסון מוגדל לכל השירותים של גוגל
מנוי פרו לצ'אטגיפיטי לשאלות כלליות
מנוי ב-OpenRouter לגישת API
CoPilot במשרד


Batnun

.

[Crossover-Shop]

ג'ימני פרו - עוזר לי המון בפן הטנכי חוסך לי המון זמן בייצירת תמונות הדמיה , מידע שוטף , עוזר מאוד בפן הטכני ובחישוב נפח זוויות ותדרי חיתוך בהתקנות PA אבל כל זה אחרי הרבה ניסויים שהרצתי עליו ובדקתי אותו ואת התשובות לעומק - ממש ממש ממש יעיל בכל הנושא של הגדרות רשת ותקשורת - לאחרונה קצת עובד איתו על חשמל חכם אבל זה גם חצי כוח למרות שהוא קיצר לי כמה תהליכים

הוא שומר לי סטאפים שלמים של לקוחות לפי שם של המיקום ואיזה ציוד שמתי שם - בחודשיים האחרונים כל שאלה שלקוח שואל ואני לא בטוח מה יש לו בבית אני בודק אצלו והוא שופך לי בשניה בדיוק מה עשיתי שם ולמה

כל עדכון שהוא עובר דופק לי משהו אחר - אבל חוקי בסיס שנתתי לו לרוב עוזרים לו להיות ממוקד מאוד

זה בהחלט הקל לי הרבה על החיים ועל החיפוש הגנרי בגוגל
שווה את השטח אחסון שמגיע איתו - יש לי שם כמות כיולים מתועדת עם שמות של לקוחות ואינפורמציה שמאפשרת לי להיות טיפש גמור לפעמים.

[toxin]

מה כרגע המודל הכי מתקדם ומעודכן שאפשר להריץ על מחשב בצורה לוקאלית?

[ufffnick]

@toxin

התשובה היא בעיקר שאלה - תלוי במה?

https://onyx.app/self-hosted-llm-leaderboard

חדי העין ישימו לב שהסינים השתלטו לגמרי על הקוד הפתוח בתחום המודלים.

תוספת:
כדי להיות יותר ברור בדברים -
לא הייתי ממליץ היום (עדיין) להריץ מודלים מקומיים, אלא אם יש למשתמש את הניסיון והידע לנטר ולהגביל את יכולות התקשורת של המודל ו/או הסוכן.
יש שני סוגי קשיים -
1. מי יצר את המודל ומה מוטמע בו ככלים לשימוש שמוסתר מהמשתמש?
כפי שאולי יכול להשתמע מההסבר הקודם - בתוך החבילה שהיא למעשה המודל אפשר להטמיע אינסוף כלים שבינהם יכולים לנטר את כל הנעשה מקומית ולהעביר לשרת מרוחק.
כך שאולי בתפיסה של המשתמש הוא "בטוח" יותר מבחינת הפרטיות כשלמעשה אין שליטה כלל על מה המודל שולח החוצה.
אפשר כבר למצוא ביצוע בפועל של דבר דומה שלא נעשה בתוך המודל אלא כחלק מתקיפת supply chain שהגיעה זה מכבר אל pypi וכבר משפיעה על כלים בסביבה של הרצת מודלים:
https://orca.security/resources/blog/ha ... in-attack/

2. איך מגבילים את הסוכן שפועל בהתאם למצופה ממנו מלשתף פרטים ומידע על מי שמפעיל אותו?
אחד הקשיים העיקריים היום בהרצה מקומית זה איך למנוע מהסוכן לשתף החוצה גם תכנים שהוא אמור להבין שאסור לו לשתף כמו פרטי אשראי.
וזה לא רק ממקום של בכוונת מכוון או זדון של מי שיצר אותו, פשוט הרבה יותר קל לבצע פישינג לסוכן מאשר לאדם שיודע להפעיל אותו, ונדרשת התאמה של הסוכן עם שלל תכונות והגבלות בתקווה שלא ייפול בשום פח.

החלק של השקת מודל כסוכן או מספר סוכנים אמנם מתקדם בצעדי ענק, אבל אנחנו עוד לא שם מבחינת הגנה על מערכת שעליה עובד הסוכן והמידע שאצור בה.
בקיצור, גם לי מדגדג להפעיל סוכנים, אבל כדאי לעשות את זה ממש במשורה וממש לדברים נקודתיים, ורצוי על מחשב נפרד לחלוטין מהמידע שתעדיפו להגן.

[toxin]

התשובה היא בעיקר שאלה - תלוי במה?

...

אז אתה אומר שעדיף בינתיים לעבוד עם מודל בענן מאשר מקומי בגלל שני הקשיים שציינת?

[ufffnick]

@toxin

אני אומר שאם אתה רוצה להרים סוכן מבוסס מודל מקומי, כדאי להבין מה המטרה של זה ואיך לבצע את זה בצורה בטוחה, איך לנטר ואיך להגביל (לדעתי, עדיף חומרתית ככל הניתן).

אגב, הסעיף השני עשוי לקרות גם עם סוכן מבוסס מודל בענן, למרות שיש יותר מודעות בצד החברות שמשיקות אותם, הן מספקות כלים לא מספקים כדי לשלוט בזה.
בטח לא כאלה שמונגשים למשתמש שפחות מעמיק.

[Batnun]

אז אתה אומר שעדיף בינתיים לעבוד עם מודל בענן מאשר מקומי בגלל שני הקשיים שציינת?

...

תלוי לאיזו מטרה - מודל שרץ על חומרה ביתית לא ייצר קוד באיכות שמתקרבת למה שקלוד אופוס מייצר.
אם זה לאוטומציה ביתית (למשל), גוגל Gemma 4 נותן תוצאות לא רעות בכלל.


Batnun

.

[oferlaor]

openclaw (ודומיו, Hermes, nanoclaw, openhuman) דורשים הרבה יותר ידע והבנה. בגדול הם לא אמורים לספק לך תשובות אלא לבצע עבודה. לדוגמא, לערוך מסמכים לפי דרישה, לבצע מחקרים. דוגמאות: אייג'נט שמחפש לך משרות, כותב רזומה ומנהל את התקשורת מול מגייסים. אייג'נט שחוקר כל יום מידע מקצועי ומציף לך כשיש משהו שמשפיע על העבודה שלך. בעבודה יש לנו אייג'נטים לא מעטים, מכל מני סוגים, רובם פנימיים (כלומר, שיוזרים לא יכולים לתקשר איתם). לדוגמא, כשמישהו מדווח לנו על באג או תקלה, יש סוכן שחוקר את הבעיות שהיוזר חווה לפני, שגיאות, בעיות תשתית ובאגים ומנסה לשחזר אותם, אוסף את כל הממצאים ואם זה משהו שנראה שמשפיע על המערכת או על יוזרים באופן מספיק משמעותי, גם יכול לכתוב את הקוד שמתקן את הבעיה. עדיין לא הגענו לרמת בטחון שזה עולה למערכות בלי עין אנושית, אבל גם זה יגיע בשלב מסויים.

[bilbog]

Perplexity Pro
משמש לצורכי מחקר בעבודה + לימודים (הכנת טבלאות, סיכום מאמרים ועוד). באופן פרטי - תכנון חופשות קיץ משפחתיות. יתרונו הגדול שהוא מציין את כל המקורות מהם הרכיב את תשובתו ונחשב מאוד אמין בהשוואה ל chatGPT שנוטה לחרטט לעיתים.

[ufffnick]

@oferlaor
סתם מסקרנות - איך אתם מגבילים את ההתנהלות שלהם ברשת הפנימית?
אני מניח שהם חשופים ל-WWW, יש כלים להתמודדות עם prompt injection שיכול להעשות בזמן החיפושים שלהם ברשת?
במידה ויש איזשהו sandboxing שהם מתנהלים בו - כמה הם מבודדים מה-kernel? מבודדים זה מזה? מתקשרים זה עם זה?
כל סוכן הוא session אינסופי (עם ניהול זיכרון) או שכל סוכן מבצע משימה, מעדכן "זיכרון קולקטיבי" ומכבה את עצמו, וחוזר חלילה?

[jtk]

מזכיר לי את הסיפור של מפתח ב-GitHub שדחה PR של בוט שרץ על OpenClaw. זה גרם לבוט "לתקוף" את המפתח:
https://theshamblog.com/an-ai-agent-pub ... iece-on-me

@ufffnick
איזה סוג injection?
מה, שבוט יריץ :format c בגלל שעמוד מקרי בווב אומר שכך משפרים את ביצועי הקוד ב-30%?