להלן התשובה שקיבלתי ממערכת LLM CLAUDE SONNET 4.6 ואני מאשר אותה: עקרון הלמידה העצמית של בינה מלאכותית הבסיס: למידה מחיזוקים ומשוב המנגנון המרכזי שמאפשר ל-AI "ללמוד לבד" כיום הוא למידה מחיזוקים מבוססת משוב אנושי (RLHF — Reinforcement Learning from Human Feedback). העיקרון הוא פשוט אך עמוק: המודל מייצר תשובות, בני אדם מדרגים אותן, ומודל פנימי נוסף ("מודל התגמול") לומד לחזות אילו תשובות יזכו לדירוג גבוה — ואז המודל הראשי מתאמן למקסם את ציוני התגמול הללו. כך נוצרת לולאת שיפור שאינה מצריכה הנחיה מפורטת לכל שאלה ושאלה. מעבר לכך, שיטות חדשות יותר כמו RLAIF (חיזוק מבוסס משוב של AI עצמו) מאפשרות למודל להעריך את עצמו ולשפר את תשובותיו ללא מעורבות אנושית ישירה — כלומר, AI שמלמד AI. שלושה עקרונות מפתח 1. הסקה והרחבה עצמית (Self-play & Scaling) מודלים כמו AlphaGo ו-AlphaZero של DeepMind שיחקו נגד עצמם מיליארדי פעמים וגילו אסטרטגיות שאף אדם לא לימד אותם. עיקרון דומה מופעל כיום בתחומים כמו כימיה (AlphaFold) ומתמטיקה. 2. למידה בהקשר (In-context Learning) מודלי שפה גדולים כמו Claude או GPT-4 יכולים "ללמוד" מספר דוגמאות הניתנות להם בזמן אמת, מבלי לעדכן את הפרמטרים שלהם — יכולת שצמחה באופן אמרג'נטי, כלומר לא תוכננה במפורש. 3. חשיבה מדורגת (Chain-of-Thought & Reasoning Models) מודלים כמו Claude Sonnet ו-o3 של OpenAI מאמנים את עצמם לפרק בעיות לשלבים לפני מתן תשובה — תהליך שמדמה "חשיבה" ולא רק "זכירה". הגבולות הנוכחיים גבול ההבנה לעומת הדפוס המודלים מזהים דפוסים סטטיסטיים בטקסט בצורה מרשימה, אך אין הסכמה אם הם "מבינים" את משמעות הדברים או רק מחקים הבנה. הם עלולים להיות בטוחים לגמרי בתשובה שגויה — תופעת ה"הזיות". גבול הגוף והניסיון (Embodiment) בני אדם לומדים דרך ניסיון פיזי בעולם — מגע, כאב, סיבה ותוצאה. מודלי שפה למדו מטקסט בלבד, כך שיש מושגים בסיסיים שהם מעולם לא "חוו" — מה שיוצר עיוורונות מושגיים עמוקים. גבול הסמן הנצחי (Static Knowledge) המודל מאומן על נתונים עד תאריך מסוים ואז "קופא". העולם ממשיך להשתנות; המודל — לא (אלא אם מחברים אותו לחיפוש חיצוני, כפי שנעשה כאן). גבול היעילות האנרגטית אימון מודל גדול צורך אנרגיה עצומה — מאות עד אלפי טון פחמן. המוח האנושי, לשם השוואה, מבצע משימות דומות על כ-20 וואט. הפער הזה הוא אתגר הנדסי, כלכלי וסביבתי כאחד. האתגרים העתידיים הגדולים אתגר תיאור יישור ערכים (Alignment) כיצד לוודא שמודל חכם מאוד ישרת את האינטרסים של האנושות ולא יאמץ מטרות שונות במהלך למידה עצמית הכללה אמיתית המודלים טובים במה שראו; הם שבירים מול מצבים חדשים לגמרי (Out-of-Distribution) שקיפות ("קופסה שחורה") קשה מאוד להסביר מדוע המודל הגיע לתשובה מסוימת — בעיה קריטית ברפואה, משפט ותשתיות למידה מתמשכת מודלים נוטים ל"שכוח" מידע ישן כשלומדים חדש (Catastrophic Forgetting) — בניגוד לזיכרון האנושי יצירתיות אמיתית לעומת רקומבינציה האם AI יכול לייצר ידע חדש לחלוטין שלא נגזר מנתוני האימון? שאלה פתוחה.
