מהו LLM ואיך הוא עובד?

אם השתמשתם ב-ChatGPT, ב-Claude או ב-Gemini וחשבתם עליהם כעל "מנוע חיפוש חכם מאוד", אתם לא לבד, וגם מפספסים משהו חשוב. הבנה של מה ש-LLM הוא באמת תשנה את הדרך שבה אתם משתמשים בו, כותבים לו פרומפטים ובונים איתו.

מהו LLM?

LLM הוא ראשי תיבות של Large Language Model, מודל שפה גדול. זהו סוג של מערכת AI שאומנה על כמויות עצומות של טקסט (ספרים, אתרים, קוד, מאמרים) למטרה אחת: לחזות מהי המילה (או ה-token) הבאה הסבירה ביותר, בהינתן כל מה שבא לפניה. זה הכול. בבסיסו, LLM הוא מנוע מתוחכם מאוד לחיזוי המילה הבאה. אבל מכיוון שהוא אומן על כל כך הרבה ידע אנושי, החיזוי הזה מתברר כמועיל ביותר: הוא יכול לכתוב, לנמק, לסכם, לתרגם, לייצר קוד ועוד. איך זה עובד בפועל? כשאתם כותבים הודעה ל-Claude או ל-ChatGPT, זה מה שקורה ברמה הכללית: הטקסט שלכם מפורק ל-tokens. token הוא בערך מילה או חלק ממילה. "Product manager" עשוי להיות 2–3 tokens. המודל קורא את כל ה-tokens שבהקשר. הוא שוקל הכול בבת אחת: ההודעה שלכם, היסטוריית השיחה וכל הוראת מערכת. הוא מייצר תשובה token אחרי token. כל מילה שהוא מוציא מבוססת על התפלגות הסתברויות: בהינתן כל מה שקדם, מהי המילה הבאה הסבירה ביותר? הוא ממשיך עד שהוא מגיע לנקודת עצירה: סוף טבעי, או מגבלת tokens. מה זה אומר עליכם כמנהלי מוצר למודל המנטלי הזה יש שלוש משמעויות מעשיות: הקשר הוא הכול. ככל שתתנו למודל יותר הקשר רלוונטי, כך התוצאה תהיה טובה יותר. פרומפטים מעורפלים מייצרים תוצאות מעורפלות, לא בגלל שהמודל עצלן, אלא בגלל שהוא חוזה על סמך מידע מוגבל. הוא לא "יודע" דברים כמוכם. אין לו זיכרון בין שיחות (אלא אם נתנו לו כלים שמספקים זיכרון). הוא לא מחפש באינטרנט בזמן אמת (אלא אם חיברו אותו לכך במפורש). הוא עובד מדפוסים שלמד במהלך האימון. הוא יכול לטעות בביטחון מלא. מכיוון שהוא חוזה טקסט סביר, הוא יכול לייצר מידע שנשמע משכנע אבל שגוי. זה נקרא הזיה (hallucination). תמיד בדקו את התוצרים כשהמשמעות גבוהה. המסקנה המרכזית LLM הוא לא קסם והוא לא מסד נתונים. זו מערכת שמתאימה דפוסים, שאומנה על שפה אנושית בקנה מידה עצום. ברגע שמפנימים את זה, מתחילים לכתוב פרומפטים אחרת: ביתר מחשבה, עם יותר הקשר, ועם ספקנות בריאה כלפי התוצר.