22970 מבוא לעיבוד שפה טבעית

4 נקודות זכות תואר שני

שיוך: תואר שני / מדעי המחשב

שיוך נוסף: תואר שני / למידת מכונה וניתוח נתוני עתק

מחלקה: מתמטיקה ומדעי המחשב

דרישות קדם

תנאי קבלה: קבלה לתואר שני במדעי המחשב או לתואר שני בלמידת מכונה וניתוח נתוני עתק. ידע קודם דרוש: מבוא ללמידת מכונה, למידה עמוקה.

שפת ההוראה

עברית

תיאור הקורס ומטרותיו

עיבוד שפה טבעית (NLP), הוא אחד התחומים המרכזיים של עידן המידע והבינה המלאכותית, העומד בבסיס יישומים כגון מנועי חיפוש, פרסום, ומערכות שיח אוטומטיות כדוגמת ChatGPT. הקורס מציע מבוא תאורטי ליסודות של NLP מבוסס רשתות נוירונים, ולאלגוריתמים המודרניים העומדים בבסיס Large Language Models. בקורס יוצגו הכלים האלגוריתמיים המרכזיים והרכיבים של מודלי שפה מודרניים ושימושיהם. הקורס מקנה בסיס אקדמי ומקצועי להבנת התחום וליישומו.

ידע כישורים ומיומנויות שירכשו בקורס (תוצרי הלמידה)

בסיום הקורס הסטודנטים יהיו מסוגלים:

• להבין מושגי יסוד ואת העקרונות התאורטיים והחישוביים העומדים בבסיס מודלים מודרניים לעיבוד שפה.
• ליישם עקרונות מרכזיים בתחום לצורך ניתוח, הבנה והערכה של יישומים בשפה טבעית.
• לפתח בסיס אקדמי ומקצועי להמשך לימודים, מחקר או עבודה בתחום.

שיטת ההוראה

הקורס מבוסס על למידה עצמית מודרכת. הלמידה תתבצע באמצעות ספר לימוד ומדריך למידה יעודי אשר ילווה את הסטודנט באופן שיטתי במהלך הלימוד של כל אחת מיחידות הקורס. לצד זאת יתקיימו מפגשי הנחיה, שבהם יידונו נושאים מרכזיים מתוך חומר הלימוד, תוך הדגשת הקשר בין העקרונות התאורטיים לבין יישומיהם בהקשרים מעשיים.

נושאי הלימוד

הקורס יעסוק בנושאים המרכזיים הבאים בתחום עיבוד השפה הטבעית:

יחידה 1: Tokens and Words - מושגי יסוד בייצוג טקסט, תהליכי tokenization ו-preprocessing, וייצוגים שונים של מילים ויחידות לשון במערכות חישוביות.

יחידה 2: N-Gram Language Models - מודלי שפה סטטיסטיים מבוססי n-gram ,עקרונות חישוב הסתברויות לרצפים לשוניים, ומקומם בהתפתחות תחום מידול שפה טבעית.

יחידה 3: Embeddings - ייצוגים וקטוריים של מילים וטקסט, יסודות תאורטיים ויישומיים של word embeddings ותרומתם לייצוג סמנטי של שפה טבעית.

יחידה 4: Large Language Models (LLMs) - עקרונות הפעולה של מודלי שפה גדולים, היכרות עם ארכיטקטורות מרכזיות של LLMs כגון מודלי encoder ו-decoder ברמה האבסרקטית, שיטות גינרוט ודגימת טקסט דרך LLMs, הבנת פתרון בעיות בשפה טבעית ע"י שימוש במודל גנרטיבי וטכניקות prompting, גישות pretraining, אבלואציה של LLMs, ונושאים באתיקה ובטיחות הנוגעים לשימוש ב-LLMs.

יחידה 5: Masked Language Models - עקרונות הלמידה של masked language models מטרות האימון שלהן, ותרומתם לפיתוח ייצוגים לשוניים מתקדמים.

יחידה 6: Post-Training Methods - שיטות מתקדמות להתאמת מודלי שפה לאחר שלב האימון הראשוני, לשם שיפור ביצועים, הכוונת התנהגות והתאמה למשימות שונות.

יחידה 7: Retrieval-based Methods : יסודות באחזור מידע, ושיטות המשלבות מנגנוני שליפה עם מודלי שפה לצורך שיפור איכות המענה והביצועים במערכות מבוססות שפה.

הערה חשובה: הקורס מניח ידע קודם מוצק באלגברה ליניארית, חשבון אינפיניטסימלי במימד גבוה, הסתברות וסטטיסטיקה. בנוסף, הקורס מניח כי הסטודנט השלים בהצלחה קורסים בלמידת מכונה ובלמידה עמוקה. בפרט, נדרשת היכרות והבנה טובה של הנושאים הבאים: רגרסיה לוגיסטית, רשתות נוירונים עמוקות, ארכיטקטורת Transformer ומנגנוני Self-Attention.

_____________________________________________________________________________

להשלכות על צבירת נ"ז בשל חפיפה עם קורס(ים) אחר(ים) ראו פירוט החפיפה