איך מעבדת האו AI מקדמת את חזית החדשנות בתחום המודלים הלשוניים הגדולים?
מעבדת האו AI באוניברסיטת קליפורניה בסן דייגו ממשיכה לפעול בחזית החדשנות בתחום המודלים הלשוניים הגדולים (LLM) באמצעות מערכת NVIDIA DGX B200. המערכת החדשה מעניקה לחוקרים יכולות מתקדמות שבעזרתן הם יכולים להאיץ את עבודתם המחקרית וליישם רעיונות חדשים בתחום האינפרנס.
המערכת DGX B200 היא חלק ממערכות הבינה המלאכותית החזקות ביותר של NVIDIA, ומאפשרת למעבדה לבצע אבות טיפוס וניסויים במהירות גבוהה יותר מאשר שימוש בחומרה מהדור הקודם. "הביצועים של DGX B200 הם מהטובים בעולם", אומר האו ז'אנג, פרופסור משנה ב-UC סן דייגו, ומוסיף כי המערכת מאפשרת להם לחדש בתחום המודלים הלשוניים בצורה משמעותית.
שני פרויקטים מרכזיים שהמערכת מאיצה הם FastVideo והמדד Lmgame. FastVideo מתמקד ביצירת וידאו קצר מבוסס טקסט תוך חמש שניות בלבד, בעוד Lmgame-bench משמש לבדיקת מודלים לשוניים באמצעות משחקים מקוונים כמו טטריס וסופר מריו. פרויקטים אלו מדגימים את היכולת של DGX B200 להוביל חדשנות ולשפר את ביצועי המודלים הלשוניים בצורה ניכרת.
מעבר לכך, המערכת מאפשרת למעבדת האו AI לחקור דרכים חדשות לשיפור שירותי LLM בזמן אמת, תוך הפחתת זמן ההשהיה. "אנחנו מתמקדים בחקר הגבול הבא של שירות LLM בעל השהיה נמוכה", אומר ג'ונדה צ'ן, מועמד לדוקטורט במדעי המחשב ב-UC סן דייגו.
אחד המושגים המרכזיים שהמעבדה מקדמת הוא "אינפרנס מפורק", שמטרתו להבטיח תפוקה מערכתית מיטבית תוך שמירה על זמן השהיה נמוך. DistServe, כלי אופטימיזציה שפותח במעבדה, מציע מדד חדש בשם "goodput", המשלב בין throughput לבין זמן ההשהיה שהמשתמש חווה, ומאפשר למערכת לפעול ביעילות מרבית.
הפרדת פעולות המערכת לשני תהליכים נפרדים — prefill ו-decode — על GPUs שונים, מאפשרת למקסם את goodput ולהפחית את ההפרעה בין התהליכים. תהליך זה ידוע כ-prefill/decode disaggregation, והוא מאפשר להרחיב את עומסי העבודה מבלי להתפשר על איכות הביצועים.
שיתופי פעולה נוספים עם מחלקות אחרות, כמו בריאות וביולוגיה, מתבצעים גם הם ב-UC סן דייגו, כאשר חוקרים משתמשים ב-DGX B200 להמשיך ולשפר מגוון פרויקטי מחקר. המערכת תורמת להאצת החדשנות בתחומים רבים ומגוונים.
מה דעתכם על השימוש במערכות מתקדמות כאלה לקידום מחקר בתחום הבינה המלאכותית? איך אתם חושבים שהן ישפיעו על העתיד של הטכנולוגיה?