ליקוויד איי.איי משיקה מודל AI בגודל גיגה-בייט שרץ ישירות על הנייד - מה זה אומר לעסקים

בעוד רוב החברות הגדולות בעולם ה-AI ממשיכות במירוץ אחרי מודלים עצומים שרצים בענן ועולים הון, סטארטאפ אמריקאי בשם Liquid AI בחר בכיוון הפוך: בשבוע שעבר הוא חשף משפחת מודלים זעירים בשם LFM3, שתופסים כגיגה-בייט אחד בזיכרון ורצים ישירות על טלפון נייד, מחשב נייד ואפילו מחשב Raspberry Pi זעיר - בלי להתחבר לשרת בענן בכלל. זו לא רק כניסה טכנולוגית, אלא איתות לכיוון שעלול לשנות את שיקולי העלות, הפרטיות והתלות של עסקים שמאמצים בינה מלאכותית.

מה בדיוק הושק

LFM3 היא משפחה של שישה מודלים בגודל כ-2 מיליארד פרמטרים, שכולם "נובטים" מגרעין משותף אחד בגודל 1.7 מיליארד פרמטרים. המודלים מחולקים לפי ייעוד: אחד מטפל בטקסט ושיחה, אחד בתמונה ווידאו, אחד בקול - כולל הקלטה, תמלול ותרגום ב-18 שפות - ועוד גרסאות המיועדות להרצת סוכני AI ולביצוע משימות באופן עצמאי. המודל המרכזי, בגרסת דחיסה של 4 ביט, תופס כגיגה-בייט אחד בזיכרון, אך מחזיק חלון קונטקסט של 256 אלף טוקנים - נתון שעד לא מזמן היה שמור למודלים גדולים בהרבה שרצים רק בענן. לפי נתוני החברה, הגרסה הקטנה אף מצליחה לעקוף בביצועים מודלים גדולים משמעותית ממנה במבחני יכולת של סוכני AI.

למה "קטן" הוא בעצם סיפור גדול

בשנתיים האחרונות השיח התמקד כמעט כולו במודלי AI אדירים שדורשים חוות שרתים שלמות, חשמל בהיקף של עיר קטנה, ותשלום חודשי לפי שימוש בענן. מודלים כמו LFM3 מייצגים מגמה מקבילה ופחות מדוברת: AI "בקצה" (Edge AI) שרץ מקומית על המכשיר של המשתמש. היתרון המעשי כפול - מצד אחד אין תלות בחיבור אינטרנט או בזמינות שרת חיצוני, ומצד שני המידע שמוזן למודל לא יוצא מהמכשיר כלל, מה שמפשט מאוד את ההתמודדות עם רגולציית פרטיות כמו חוק הגנת הפרטיות הישראלי או ה-GDPR האירופי. עבור עסק שמתלבט אם לאמץ AI בתחומים רגישים כמו מידע על לקוחות או נתונים פיננסיים, זו שאלה מרכזית.

מה זה אומר בפועל לעסקים

היישומים הברורים ביותר נמצאים בנקודות שבהן חיבור לענן יקר, לא יציב או פשוט לא רצוי. מסופי קופה וטרמינלים בחנויות יכולים להריץ עוזר AI לשירות לקוחות בלי תלות ברשת. צוותי שירות שטח - טכנאים, סוכני מכירות, נהגי משלוחים - יכולים לקבל עוזר קולי או כתוב שעובד גם באזורים עם קליטה חלשה. מרכזי שירות יכולים להריץ סיווג פניות ראשוני או תמלול שיחות מקומית, בלי לשלוח כל שיחה לשרת חיצוני ובלי לשלם עבור כל קריאת API. בכל אלה, המודל הקטן לא מתחרה במודלי השיא בענן מבחינת עומק ההבנה, אבל הוא מספיק טוב למשימות ממוקדות וחוזרות - וההפרש בעלות ובמהירות התגובה יכול להיות מכריע.

נקודה שדורשת תשומת לב: הרישוי

יש כאן גם מלכוד שעסקים צריכים להכיר לפני שמתלהבים. LFM3 מתואר כ"משקלים פתוחים", אך אינו קוד פתוח במובן המלא. הרישיון של Liquid מבוסס על רישיון Apache הנהוג בקוד פתוח, אך מוסיף סף הכנסה: שימוש מסחרי חופשי מותר רק לחברות עם הכנסה שנתית של פחות מ-10 מיליון דולר. מעבר לסף הזה נדרש הסכם מסחרי נפרד עם החברה. עסקים שבודקים את הטכנולוגיה צריכים לבדוק את תנאי הרישוי המדויקים לפני שמשלבים אותה במוצר או בשירות שמיועד להרחבה, ולא להסתמך על ההנחה ש"פתוח" פירושו "חופשי לכל שימוש".

בשורה התחתונה, המגמה של מודלים זעירים שרצים מקומית עדיין בתחילת דרכה, אך היא מעניקה לעסקים אופציה שלא הייתה קיימת לפני כן: לבחון אם משימת AI ממוקדת וחוזרת יכולה לרוץ באופן עצמאי על מכשיר קיים, בלי מנוי חודשי לענן ובלי להעביר מידע רגיש החוצה. כדאי להתחיל בפיילוט קטן על משימה אחת מוגדרת, לבדוק את ביצועי המודל במשימה הספציפית הזו, ולוודא מראש שתנאי הרישוי מתאימים להיקף הפעילות של העסק.