תשובה קצרה: סוכן AI תלוי בספק מודל, ולכן ה-SLA שלכם לא יכול להיות טוב יותר משלו, אלא אם יש לכם חלופה. מה שמחזיק זמינות בפרודקשן הוא חמש שכבות: ניסיון חוזר נכון, מודל חלופי, תור לעבודה ברקע, מסלול חלופי למשתמש, וניטור עם התראה. ב-SLA שאתם נותנים ללקוח כותבים מה נמדד, באיזה חלון זמן, ומה קורה כשספק המודל עצמו נופל.
למה SLA לסוכן AI שונה מ-SLA לאתר
באתר רגיל, אם השרת שלכם עובד, האתר עובד. בסוכן AI כל תשובה עוברת דרך שירות של מישהו אחר: OpenAI, Anthropic או ספק ענן שמריץ את המודל. הוא יכול להאט, להחזיר שגיאה או להגביל אתכם, גם כשכל מה שבאחריותכם תקין.
לכן השאלה הראשונה היא לא "כמה אחוזי זמינות להבטיח", אלא "מה קורה אצלנו כשהספק לא עונה". מי שלא ענה על זה, מבטיח ללקוח משהו שלא בשליטתו.
מה הספק חייב לכם
בדקו בחוזה ובתוכנית שלכם, לא בדף השיווק. לא כל תוכנית כוללת התחייבות לזמינות, וההתחייבות, כשיש, נמדדת אצל הספק ובתנאים שלו. שני דברים שכדאי להכיר כבר עכשיו:
- עמוד הסטטוס של הספק. ל-OpenAI יש status.openai.com ול-Anthropic יש status.claude.com. חברו אותם להתראות של הצוות, כדי שתדעו על תקלה אצל הספק לפני שהלקוח מספר לכם.
- מגבלות הקצב שלכם. הספקים מגבילים בקשות וטוקנים לדקה. בשעת שיא אתם יכולים לקבל שגיאות גם כשהספק עובד מצוין, פשוט כי הגעתם לתקרה של החשבון.
חמש שכבות שמחזיקות את הסוכן באוויר
1. ניסיון חוזר עם המתנה הולכת וגדלה
על שגיאה זמנית (עומס, שגיאת שרת, מגבלת קצב) מנסים שוב, אבל כל פעם מחכים יותר, עם רכיב אקראי, ועם תקרה למספר הניסיונות. כך ממליצות OpenAI ו-Anthropic בתיעוד שלהן. כשהשגיאה מגיעה עם הכותרת retry-after, מחכים לפיה. ניסיון חוזר מיידי בלולאה רק מגדיל את העומס ונספר גם הוא במגבלה.
לא כל שגיאה שווה ניסיון חוזר. בקשה לא תקינה או מפתח שגוי ייכשלו שוב. ולפי Anthropic, 429 שמגיע בגלל שנגמרה תקרת ההוצאה ימשיך להיכשל עד שהגישה תחזור.
2. מודל או ספק חלופי
אחרי כמה ניסיונות שנכשלו, הבקשה עוברת למודל אחר, אצל אותו ספק או אצל ספק אחר. זו השכבה היחידה שמאפשרת להתחייב לזמינות גבוהה מזו של ספק אחד. החלופה צריכה להיות בדוקה מראש על אותן שאלות, כי פרומפט שכתוב למודל אחד לא תמיד מחזיר את אותה איכות במודל אחר.
3. תור לעבודה שלא צריכה תשובה מיידית
סיכום שיחות, עיבוד מסמכים, דוחות לילה: אלה לא צריכים לרוץ באותה שנייה. כשהם בתור, תקלה של כמה דקות אצל הספק מעכבת אותם ולא מפילה אותם, והם לא מתחרים על מגבלת הקצב עם השיחות שאדם מחכה להן.
4. מסלול חלופי למשתמש
כשאין תשובה מהמודל, המשתמש צריך לקבל משהו: העברה לנציג, הודעה ברורה שהבקשה נקלטה ותטופל, או תשובה שמורה לשאלות הנפוצות. בסוכן קולי זה במיוחד חשוב, כי שקט בשיחה נשמע כמו ניתוק.
5. ניטור עם התראה
מה מודדים, לפחות:
| מה | למה |
|---|---|
| שיעור שגיאות מהספק, לפי סוג | להבדיל בין תקלה אצל הספק, מגבלת קצב, ובאג אצלכם |
| זמן תגובה באחוזון ה-95 | הממוצע מסתיר את השיחות האיטיות |
| כמה בקשות עברו למודל החלופי | אם זה קורה כל יום, החלופה היא כבר המודל הראשי |
| עלות ליום | ניסיונות חוזרים ומודל חלופי משנים את החשבון |
לכל אחד מהם מגדירים סף, והתראה מגיעה לאדם שיכול לפעול, לא רק ללוח בקרה.
מה כותבים ב-SLA שאתם נותנים ללקוח
- מה נמדד. הזמינות של השירות שלכם, בנקודה שהלקוח פונה אליה, ולא של ספק המודל.
- מה נחשב תקלה. למשל, שגיאה או תגובה שלא הגיעה בזמן שהגדרתם, ולא רק "השרת לא עונה".
- חלון המדידה. חודשי, שבועי, ואיך מחשבים אותו.
- החרגות. תחזוקה מתוכננת שהודעתם עליה מראש, והאם תקלה אצל ספק המודל מוחרגת. אם אין לכם מודל חלופי, כתבו את זה בגלוי.
- זמן תגובה לתקלה. תוך כמה זמן מישהו מטפל, ואיך הלקוח מקבל עדכון.
- מה הלקוח מקבל כשלא עמדתם בהתחייבות. זיכוי, הנחה, או זכות לצאת מההסכם.
את המספרים עצמם קובעים אחרי כמה שבועות של מדידה, לפי מה שהמערכת באמת עומדת בו. מספר שנכתב לפני המדידה הוא הבטחה בלי בסיס.
איפה זה מתחבר לעלות
כל שכבה כאן משנה גם את החשבון: ניסיונות חוזרים צורכים טוקנים, מודל חלופי מחיר אחר, ותור מאפשר להריץ עבודה ברקע בממשק batch. איך בוחרים בין latency, throughput ועלות לטוקן, ומה כל אחד מהם מודד, מוסבר בעמוד אופטימיזציית עלויות AI וטוקנים.
מריצים סוכן AI מול לקוחות ורוצים לדעת מה יקרה בתקלה הבאה? בעמוד סוכן AI לעסק אפשר לקבוע שיחה ראשונית של רבע שעה בוואטסאפ. ספרו באיזה ספק אתם עובדים ומה הסוכן עושה, ונגיד לכם איזו מהשכבות חסרה.
מה סוכן כזה עולה בשוק, לפי מחירונים פומביים? ראו מחירי שוק לסוכן AI בישראל, נובמבר 2026.
