חיצים לניווט · Enter לפתיחה · Esc לסגירה

תחקיר: כמה יקרה עברית ב-⁠AI? מדדנו טוקנים

מדדנו כמה טוקנים עולה אותו טקסט בעברית ובאנגלית במקודדים של OpenAI. מקודד ישן: פי 3.4. מקודד חדש: פי 1.4. טבלה, שיטה, מחשבון ומגבלות.

מאת אופיר שודרי, עורך ראשיפורסם 13 דק׳ קריאה+20 XP בסיום

איור לכתבה תחקיר: כמה יקרה עברית ב-AI? מדדנו טוקנים, קטגוריית בינה מלאכותית
איור: נוצר בעזרת AI
בקצרה
  • מדדנו 10 זוגות משפטים בעברית ובאנגלית, אותו תוכן, בשני מקודדים ציבוריים של OpenAI
  • במקודד הישן cl100k_base עברית עלתה פי 3.44 טוקנים, 688 מול 200
  • במקודד החדש o200k_base הפער ירד לפי 1.41, 282 מול 200
  • מדדנו ספירת טוקנים בלבד: לא איכות, ולא דגמים של חברות אחרות

עברית ב-⁠AI עולה יותר טוקנים מאנגלית, אבל כמה יותר? בשאלה הזאת שמענו תשובות שונות לגמרי, מ״פי שניים״ ועד ״פי חמישה״, בלי מקור. לכן הפכנו אותה לתחקיר: כתבנו עשרה זוגות משפטים עם אותו תוכן בשתי השפות, והרצנו אותם בשני מקודדים ציבוריים של OpenAI, כדי לספור בעצמנו.

הנתונים בכתבה נמדדו על ידינו ב-20.11.2026, והקוד שלנו קצר מספיק כדי שתריצו אותו בעצמכם. הוא מופיע בסעיף השיטה. כמו בכל תחקיר שלנו, אנחנו מפרטים מה מדדנו ומה לא.

3.44×יותר טוקנים בעברית, מקודד ישן
1.41×יותר טוקנים בעברית, מקודד חדש
10 זוגותמשפטים בשתי שפות

מה זה טוקן, ולמה זה משנה לכם?

טוקן הוא יחידת הטקסט שדגם בינה מלאכותית קורא וכותב. הדגם לא רואה אותיות או מילים שלמות, אלא חתיכות שנקראות טוקנים. מילה נפוצה באנגלית היא לרוב טוקן אחד. מילה פחות נפוצה, או כזאת שאינה באנגלית, מתפצלת לכמה חתיכות.

איור מופשט של מטבעות ובלוקים קטנים שמסמלים עלות לפי טוקנים
כל טוקן עולה כסף, ועברית צורכת יותר מהם איור: נוצר בעזרת AI

למספר הטוקנים יש שלוש השפעות מעשיות. הראשונה היא עלות: מי שמשלם דרך API משלם לפי טוקנים. השנייה היא מגבלת אורך: לכל דגם יש חלון הקשר, כמות טוקנים מקסימלית בשיחה, וטקסט בעברית ממלא אותו מהר יותר. השלישית היא מהירות: ככל שיש יותר טוקנים לכתוב, התשובה נכתבת לאט יותר.

מי שמשתמש באפליקציית צ׳אט עם מנוי קבוע לא משלם לפי טוקן, ולכן העלות הישירה פחות מורגשת. אבל מגבלות השימוש והאורך עדיין תלויות בטוקנים. ב-⁠מדריך ל-⁠Gemini 4 Neon הסברנו איך המחיר לטוקן משפיע על חשבון חודשי, והעברית מוסיפה לזה מכפיל.

איך מדדנו? השיטה והקוד

הכנו עשרה זוגות משפטים. בכל זוג אותו תוכן בשתי שפות, בלי תרגום מילולי מוגזם. המשפטים נכתבו על ידינו ולא נלקחו ממקור חיצוני, כדי שלא יהיו חלק מנתוני האימון של אף דגם, ככל שאפשר לדעת. הם מכסים סוגי טקסט שונים: ברכה, הוראה טכנית, משפט חדשותי, שאלה של משתמש, שפה מדוברת, מספרים ותאריכים, טקסט משפטי, תיאור מוצר, פסקה ארוכה ומונחים טכניים.

את הספירה עשינו עם tiktoken, ספריית הקוד הפתוח של OpenAI, בשני מקודדים:

  • cl100k_base: מקודד ישן יותר, ששימש את משפחות הדגמים הקודמות של OpenAI.
  • o200k_base: מקודד חדש עם אוצר מילים גדול יותר, כ-200 אלף טוקנים אפשריים.

הקוד הוא כמה שורות. לכל זוג מקודדים את המשפט בעברית ואת האנגלי וסופרים:

import tiktoken
for name in ["cl100k_base", "o200k_base"]:
    enc = tiktoken.get_encoding(name)
    print(name, len(enc.encode("שלום עולם")), len(enc.encode("hello world")))

הרצה של השורות האלה נותנת 10 ו-2 במקודד הישן, ו-2 ו-2 במקודד החדש. זו הדגמה קטנה אבל מדויקת של הפער כולו.

מה גילינו? טבלת התוצאות

הטבלה מציגה לכל זוג משפטים כמה טוקנים נספרו. ״יחס״ הוא טוקני עברית חלקי טוקני אנגלית.

איור של שני עמודות בגבהים שונים להשוואה בין שני מקודדים
המקודד החדש מקצר את הפער משמעותית איור: נוצר בעזרת AI
סוג הטקסטאנגליתעברית (ישן)יחס ישןעברית (חדש)יחס חדש
ברכה קצרה8222.75101.25
הוראה טכנית16694.31332.06
משפט חדשותי18613.39231.28
שאלת משתמש15483.20181.20
שפה מדוברת18512.83201.11
מספרים ותאריכים29592.03331.14
טקסט משפטי18734.06251.39
תיאור מוצר19703.68271.42
פסקה ארוכה401634.08641.60
מונחים טכניים19723.79291.53
סך הכול2006883.442821.41

שלושה דברים בולטים. הראשון הוא גודל השיפור בין המקודדים: אותם עשרה זוגות עלו 688 טוקנים בעברית במקודד הישן ו-282 בחדש, ירידה של כ-59%. השני הוא שהפער לא אחיד: ההוראה הטכנית עלתה פי 4.31 במקודד הישן ופי 2.06 בחדש, והשפה המדוברת רק פי 1.11 בחדש. השלישי הוא שגם במקודד החדש, שבו עברית מתקרבת לאנגלית, אין זהות. היא עדיין צורכת יותר.

למה הפער קטן במקודד החדש?

מקודד לומד אילו רצפי אותיות שכיחים, ומקצה להם טוקן אחד. ככל שאוצר המילים של המקודד גדול יותר, ויש בו יותר רצפים משפות שונות, כך יותר מילים בעברית נכנסות כטוקן אחד או שניים ולא מתפצלות לאותיות בודדות.

זו הסיבה שהצירוף ״שלום עולם״ עלה 10 טוקנים במקודד הישן. הוא פוצל לחתיכות קטנות, כמעט אות אחר אות. במקודד החדש הוא עלה שניים, כמו המקבילה באנגלית. אנחנו לא יכולים להוכיח מהמדידה שלנו את הסיבה המדויקת, כי לא בדקנו את נתוני האימון של המקודד. ההסבר על אוצר המילים הוא ההסבר המקובל, אבל המדידה שלנו מראה רק את התוצאה.

כמה זה עולה בפועל? מחשבון

אנחנו לא מפרסמים כאן מחירים, כי הם משתנים ושונים בין ספקים. במקום זאת, המחשבון הבא מאפשר להכניס את המחיר מהחשבון שלכם ואת היחס שרלוונטי לכם, ולראות את ההפרש.

איור של מחשבון עתידני שמסמל חישוב עלות
מחשבון להערכת עלות לפי היחס שנמדד איור: נוצר בעזרת AI

כמה תוסיף העברית לחשבון?

20
3
1.41

עלות לו הטקסט היה באנגלית60 $

עלות בעברית84.6 $

התוספת בגלל העברית24.6 $

איך מחשבים? הנוסחה
  • en = tok * price
  • he = tok * price * ratio
  • diff = tok * price * (ratio - 1)

עם 20 מיליון טוקנים, מחיר של 3 דולר למיליון ויחס של 1.41, העלות בעברית היא 84.6 דולר במקום 60. התוספת: 24.6 דולר.

דוגמה בלבד. 3 דולר הוא מחיר לדוגמה, ושימו את המחיר האמיתי שלכם. היחס 1.41 הוא התוצאה שלנו במקודד o200k_base, ו-3.44 במקודד cl100k_base. לדגמים של חברות אחרות היחס עשוי להיות שונה.

חשוב לזכור שטקסט עברי בבקשה אחת לא תמיד נפרש בשני הכיוונים. אם שולחים הוראות באנגלית ומקבלים תשובה בעברית, רק חלק מהטקסט נספר בעברית. ואצל מי שמשלם על טוקנים יוצאים יקרים יותר, ההפרש בתשובות הארוכות מורגש במיוחד.

איך קוראים את הטבלה? שלוש דוגמאות

כדי להבין את המספרים, כדאי לעבור על שלוש שורות מהטבלה ולראות מה הן אומרות.

ההוראה הטכנית. המשפט באנגלית עלה 16 טוקנים. בעברית הוא עלה 69 במקודד הישן ו-33 בחדש. זה היחס הגבוה ביותר במקודד החדש, פי 2.06. המשפט מכיל מילים כמו ״סיסמה״, ״הגדרות״ ו״אבטחה״ וצורות כתיב עם קידומות, ונראה שמילים כאלה מתפצלות יותר. זו השערה שלנו, ולא בדקנו אותה לעומק.

השפה המדוברת. המשפט ״לא הבנתי כלום, אפשר להגיד שוב אבל יותר לאט ועם דוגמה?״ עלה 20 טוקנים במקודד החדש מול 18 באנגלית, יחס של 1.11 בלבד. כלומר מילים קצרות ושכיחות בעברית כמעט שאינן מתייקרות במקודד החדש.

המספרים והתאריכים. כאן היחס במקודד הישן היה הנמוך ביותר, 2.03, ואנחנו משערים שהסיבה היא ששיעור גדול מהמשפט הוא מספרים וסימנים ולא מילים, אבל לא בדקנו זאת. מכאן ברור שהיחס תלוי בהרכב הטקסט: ככל שיש בו יותר מילים עבריות נדירות, הוא גבוה יותר.

הלקח הוא שאי אפשר לדבר על ״פי כמה״ בלי לציין איזה טקסט. מי שמספר שעברית עולה ״פי שלושה״ מתכוון לדוגמה מסוימת, ובדוגמה אחרת התוצאה תשתנה.

כמה טקסט נכנס לחלון ההקשר?

מעבר לעלות, יש השפעה על כמה טקסט נכנס לשיחה. לכל דגם יש חלון הקשר, ובשיחה ארוכה או במסמך גדול הוא נמלא. החישוב הבא הוא חשבון פשוט ולא מדידה, והוא מבוסס על היחסים שמצאנו. נניח חלון של 100,000 טוקנים, והמספר הוא לדוגמה בלבד:

מצבכמה טקסט נכנס, במונחי אנגלית
טקסט באנגלית100,000
עברית, מקודד חדש (יחס 1.41)כ-71,000
עברית, מקודד ישן (יחס 3.44)כ-29,000

כלומר במקודד הישן, מסמך עברי ארוך תופס בערך שליש ממה שמסמך אנגלי באותו אורך היה תופס. במקודד החדש הוא תופס כ-71%. אלה מספרים תיאורטיים. בפועל חלון ההקשר כולל גם את ההוראות ואת התשובה, ולכן המקום האמיתי לטקסט קטן יותר.

אילו טעויות נפוצות בהערכת עלות?

מי שמתכנן שימוש ב-⁠API בעברית נוטה לטעות בכמה דרכים, ורובן נובעות מאי הבנה של הטוקנים:

  1. מניחים שמילה שווה טוקן. באנגלית זה קרוב לנכון, ובעברית לא. תמיד סופרים בכלי.
  2. משתמשים ביחס של דגם אחד לכל הדגמים. המקודדים שונים, ואנחנו מדדנו רק שניים של OpenAI.
  3. שוכחים את הטוקנים היוצאים. תשובה בעברית צורכת טוקנים באותו יחס, והם בדרך כלל יקרים יותר מהנכנסים.
  4. לא מביאים בחשבון את ההוראות הקבועות. הוראה קבועה בעברית שנשלחת בכל בקשה מוסיפה לחשבון בכל פעם.
  5. בודקים על משפט אחד. כפי שראינו, הפער בין סוגי טקסט גדול. בודקים על דגימה מייצגת של הטקסט האמיתי.

מה זה אומר לעסק ישראלי שבונה על AI?

עסק שמפעיל צ׳אטבוט שירות, מערכת סיכום שיחות או כלי לניסוח מיילים בעברית משלם לפי טוקנים. בתכנון התקציב כדאי לעבוד בשלושה שלבים פשוטים.

ראשית, אוספים עשרים עד שלושים דוגמאות אמיתיות של בקשות ותשובות, מהסוג שהמערכת תטפל בו בפועל. שנית, סופרים טוקנים בכלי הספירה של הספק שבחרתם, ולא מסתמכים על יחס כללי כמו זה שמצאנו. שלישית, מכפילים בנפח החודשי הצפוי ומוסיפים מרווח ביטחון, כי שימוש בפועל כמעט תמיד גבוה מהצפוי בחודשים הראשונים.

יש גם שיקול של בחירת דגם. דגמים שונים משתמשים במקודדים שונים, ולכן אותו טקסט עברי עשוי לעלות מספר שונה של טוקנים בכל אחד מהם. מחיר נמוך לטוקן אינו מבטיח עלות נמוכה לטקסט, אם הדגם הזול מפצל עברית ליותר חתיכות. השוואה הוגנת היא עלות לטקסט שלכם, ולא עלות למיליון טוקנים.

לבסוף, לא כל המשימות דורשות את הדגם היקר. סיווג, חילוץ שדות וניסוחים קצרים מתאימים לעתים לדגם זול, ובמקרה כזה העברית מוסיפה פחות כסף מוחלט, כי הבסיס נמוך.

מה נבדוק בתחקיר ההמשך?

התחקיר הזה פותח שאלה, ולא סוגר אותה. כדי לענות עליה במלואה צריך למדוד גם את המקודדים של דגמים אחרים. לשם כך נדרשת גישה לכלי הספירה שספקי הדגמים מציעים, שחלקם דורשים חשבון מפתחים. כשתהיה לנו גישה, נחזור על אותה בדיקה בדיוק, עם אותם עשרה זוגות, כדי שהתוצאות יהיו ניתנות להשוואה.

התחקיר השני שאנחנו שוקלים הוא בדיקת איכות: אותם פרומפטים בעברית בכלים שונים, עם הערכה אנושית מסודרת לפי קריטריונים שנקבע מראש. זו עבודה גדולה יותר, והיא תפורסם רק כשנוכל לעמוד מאחורי השיטה.

מה לא מדדנו?

תחקיר טוב מציג את הפערים בו, והנה כולם:

  • איכות. ספירת טוקנים אינה הבנה. דגם יכול לצרוך הרבה טוקנים בעברית ולענות מצוין, ולהפך.
  • דגמים של חברות אחרות. המקודדים של Claude, Gemini ודגמים אחרים שונים משל OpenAI, ולא מדדנו אותם. אין לנו בסיס לטעון משהו עליהם.
  • מקודד אחד בכל משפחה. גם בתוך OpenAI יש יותר משני מקודדים, ואנחנו לא יודעים איזה מהם פועל בדגם מסוים שאתם משתמשים בו היום.
  • עשרה זוגות בלבד. זה מספיק להמחשה ולסדר גודל, לא למסקנה סטטיסטית מדויקת. עם משפטים אחרים היחס עשוי להשתנות.
  • טקסט שכתבנו בעצמנו. הסגנון שלנו לא בהכרח מייצג כתיבה אחרת, למשל סלנג, ראשי תיבות או טקסט עם ניקוד.
  • תרגום חופשי. בחרנו מקבילות טבעיות ולא תרגום מילה במילה. תרגום אחר היה נותן יחסים אחרים.
מה זה לא אומר

התחקיר לא קובע ש-⁠AI ״גרוע בעברית״ ולא מדרג דגמים. הוא מודד דבר אחד בלבד: כמה טוקנים עולה אותו טקסט בשני מקודדים של OpenAI. לשאלת האיכות בעברית צריך בדיקה אחרת, עם הרצת פרומפטים ושיפוט אנושי.

מה אפשר לעשות עם המידע הזה?

המסקנה המעשית תלויה במה שאתם עושים.

איך אתם משתמשים ב-⁠AI?
בחרו אפשרות כדי לקבל המלצה

שלוש עצות פשוטות. ראשית, מדדו על הטקסט שלכם: ספריות כמו tiktoken ושירותי ספירה של ספקי הדגמים נותנים מספר מדויק. שנית, אל תניחו שיחס אחד מתאים לכל סוג טקסט, כי בבדיקה שלנו ההפרש בין סוגי הטקסט היה גדול. שלישית, כשהעלות חשובה, כתבו פרומפטים קצרים וברורים. ה-⁠מדריך לכתיבת פרומפט טוב מראה איך.

רשימת בדיקה אינטראקטיבית0%

האם זה אומר שכדאי לכתוב באנגלית?

לא בהכרח. אפשר להחליט לכתוב הוראות באנגלית ולבקש תשובה בעברית כשהעלות קריטית, ויש מי שעושה זאת. אבל זו החלטה עם מחיר: הוראות שאינן בשפת המשתמש עלולות לשנות את הניסוח של התשובה, ובעברית כל ניסוח חשוב. לא בדקנו את ההשפעה הזאת, ולכן איננו ממליצים בכיוון מסוים.

מי שרוצה להתחיל עם עברית בלי להתעסק בעלויות יכול לקרוא את ה-⁠מדריך ל-⁠ChatGPT בעברית, ואת ה-⁠השוואה בין ChatGPT, Gemini ו-⁠Claude לבחירת שירות לפי סוג העבודה.

התאימו מונח להסבר

טוקן
חתיכת טקסט שהדגם קורא וכותב
מקודד
הכלי שמחלק טקסט לטוקנים
חלון הקשר
מקסימום הטוקנים שדגם מחזיק בשיחה אחת
יחס
טוקני עברית חלקי טוקני אנגלית באותו תוכן

יתרונות

  • כל המספרים נמדדו על ידינו עם כלי ציבורי
  • הקוד קצר וכל אחד יכול לחזור על הבדיקה
  • שני מקודדים מראים שהמצב משתנה עם הזמן
  • הטבלה מפרטת סוגי טקסט שונים

חסרונות

  • רק מקודדים של OpenAI
  • עשרה זוגות משפטים
  • לא נמדדה איכות
  • המשפטים נכתבו על ידינו ולא נדגמו
פסק דין: נתון טוב להערכת סדר גודל של עלות, לא פסק דין על איכות עברית ב-⁠AI.

מילון מונחים קצר

  • טוקן: יחידת הטקסט שדגם שפה מעבד.
  • מקודד (Tokenizer): האלגוריתם שמפצל טקסט לטוקנים.
  • tiktoken: ספריית קוד פתוח של OpenAI לספירת טוקנים.
  • חלון הקשר: כמות הטקסט שדגם יכול להחזיק בבקשה אחת.
  • API: ממשק לשימוש בדגם מתוך תוכנה, בתשלום לפי טוקנים.

שאלות נפוצות

כמה יותר טוקנים עולה עברית מאנגלית?

בבדיקה שלנו, פי 3.44 במקודד הישן cl100k_base של OpenAI ופי 1.41 במקודד החדש o200k_base. זה תלוי במקודד ובסוג הטקסט.

האם התוצאה נכונה גם ל-⁠Claude ול-⁠Gemini?

לא ידוע. לכל משפחת דגמים יש מקודד משלה, ולא מדדנו אותם. אל תניחו שהמספרים שלנו חלים עליהם.

האם עברית יקרה יותר בצ׳אט עם מנוי?

העלות לא משתנה במנוי קבוע, אבל מגבלות שימוש ואורך שיחה עשויות להיות תלויות בטוקנים, ולכן עברית עשויה להגיע אליהן מהר יותר.

איך אפשר לבדוק בעצמי?

התקינו את tiktoken והריצו את הקוד מסעיף השיטה על טקסט שלכם. בשירותים של ספקי דגמים יש גם כלי ספירה מקוונים.

האם הכתבה אומרת ש-⁠AI לא מבין עברית?

לא. מדדנו ספירת טוקנים בלבד. איכות ההבנה היא שאלה אחרת שלא נבדקה כאן.

למה כתבתם משפטים משלכם?

כדי שהבדיקה תהיה מקורית וניתנת לחזרה, ושלא נעתיק טקסט ממקור שיכול להשפיע על התוצאה.

קראו גם

מקורות וקריאה נוספת

13 דק׳ קריאה

מאמרים קשורים

לכל הספרייה

חשבון גיקזילה