Benchmark-Driven Development: A Framework for AI System Configuration

מסגרת קלה ליצירת תצורות ייצור באופן אוטומטי דרך בדיקות רצופות במרחבים של AI המשתנים במהירות.

Developed by Robert E. Beckner III (Merlin) | rbeckner.com

עיקרון יסוד#

1. שינוי קוד מקור ישיר - מדדי זיהוי יישומים מנצחים ומעדכנים אוטומטית קבצי מקור, אם כל הבדיקות עוברות
2. הפצת תצורה - מדדי מייצרים קבצי תצורה (YAML/JSON) שנצרכים על ידי מערכות ייצור
3. יישום ידני עם תובנות - מדדי מספקים תוצאות מפורטות והמלצות; מפתחים מיישמים שינויים באמצעות כלים כמו Claude Code

• vs TDD: בדיקות מאימות דיוק; מדדי משווים יעילות בין ממדים
• vs בדיקת ביצועים: בדיקת ביצועים מודדת ודוחסת; BDD מחליטה ומיישמת
• vs בנצ'מרקינג מסורתי: בנצ'מרקינג מסורתי הוא ניתוח נפרד (ריצה, יצירת דוחות, פרשנות ידנית). BDD הופך את זה—המדדים חיים בתוך הפרויקט כקוד מבצע שמניע יישום ישירות. כאשר טכנולוגיה חדשה מתעוררת, מדדים רצה אוטומטית ומספקת תוצאות מעשיות ללא פרשנות ידנית.

זרימת העבודה של BDD#

graph TB
    New["אפשרות חדשה"]
    Setup["הגדרת מדד  
עם נתוני Prod"]
    Run["הרצת מדד  
כל האפשרויות"]
    Store["תוצאות מטמון  
(אידמפוטנט)"]
    Analyze["ניתוח תוצאות  
רב-מימדי"]
    Decide{"מגיע  
לסף?"}
    Implement["יישום יישום  
(קוד/תצורה)"]
    Deploy["פריסה ל-Prod"]
    Monitor["מעקב בייצור"]
    Feedback["מדדי ייצור"]
    Trigger{"הפעל מחדש  
הופעל?"}

    New --> Setup
    Setup --> Run
    Run --> Store
    Store --> Analyze
    Analyze --> Decide
    Decide -->|כן| Implement
    Decide -->|לא| New
    Implement --> Deploy
    Deploy --> Monitor
    Monitor --> Feedback
    Feedback --> Trigger
    Trigger -->|טכנולוגיה חדשה| New
    Trigger -->|שיפור| New

    style Implement fill:transparent,stroke:#3B82F6,stroke-width:2px
    style Deploy fill:transparent,stroke:#10B981,stroke-width:2px
    style Monitor fill:transparent,stroke:#10B981,stroke-width:2px
    style Decide fill:transparent,stroke:#ec4899,stroke-width:2px,stroke-dasharray: 5 5
    style Trigger fill:transparent,stroke:#ec4899,stroke-width:2px,stroke-dasharray: 5 5

Framework Components#

יישומים בעולם האמיתי#

תצורת מערכת התרגום#

שיפור קוֹד באמצעות בדיקות חוזרות#

1. דיוק לשוני: דקדוק, אוצר מילים, תקינות תחביר
2. התאמה תרבותית: התאמת סלנג, שמירת רישון, קונבנציה אזורית
3. התאמה עסקית: מונחים בתחום, עקביות טון, קול המותג

import boxen from 'boxen';import pc from 'picocolors';
const width = 50;
// Layer 1: Role Message (Cyan border = configuration inputs)// Variants in different colors to show they're alternatives being testedconst layer1Content = [  pc.cyan('וריאנט A: "אתה מקצוען..."'),  pc.blue('וריאנט B: "אתה מומחה דו-לשוני..."'),  pc.green('וריאנט C: "אתה מומחה ליישום..."')].join('\n');
const layer1Box = boxen(layer1Content, {  padding: { left: 1, right: 1, top: 0, bottom: 0 },  borderStyle: 'round',  borderColor: 'cyan',  width: width - 4});
// Layer 2: Main Prompt Template (Blue border = active process)// Template structure shown in blue (the actual processing layer)const layer2Content = [  pc.blue('{role_message}'),  '',  pc.blue('[הקשר, הוראות, מגבלות...]')].join('\n');
const layer2Box = boxen(layer2Content, {  padding: { left: 1, right: 1, top: 0, bottom: 0 },  borderStyle: 'round',  borderColor: 'blue',  width: width - 4});
// Layer 3: Rules (Green border = validated/proven)// Rules are proven practices, so green makes semantic sense// Show variety of rules with different shadesconst layer3Content = [  pc.green('• שמירת רישון'),  pc.cyan('• התאמת אזורית'),  pc.blue('• מונחים בתחום'),  pc.green('• התאמה תרבותית'),  pc.gray('... (בדוק את שילובי הכללים שלך)')].join('\n');
const layer3Box = boxen(layer3Content, {  padding: { left: 1, right: 1, top: 0, bottom: 0 },  borderStyle: 'round',  borderColor: 'green',  width: width - 4});
// Combine everything with semantic labelsconst lines = [  pc.bold(pc.white('הודעת תפקיד (שכבה 1) - ניתן לבדיקה A/B')),  layer1Box.split('\n').map(line => '  ' + line).join('\n'),  pc.gray('↓ הזרק לתוך'),  pc.bold(pc.white('תבנית הבקשה הראשית (שכבה 2) - ניתן לבדיקה A/B')),  layer2Box.split('\n').map(line => '  ' + line).join('\n'),  pc.gray('↓ משולב עם'),  pc.bold(pc.white('כללים (שכבה 3) - שילובים שניתנים לבדיקה A/B')),  layer3Box.split('\n').map(line => '  ' + line).join('\n')];
// Magenta outer container = attention-grabbing, highlights importanceconst fullDiagram = boxen(lines.join('\n'), {  padding: { left: 1, right: 1, top: 0, bottom: 0 },  borderStyle: 'round',  borderColor: 'magenta',  width: width});
export default fullDiagram;

1. מעקב אחר היסטוריית ביצועים - שומרת חלון סיבובי של ציונים לכל מודל לכל זוג שפה
2. חישוב דירוג - מודלים שמפסידים N הערכות רצופות יורדים בדירוגם
3. Applies threshold - מודלים מתחת ל־threshold 排除 מההערכות הבאות עבור הזוג הזה
4. Preserves optionality - מודלים שנמחקים יכולים להיות מוערכים מחדש אם יופיעו גרסאות חדשות או אם אין מודלים שמגיעים ל־threshold

translation:  default_prompt: "Translate from English to Spanish..."  rules:    - preserve_register: true    - locale_handling: "dialect-specific"    - confidence_threshold: 85  variants:    colombia:      regional_idioms: enabled      ranked_models:        - model: "model-a"          rank: 1          avg_score: 83        - model: "model-b"          rank: 2          avg_score: 81      excluded_models:        - model: "model-c"          reason: "below_threshold"          failed_iterations: 4    spain:      regional_verbs: enabled      ranked_models:        - model: "model-a"          rank: 1          avg_score: 80        - model: "model-b"          rank: 2          avg_score: 78

היכן BDD בולט#

פוטנציאל אוטומציה מבוססת בינה מלאכותית#

graph TB
    Cron["מעקב מתוזמן  
(קרון יומי)"]
    Scan["סריקת מקורות  
npm, PyPI, GitHub"]
    Detect["זיהוי מועמדים  
(טענות ביצועים)"]
    Compat["בדיקת תאימות  
(API/תלויות)"]
    Queue["הוסף לרשימת הבנצ'מר"]
    Install["התקן בסביבה מבודדת"]
    Integrate["צור קוד אינטגרציה  
(מתאמים, עטיפות)"]
    RunBench["הרץ בדיקות הבנצ'מר  
(כל הממדים)"]
    Analyze["השווה תוצאות  
vs נוכחי"]
    Decide{"מלא את כל  
הקריטריונים?"}
    Branch["צור ענף תכונה"]
    Tests["הרץ את כל קבוצת הבדיקות"]
    TestPass{"הבדיקות  
עובדות?"}
    Staging["פרסם לסטייג'ינג"]
    Monitor["נטר מדדים  
(24-48 שעות)"]
    ProdDecide{"הסטייג'ינג  
מאשר?"}
    Prod["פרסם לייצור"]
    Audit["רשום מעקב החלטות"]
    Discard["ארח תוצאות  
סמן כמדולל"]

    Cron --> Scan
    Scan --> Detect
    Detect --> Compat
    Compat -->|תואם| Queue
    Compat -->|לא תואם| Audit
    Queue --> Install
    Install --> Integrate
    Integrate --> RunBench
    RunBench --> Analyze
    Analyze --> Decide
    Decide -->|לא| Discard
    Decide -->|כן| Branch
    Branch --> Tests
    Tests --> TestPass
    TestPass -->|לא| Discard
    TestPass -->|כן| Staging
    Staging --> Monitor
    Monitor --> ProdDecide
    ProdDecide -->|לא| Discard
    ProdDecide -->|כן| Prod
    Prod --> Audit
    Discard --> Audit

    style Cron fill:transparent,stroke:#f59e0b,stroke-width:2px
    style Decide fill:transparent,stroke:#ec4899,stroke-width:2px,stroke-dasharray: 5 5
    style TestPass fill:transparent,stroke:#ec4899,stroke-width:2px,stroke-dasharray: 5 5
    style ProdDecide fill:transparent,stroke:#ec4899,stroke-width:2px,stroke-dasharray: 5 5
    style Branch fill:transparent,stroke:#3B82F6,stroke-width:2px
    style Staging fill:transparent,stroke:#10B981,stroke-width:2px
    style Prod fill:transparent,stroke:#10B981,stroke-width:2px

1. מנתח תאימות - בודק API משטח, סכסוכים בתלות, רישיון
2. התקן בסביבת הבנצ'מר - מבודד מייצור
3. מייצר קוד אינטגרציה - מתאמים או עטיפות להתאמה לממשקים קיימים
4. רץ בדיקות הבנצ'מר - מעריך בכל הממדים המוגדרים
5. מנתח תוצאות - משווה מול יישום נוכחי וקריטריונים
6. יוצר ענף תכונה - אם הבנצ'מרים עונים, משלב בפרויקט
7. רץ את כל קבוצת הבדיקות - מבטיח שמירה על תקינות
8. הפצה לסביבה הביניים - אם הבדיקות עוברות, דוחף לסביבה הביניים
9. מנטר מדדי ייצור - מאשר ביצועים בעולם האמיתי
10. הפצה לייצור - אם הביניים מאשר, מקדם אוטומטית

• יום 1 (בוקר): משימה קרון מזהה את השחרור, מנתחת תאימות
• יום 1 (אחה"צ): AI מתקין את הספרייה, מייצר קוד עטיפה
• יום 1 (ערב): בדיקות ביצועים לילה רצות, מציגות שיפור של 38%
• יום 2 (בוקר): AI יוצר ענף, משלב את הספרייה, הבדיקות עוברות
• יום 2 (אחה"צ): הפצה לסביבה הביניים
• יום 3-4: מדדי הביניים מאשרים את תוצאות הבדיקה
• יום 5: קידום אוטומטי לייצור

• אין קריטריונים להערכה מבוצעת (נדרש שיפוט אנושי)
• אין ממשק מדד סטנדרטי (סקריפטים מותאמים, השוואה ידנית)
• אין נתיב יישום אוטומטי (עדכוני קוד/תצורה ידניים)
• אין סף החלטה מפורש (החלטות ועדה)

• מדדים מקודדים את "טוב יותר" כלוגיקה מבוצעת
• היישום אוטומטי וחוזר (שינויים בקוד, פלט תצורה, או הדרכה מובנית)
• קריטריוני החלטה הם מפורשים וניתנים לבדיקה

Framework Adoption#

התחלת עבודה#

1. הגדר מדדים: אילו ממדים חשובים? (איכות, עלות, מהירות, אמינות)
2. זיהוי אפשרויות: מה תמדד? (מודלים, ספריות, בקשות, אלגוריתמים)
3. הרץ הערכה יחידה: קבע בסיס ביצועים
4. אחסן תוצאות: אפשר השוואה היסטורית

1. אסוף משוב: איפה התפרצו האפשרויות? אילו דפוסים נוצרו?
2. בדוק וריאנטים: שפר בהתאם למשוב
3. הערך מחדש: הרץ מדדים שוב, השווה לבסיס
4. התכנס: חזור עד שיפור יפחת

1. הגדר סף: אילו ציונים/מדדים מפעילים פריסה?
2. תזמן ריצות: משימות קרון על שחרורים חדשים או שבועיות
3. אוטומציה של החלטות: אם היעדים מתקיימים, יישם את המימוש (שנה קוד, פלט תצורה, או סמן לביקורת)
4. משוב מדדי ייצור: ביצועים בעולם האמיתי מעדכנים את הבנצ'מרקים העתידיים

תנאי מוקדם ארכיטקטוני#

1. פעולות קלט/פלט קבצים מבודדות במודול ניתן להחלפה
2. חבילת בדיקות מתבצעת על המודול עם עומסי עבודה דומים לייצור
3. ספריה חדשה משולבת כיישום חלופי
4. השוואה צמודה מתבצעת מיד
5. פריסה מבוססת על ראיות אמפיריות

• גבולות מודול ברורים (שינויים ברכיבים אינם מתפשטים)
• ממשקים מופשטים (יישומים ניתנים להחלפה)
• החלטות מבוססות תצורה (היישום נקבע על ידי תצורה, לא על ידי קוד)
• צינורות פריסה מהירים (שעות, לא שבועות)
• תוצאות כמותיות (השפעה ניתנת למדידה לכל וריאנט)

השפעה מעשית#

מסקנה#