← 記事に戻る発見September 23, 202511分で読めますCopy article

Benchmark-Driven Development: AI システムの TDD を超えて

Benchmark-Driven Development が TDD から進化し、データ駆動型の構成生成と経験的最適化を通じて AI の指数的ペースに対処した

Developed by Robert E. Beckner III (Merlin) | rbeckner.com

私は2025年初頭に Benchmark-Driven Development を発見した。2年間作業していた翻訳システムと数つの文書レンダリングエンジンを構築している最中だった。 翻訳システムがこの方法論が結晶化した実験室となった. 私は2023頃から AI システムに取り組んでおり、進歩を遂げる中で、AI モデルが伝統的手法では追いつけないほど速く進化していると実感した.これは関数呼び出しが市場で革新として登場した頃で、自己運転エージェントが本当に実現する前の時期だった. 私は異なる言語ペアを評価し、複雑なパイプラインを構築していたが、プロジェクト自身が金属レベルで機能を測定できる方法が必要だと気づいた。問題は、何かが動作するかどうかをテストするだけではなく、数週間ごとに風景が変わるときに最適なものを発見することだった.

テストからシミュレーションへ#

私はテストの価値を常に理解してきた。特に政府向けのエンタープライズシステムを構築する際は、厳格な要件と完全に資金提供された契約が証拠を求めるからだ. しかし TDD が私が取り組んだプロジェクトに課せられたとき、重要なことを目の当たりにした。フレームワークは、チームが実際に受け入れたときだけ機能するということだ。 完全な採用を強制するのは、まれにしか理にかなわない。.私が学んだことは、最善のアプローチはしばしばハイブリッドであるということで、必要な分だけを採用するということです。. 私は包括的なユニットカバレッジよりも、コア機能のテストに傾きました。. 1000行未満の1つのシミュレーションスクリプトでユーザー全体のフローを検証できるのに、何千もの散在したテストを維持する必要があるのでしょうか？?政治キャンバッシングアプリ向けに、モックチームを作成し、キャンバサーの参加と離脱をシミュレートし、実際的なワークロードを生成し、スケールでシステムを負荷テストするシミュレーションを構築しました。. これにより、UIの振る舞い、チャート描画、データ整合性の限界など、すべてが明らかになりました。. 1つのスクリプトが、散在したユニットテストよりもはるかに多くの自信を与えてくれました。.私の25年のコーディング経験の中で、最後の10-12年間、優れたスコアカードの価値を深く認識しています。. GPTが存在するより前にスコアカードを使用しており、過去3年間AIでそれらを再訪したのは魅力的でした。. それらのシミュレーション経験は、Benchmark-Driven Developmentへとつながる基礎を築きました。

すべてが変わった瞬間#

本当の発見は、すべてを変える何かに気づいたときに起こりました：ベンチマークは、直接本番に投入できる設定を発行できるだけでした. それはすでにテスト済みで、そこにあり、プロンプトとすべてと一緒にプラグインできる準備ができています。. それが大きな洞察でした。.これは翻訳システムの根本的な問題に直面することで浮上しました。. AIプロバイダーは数十の言語をサポートすると主張しましたが、どの程度と品質か？? その情報は十分に文書化されていなかったため、経験を通じてベンダーの主張を完全に信頼できないことを学びました—and I shouldn't。.したがって、プロジェクト内に存在するベンチマーク評価ループを作成しました。. サービスとモデルを与えると、実際に得意な言語を評価し、ベンダーが主張したものではなく、実証的な証拠が示すものを評価します。.プロセスは冪等です：同じ入力、同じ出力、迅速な結果のために一貫してキャッシュされます。. プロンプトを変更する際、最適なものを発見するためにA/Bテストを行います。. 一貫して失敗したモデルは、特定の言語ペアでブラックリスト化またはデランキングされ、ベンチマークがより生産的になりました。.AIを使用してAI統合を構築することは、非常に強力であることが判明しました。. 関数呼び出しと、エージェントへ進化する初期フレームワークを使って、AIでベンチマークを構築し、スコアカードと評価を完備できます。. 私がモデルと言語機能について発見したことは、ベンダーの主張とは大きく異なっていました。. 私は金属に近づき、実際の証拠に近づく必要がありました。.
Diagram source
graph TB
    Problem[ベンダークレーム]
    Loop[評価ループ]
    Cache[冪等キャッシュ]
    ABTest[A/B テストプロンプト]
    Demote[ブラックリスト失敗]
    Discovery[本番に送出]
    BDD[BDD フレームワーク]

    Problem -->|作成| Loop
    Loop -->|有効化| Cache
    Cache -->|迅速| ABTest
    Cache -->|追跡| Demote
    ABTest -->|突破口| Discovery
    Demote -->|最適化| Discovery
    Discovery --> BDD

    style Problem fill:transparent,stroke:#666666,stroke-width:2px,stroke-dasharray:5 5
    style Discovery fill:transparent,stroke:#3B82F6,stroke-width:2px
    style BDD fill:transparent,stroke:#10B981,stroke-width:2px
Copy source
これは理論的なものではありませんでした。新しいモデルが出るたびにベンダークレームを信頼できず、継続的に本番システムを更新する実務上の痛みから生まれました。. ベンチマークは測定ツールから構成生成器へと進化しました。.

Benchmark-Driven Development とは実際に何ですか#

Benchmark-Driven Development は検証を超えて生成プロセスになります。 テストが正しさを検証する一方で、ベンチマークは複数の次元でパフォーマンスを比較します。. さらに重要なのは、BDD において、ベンチマークが本番システムを駆動する設定を出力することです。私が本当に言いたいのは、コードが動作するかどうかだけを確認するのではなく、システムが継続的にどのアプローチが最適かを評価し、それに自動で構成して最適なアプローチを使用するということです。. 有効なものを取り入れ、実際にあなたのコンテキストに役立つものを構築してください。.
Diagram source
graph LR
    subgraph "Test-Driven Development"
        Test[テストを書く]
        Code[コードを書く]
        Pass[テスト成功]
        Test --> Code
        Code --> Pass
    end

    subgraph "Benchmark-Driven Development"
        Bench[ベンチマークを実行]
        Compare[結果を比較]
        Config[設定を生成]
        Deploy[プロダクション]
        Bench --> Compare
        Compare --> Config
        Config --> Deploy
    end

    style Pass fill:transparent,stroke:#10B981,stroke-width:2px
    style Deploy fill:transparent,stroke:#10B981,stroke-width:2px
    style Config fill:transparent,stroke:#3B82F6,stroke-width:2px
Copy source

翻訳システム内部#

翻訳システム内では、単一のAIモデルを選択してすべての言語ペアでうまく機能することを期待する代わりに、私は3つの主要指標で複数のモデルを評価する包括的なベンチマークシステムを作成しました：
  1. 品質 - 翻訳の正確性と文化的ニュアンスの保持
  2. 速度 - さまざまなテキスト長に対する応答時間
  3. コスト - 1トークンあたりまたはリクエストごとの価格設定
ベンチマークは自ら語り、AI言語能力に対する私の考え方を根本的に変える驚くべき洞察を明らかにしました.明確な瞬間は、クライアントの中国語原稿翻訳プロジェクトから生まれました. 彼らの妻は175+ページの中国語原稿を書いており、私はそれのデジタル化と翻訳を手伝っていました. Google Translateのオーバーレイ機能を使ってページを取得し、内容を10-15ページずつに分割して体系的に評価しました。Claude Opus（当時入手可能な最先端モデル）を使用し、各チャンクに対して包括的な評価を実施しました。 AIは単に翻訳するだけでなく、Google Translateの機械翻訳出力の品質を分析しました。 結果は驚くべきもので、文化的ニュアンスに30%の損失があり、具体例で意味が崩れた正確な箇所を指摘しました.AIはこう説明しました。「このフレーズは機械翻訳によれば英語でXを意味しますが、中国語では実際にYを伝えます―文化的文脈はZであり、この誤解は意味を根本的に変えます。」これらは微妙な違いではありませんでした. それらは著者の意図したメッセージに大きな損失を与えていました.この発見をさらに心配にさせたのは、50-80+言語をサポートすると主張するモデルをテストしたことです. スペイン語にある程度慣れていたため、単純な指標では見逃されるような同様の文化的ニュアンスの損失を見つけることができました. これは、より高価な代替手段と比較して文化的ニュアンスに30%の損失がある場合、「サポートされている言語」という意味が何なのか疑問を投げかけました.そのカップルは詳細な報告書に深く感動しました——翻訳が失敗した場所と理由をそのように正確に特定するとは思っていませんでした. 私にとってそれは決定的な瞬間でした：実際に重要なことを測定するベンチマークが必要だったと、ベンダーが主張するだけではなく. この経験は、私がシステムを構築する際に中心になるベンチマーク主導のアプローチに直接的に影響を与えました.
Diagram source
graph TB
    Input[テストコーパス]
    Models[AIモデル]
    Bench[ベンチマークスイート]
    Metrics[スコア：Q/S/C]
    Winner[ベスト構成]
    ProdConfig[プロダクション]

    Input --> Bench
    Models --> Bench
    Bench -->|品質| Metrics
    Bench -->|速度| Metrics
    Bench -->|コスト| Metrics
    Metrics --> Winner
    Winner -->|自動生成| ProdConfig

    style Winner fill:transparent,stroke:#3B82F6,stroke-width:2px
    style ProdConfig fill:transparent,stroke:#10B981,stroke-width:2px
Copy source

評価者の評価#

重要な革新の一つは、私が「まず評価者を評価する」と呼んでいるものを実装したことでした。スペイン語にある程度精通していたため、単純な評価指標では見逃される文化的ニュアンスの欠落を簡単に発見できました. 解決策は、スコアカード自体を評価するために、より高価で高品質なモデルを使用し、ベンチマークが本当に重要なものを測定することを保証することでした.評価者を評価するために評価ループを持ち、より賢明なモデルを使用することは、強力な手法になりました. 何かの良い評価者を得ることは、プロジェクトにおける驚くべき創造であり、一挙に偉業、挑戦、そして達成です.このメタ評価プロセスはスコアカードを反復的に洗練し、実際に自動的に意思決定を行うことができる堅牢な評価フレームワークを作成できました. 私の経験では、ほとんどのチームが失敗するのは、まず評価者を評価せずに彼らの評価者を信頼することです.
Diagram source
graph TB
    Basic[基本指標]
    Human[人間によるレビュー]
    Premium[プレミアムモデル]
    Refined[洗練されたスコアカード]
    Trust[信頼できる評価者]

    Basic -->|見つかったギャップ| Human
    Human -->|洞察| Premium
    Premium -->|評価する| Basic
    Premium --> Refined
    Refined -->|反復する| Trust

    style Human fill:transparent,stroke:#333333,stroke-width:2px
    style Premium fill:transparent,stroke:#3B82F6,stroke-width:2px
    style Trust fill:transparent,stroke:#10B981,stroke-width:2px
Copy source

ベンチマークが設定に変わるとき#

ベンチマークが本番設定を生成できると気づいた瞬間、すべてがピンと来た. ベンチマークはコードと並行して存在し、エンジン内のパイプラインやコンポーネントの任意の層に焦点を合わせられる. モックコンポーネントを作成し、バリエーションをテストし、スコアが向上したら設定を直接ソースコードに発行できる.その接続性が不可欠となった。AIは急速に進化するため、プロジェクト内でベンチマークを維持することが有益だ. 新しいモデルがより良いコストパフォーマンスや速度でリリースされても、スコアカードは同じままでベンチマークは継続する. 品質向上は驚異的だ.勝ち組（モデル選択、プロンプトエンジニアリング、パラメータ調整）はすでに完全な監査トレイルでテストされており、設定に出力されて即座に本番へ投入される. 翻訳システムのおかげで、モデルの言語翻訳機能について驚くほどの認識が得られた. 勝者は自動的に本番設定となり、常に品質、価格、文化的ニュアンスのバランスを最適に保つ.これにより、各技術的意思決定の理由が明確に示された監査トレイルが作成され、実証データで裏付けられるようになった. 誰かが「スペイン語からフランス語にはモデルX、しかし中国語から英語にはモデルYはなぜ？」と尋ねると、その答えはベンチマーク結果に存在する.

データを活用したプロンプトエンジニアリング#

システムはモデル選択だけでなくプロンプトエンジニアリング自体もベンチマークするように進化した. 私はベンチマークを構築し、さらに異なる部門がAIプロンプトに取り組み、システマティックに異なるプロンプトをA/Bテストできた. 設定されたメトリクスに基づき、明確な勝者が浮上した. これによりプロンプトエンジニアリングから推測が排除され、直感をデータ駆動型の意思決定に置き換えた.

継続的発見の経済学#

このアプローチには大きなコスト節約効果がある. スコアカードは最高の品質と文化的ニュアンスを速さとともに推進し、かつ最適なコストで実現するよう設計されている. それに加え、何も手作業で評価する必要がないため、コストを節約できる—新しいモデルやモデルバージョンがリリースされるときにすべてを自動で実行するだけだ.モデルが特定の言語ペアで非常に優れていると主張するとき、設定に追加してベンチマークの実行を観察するだけで驚くほど簡単だ. 勝者は何であれ本番に実装され、確固たる証拠に裏付けられていることを私は知っている.私にとって、ベンチマーク主導開発はプロジェクト内の特別なセクションで働く小さなエージェントチームが調査・発見・評価を行うようなものだ. 見るのはとても楽しいです. まるでプロジェクト内に小さなR&Dショップを持っているようです. 翻訳システムは私のお気に入りのシステムの一つでした—何度か中断しながら二年以上にわたって構築し、ついにサービスとして作成できる段階に達しましたが、現在はプライベートで使用しています.

善循環#

Benchmark-Driven Development が善循環を作り出します:
  1. 測定による明確化: 抽象的な品質が具体的な指標になります
  2. 比較による学習: 各ベンチマークが問題領域について新たな知見を提供します
  3. データによる自信: 決定は現地で検証可能な証拠に支えられます
  4. 自動化による進化: システムは継続的に自己改善します
この手法は革新への構築に非常に効果的であることが証明されています. 特にAI領域で地面が常に変わる中、システム構築のための私のお気に入りのアプローチになりました. 私もこの点で純粋主義者ではありません. 各プロジェクトの文脈が、どのアプローチが最適かを明らかにします.
Diagram source
graph TB
    Define[指標を定義する]
    Implement[ベンチマークを構築する]
    Cache[結果をキャッシュする]
    Evaluate[A/Bテストを実行する]
    Select[勝者を選択する]
    Generate[設定を発行する]
    Deploy[本番にデプロイする]
    Monitor[性能を監視する]

    Define --> Implement
    Implement --> Cache
    Cache --> Evaluate
    Evaluate --> Select
    Select --> Generate
    Generate --> Deploy
    Deploy --> Monitor
    Monitor -.->|継続的| Evaluate

    style Cache fill:transparent,stroke:#333333,stroke-width:2px
    style Select fill:transparent,stroke:#3B82F6,stroke-width:2px
    style Deploy fill:transparent,stroke:#10B981,stroke-width:2px
Copy source

実践から生まれたもの#

Benchmark-Driven Development を実装することで、これらのパターンが重要であることが明らかになりました:

このアプローチが活躍する場所#

ソフトウェア開発における私の哲学は、アプローチは常に文脈と必要性に応じて進化すべきだということです. Benchmark-Driven Development は、多くのプロジェクト、特に実験的性質がなく、急速に進化するAIシステムと直接統合されていないものには意味を成さないでしょう。私にとって、空間における進化速度の緊張と、温度ゼロで完全に決定的な出力から、より高い温度で創造的な出力までのAI能力の範囲が組み合わさることで、必要性が生まれました. 翻訳システムでは、ベンチマーク駆動アプローチが意味を成しました。なぜなら、品質、速度、コストを確固たる証拠と紙の跡で測定できたからです.BDD は、以下のようなシナリオで最も効果的であることが証明されています:これは、AIシステム、レンダリングエンジン、最適化問題、そして「ベスト」が文脈とトレードオフに依存するあらゆる領域に特に強力です. 各プロジェクトの文脈が、どのアプローチが最適かを明らかにします.

進むべき道#

AIがますますシステムに統合されるにつれ、静的テストは不十分になります. 証拠は、基盤技術の進化と同じ速さで適応する方法論がより良い結果をもたらすことを示唆しています. Benchmark-Driven Development は、私たちのシステムが経験的証拠に基づいて継続的に最適化される道を提供します。TDD から BDD への移行は、テストを維持しつつそれを超えるより強力なものへの進化でした。 最良の解決策が日々変わる世界では、私たちの開発方法論も同様にダイナミックである必要があります.

結論#

Benchmark-Driven Development は、私たちがシステムを構築・最適化する方法の進化を表します。 ベンチマークを単なる評価ではなく生成的にすることで、組み込み監査トレイルを備えた自己改善型システムを構築します.重要な洞察: 何かが機能するかどうかを単にテストするのではなく、最も効果的な方法を継続的に測定し、その最適解を自動的にシステムに構成すること. 指数関数的技術変化の時代において、この適応性と透明性は革新的なシステム構築に不可欠になります.自分自身が学ぶため、非常に報われるものです. 私はより明確になり、意思決定は実際のローカルデータによってサポートされます. ベンチマークの実行を見るのはかなり楽しいです—プロジェクト内で小さな研究開発ショップを持ち、何が機能するかを発見しながら、私自身は構築に集中できるようなものです.急速に進化するドメインでシステムを構築する人にとって、これは実証的最適化による卓越性を達成する実用的なアプローチを提供します. 実際の目標に役立つものだけを採用してください. すべてに疑問を持ち、実際に重要なものを明らかにしてください. チームが自分たちの行動のwhyを理解すると、結果は自ら語ります.フレームワークと実装パターンの体系的な分解のために、私はコアコンポーネントをBenchmark-Driven Development: A Frameworkに記録しました。これは私のウェブサイトで共有する最初の記事であり、この方法論を発見する旅に価値を見出していただけたら幸いです. お大事に、神速で進んでください.#AI#ベンチマーキング#ソフトウェアアーキテクチャ#テスト#革新#TypeScript#開発手法#経験的#洞察—Robert E. Beckner III (Merlin)読み続ける次へBenchmark-Driven Development: A Framework for AI System Configuration最後の CLI: 私のツールが構築されたベース51を再構築する発見August 19, 202610分で読めますQwen 3.8-27B M1 Ultra 上で： 12.1から20.3まで tok/s すべてを測定して発見August 14, 20268分で読めますプロンプトキャッシュのミスは、組織に AI の各ターンでほぼ 6 倍のコストをもたらす可能性があります発見September 23, 202616分で読めます関連プロジェクト175-Page Chinese ManuscriptAI InnovationAI Translation SystemAI Innovation