評価設計 — まず「正しさ」を定義する
AIシステム開発において最初に作るべきは、モデルでもUIでもなく評価パイプラインです。業務側と「どの程度正しければ使えるか」を握り、それを自動で測り続ける仕組みを先に整備します。これがない開発は、必ず主観的な議論に流れて停滞します。実案件では、指標の定義・分母・測定日・再現手順をすべて併記することを規約化し、精度を第三者に説明できる状態を制度として担保しています。
- 業務要件からの評価指標の定義(正解率だけでなく、誤りの種類ごとの許容度を設計)
- 評価用データセットの設計と整備
- プロンプト・モデル変更を自動で回帰評価するパイプライン
- 人間による確認が必要な出力を切り分けるしきい値設計