評価設計 — まず「正しさ」を定義する
AIシステム開発において最初に作るべきは、モデルでもUIでもなく評価パイプラインです。業務側と「どの程度正しければ使えるか」を握り、それを自動で測り続ける仕組みを先に整備します。これがない開発は、必ず主観的な議論に流れて停滞します。実案件では、発注品目の抽出でホールドアウト25案件 F1 0.93、見積書の項目抽出で人手修正率 約6%、といった形で精度を第三者に説明できる状態にしています。
- 業務要件からの評価指標の定義(正解率だけでなく、誤りの種類ごとの許容度を設計)
- 評価用データセットの設計と整備
- プロンプト・モデル変更を自動で回帰評価するパイプライン
- 人間による確認が必要な出力を切り分けるしきい値設計