- FP
- FN
- ACC
- HUMAN
すぐに答え
モデルの偽陽性と偽陰性を見つけるには?
AIが予測データから混同行列を作成します。これにより、どのクラスが誤認されているかが明確になります。エラーごとの具体的な数値も把握可能です。
エラーの内訳
エラーの分析内容
AIがすべての誤分類をカテゴリ分けし、モデルがどこで失敗しているかを可視化します。
FP
偽陽性の数
モデルが実際には存在しない対象を検知した箇所を特定します。具体的なエラーリストを確認できます。
FN
偽陰性の数
モデルが実際の対象を見逃した箇所を特定します。モデルが現在見落としている要素がわかります。
ACC
正解率の内訳
全クラスにおける全体の正解率を算出します。全データのうち、どれだけが正しく予測されたかを確認できます。
HUMAN
手動レビューが必要な箇所
混同が激しい組み合わせをAIがフラグ立てします。どのエッジケースに人間の再ラベル付けが必要かを判断できます。
ワークフロー
予測データが届いたときのAIの動き
AIが生のラベルと予測値を読み取り、エラーレポートへと変換します。
データの読み込み
AIが提供されたデータセットから、正解ラベル(Ground Truth)と予測ラベルを読み取ります。
calculate_confusion_matrix行列の生成
AIが計算を実行し、すべての予測値と実際の結果を照合します。
calculate_confusion_matrixエラーの抽出
AIが偽陽性と偽陰性に該当する特定のセルを抽出します。
calculate_confusion_matrixパターンの検出
AIが頻繁に入れ替わっているクラスを特定し、システム的なバイアスの発見を支援します。
calculate_confusion_matrix
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使って分析を開始できます。
出発点
括弧内のテキストを、実際のファイル名やデータソースに書き換えてください。
Native V8 Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_lcKPfQMdEs9vOL0QvMD7tp5xcmCCFVUKYwiOuwlI/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Native V8 capabilities are ready to use.
{
"mcpServers": {
"confusion-matrix-engine-mcp": {
"url": "https://edge.vinkius.com/vk_preview_lcKPfQMdEs9vOL0QvMD7tp5xcmCCFVUKYwiOuwlI/mcp"
}
}
}'predictions_v1.csv' ファイルのデータを使って混同行列を計算して。
最近のモデル出力における 'cat' クラスの偽陽性を示して。
'test_results.json' の混同行列を分析して、どのクラスが最も混同されているか教えて。
'image_labels.csv' の混同行列に基づくと、偽陰性のリスクが最も高いのはどのクラスですか?
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Confusion Matrix Engineを接続して、すぐに質問を開始
MCPをクライアントにリンクするだけです。認証情報は暗号化され、すぐに質問ができるようになります。
Confusion Matrix EngineをAIに接続するFAQ
機能の詳細
- 01
AIはモデルのエラーを修正できますか?
いいえ。AIはエラーを特定して報告するのみです。モデルの再学習や調整は、ご自身で行う必要があります。
- 02
AIは元の予測ファイルを変更しますか?
いいえ。AIは計算のためにデータを読み取るだけで、元のソースファイルを書き換えることはありません。
- 03
どんなデータセットでも使えますか?
はい。AIが比較できる「正解ラベル」と「予測ラベル」がデータに含まれていれば、どのようなデータでも可能です。
- 04
AIが自動でデータを再ラベル付けすることはありますか?
いいえ。AIはエラーの箇所を特定しますが、データのラベル付けやクリーニング作業は行いません。
- 05
多クラス分類にも対応していますか?
はい。多クラスの分類に対応しており、クラス間の相互関係を行列として表示するように設計されています。
Confusion Matrix Engineについて他に質問がありますか? Confusion Matrix Engine Connectorの全機能を見る
『Native V8』を Claude、Cursor、ChatGPT などに接続
