AIを活用してテキストリストの重複を自動で排除する方法

AIエージェントが類似度スコアリングを用いることで、完全一致していなくても実質的に同じ内容である項目を検出します。これらの「あいまいな重複」をフラグ立てすることで、データのクレンジングが可能になります。仕組みは以下の通りです。

1. 01

   リストの読み込み

   比較の準備として、エージェントがソースからテキストデータを取得します。

   analyze_string_metrics
2. 02

   類似度の算出

   文字列に対して類似度スコアリングを実行し、表記揺れを含む一致を特定します。

   analyze_string_metrics
3. 03

   項目のグループ化

   類似度スコアが高い項目同士をグループとしてまとめます。

   analyze_string_metrics
4. 04

   例外のフラグ立て

   確信度の高い重複と、判断に迷う要確認項目を切り分けます。

   analyze_string_metrics

String Analyzer Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_cB97ZdkNoybwfO5XIE4OQ5jshn2W4nG5oUaqdTPO/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — String Analyzer capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "string-metrics-analyzer-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cB97ZdkNoybwfO5XIE4OQ5jshn2W4nG5oUaqdTPO/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

ワンクリックで MCP を AI クライアントに接続できます。認証情報は暗号化されて保護されるため、すぐに重複排除作業を開始できます。

• 01

  AI が元のデータを削除することはありませんか？

  ありません。AI は分析のためにデータを読み取るだけで、ファイルを変更したり削除したりすることはできません。

• 02

  AI がタイポ（誤字）を修正してくれますか？

  いいえ。AI はどの文字列が似ているかを特定しますが、実際の修正作業はあなたが行う必要があります。

• 03

  完全一致しない重複をどのように見つけるのですか？

  類似度スコアリングを使用します。これにより、タイポやスペースの有無が異なっていても、数学的に近い文字列を見つけ出すことができます。

• 04

  判定の厳しさを調整できますか？

  はい。特定の類似度しきい値（閾値）を満たすものだけをフラグ立てするように、エージェントに指示を出すことができます。

• 05

  Excel スプレッドシートでも使えますか？

  はい。スプレッドシートのデータを AI クライアントに渡すことができれば、問題なく利用可能です。

• String Metrics Analyzer について他に質問がありますか？ Connector のページで回答しています。 String Metrics Analyzer Connector の全機能を見る