• COLLECTIONS
  • INDEXED
  • IDENTIFIED
  • HUMAN

AIを活用して動画内の特定の人物や物体を追跡する方法

Twelve LabsをAIクライアントに接続することで、生の動画素材を検索・整理可能なデータへと変換できます。接続後は、エージェントがライブラリ全体から特定の対象を見つけ出し、グループ化できるようになります。

このページについてAIに聞く

すぐに答え

AIを使って動画内の人物や物体を追跡するには?

AIがTwelve Labsを使用して動画ファイルをインデックス化し、特定の対象を整理されたコレクションとしてグループ化します。すべてのフレームを手動で確認することなく、人物や物体が登場するすべての箇所を見つけ出すことが可能です。プロセスの詳細は以下の通りです。

検索結果の活用先

エンティティ追跡による成果

AIは動画データを以下の形式で整理します。

COLLECTIONS

グループ化されたエンティティ

AIが特定の対象のセットを構築します。特定の人物や物体が登場するすべてのクリップを、構造化された方法で管理できます。

INDEXED

検索可能な動画アセット

動画ファイルが検索可能なデータに変わります。AIが映像を処理するため、後から自由にクエリを実行できます。

IDENTIFIED

特定のエンティティ・プロファイル

個々の対象が固有のエンティティとして定義されます。これにより、AIは異なる人物やアイテムを識別できるようになります。

HUMAN

手動による確認

どのエンティティを保存すべきかは、あなたが判断します。AIが対象をフラグ立てしますが、最終的な整理はあなたが行います。

ワークフロー

データが届いた際、AIが行うこと

視覚的な認識とデータの整理という、負荷の高い作業をAIが担います。

  1. 映像のインデックス化

    AIが動画ファイルをスキャンして視覚的な内容を把握し、検索可能な状態に準備します。

    get_indexed_asset
  2. 対象の定義

    対象が見つかると、AIはその人物や物体に対して固有の識別情報を生成します。

    create_entity
  3. グループの構築

    AIが対象に関連するすべての箇所を集め、管理しやすい一つのセットにまとめます。

    create_entity_collection
  4. データの検証

    AIが特定したエンティティやコレクションを提示します。内容を確認し、必要に応じて調整してください。

    get_indexed_asset

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使用して、追跡プロセスを開始できます。

出発点

これらは基本的な入力例です。括弧内のテキストを、実際の動画フォルダ名や対象物の説明に書き換えて使用してください。

Twelve Labs Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_Vgl5VVTXIogBXlRhR1Xxpl2YsHWFIR0xQ7beKVtS/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Twelve Labs capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "twelve-labs-video-understanding-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Vgl5VVTXIogBXlRhR1Xxpl2YsHWFIR0xQ7beKVtS/mcp"
    }
  }
}
チャットにコピー04
  • 「Security_Footage」フォルダ内の、赤い帽子を被った人物が含まれるすべてのクリップを見つけてください。

  • 最近アップロードした動画の中で、「Delivery Truck」が登場するすべての箇所を新しいエンティティ・コレクションとして作成してください。

  • 「Interview_Series」のアセットに登場する特定の人物を特定してください。

  • 「Event_Video」ファイルを確認し、基調講演者のエンティティを作成してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Twelve Labsを一度接続すれば、あとは指示するだけです。

アカウントの連携は一度だけで完了します。認証情報は暗号化されて保護されるため、すぐにAIへ動画内の検索指示を出せるようになります。

Twelve LabsをAIに接続する

FAQ

動作に関する詳細

  • 01

    AIが元の動画ファイルを削除することはありませんか?

    いいえ。AIはメタデータを作成するためにファイルを読み取り、インデックス化するだけです。元の映像を修正したり削除したりすることはありません。

  • 02

    どのエンティティが重要かはAIが判断するのですか?

    いいえ。AIは潜在的な対象を特定しますが、どれをエンティティやコレクションとして登録するかは、あなたが指示する必要があります。

  • 03

    動画に映っていない物体を追跡することはできますか?

    いいえ。AIが追跡・インデックス化できるのは、提供された動画ファイルの中に実際に存在するものだけです。

  • 04

    AIがハードドライブ全体を自動的に整理してくれることはありますか?

    いいえ。インデックス化を開始するには、AIに対して特定の資産やフォルダを指定する必要があります。

  • 05

    AIが動画ファイルの名前を変更することはできますか?

    いいえ。これらのツールはインデックス化とエンティティ管理のために設計されており、ファイルシステムの操作を行うものではありません。

  • Twelve Labsについてさらに詳しく知りたいですか? Twelve Labs Connectorの全機能を見る

『Twelve Labs』を Claude、Cursor、ChatGPT などに接続