- COLLECTIONS
- INDEXED
- IDENTIFIED
- HUMAN
すぐに答え
AIを使って動画内の人物や物体を追跡するには?
AIがTwelve Labsを使用して動画ファイルをインデックス化し、特定の対象を整理されたコレクションとしてグループ化します。すべてのフレームを手動で確認することなく、人物や物体が登場するすべての箇所を見つけ出すことが可能です。プロセスの詳細は以下の通りです。
検索結果の活用先
エンティティ追跡による成果
AIは動画データを以下の形式で整理します。
COLLECTIONS
グループ化されたエンティティ
AIが特定の対象のセットを構築します。特定の人物や物体が登場するすべてのクリップを、構造化された方法で管理できます。
INDEXED
検索可能な動画アセット
動画ファイルが検索可能なデータに変わります。AIが映像を処理するため、後から自由にクエリを実行できます。
IDENTIFIED
特定のエンティティ・プロファイル
個々の対象が固有のエンティティとして定義されます。これにより、AIは異なる人物やアイテムを識別できるようになります。
HUMAN
手動による確認
どのエンティティを保存すべきかは、あなたが判断します。AIが対象をフラグ立てしますが、最終的な整理はあなたが行います。
ワークフロー
データが届いた際、AIが行うこと
視覚的な認識とデータの整理という、負荷の高い作業をAIが担います。
映像のインデックス化
AIが動画ファイルをスキャンして視覚的な内容を把握し、検索可能な状態に準備します。
get_indexed_asset対象の定義
対象が見つかると、AIはその人物や物体に対して固有の識別情報を生成します。
create_entityグループの構築
AIが対象に関連するすべての箇所を集め、管理しやすい一つのセットにまとめます。
create_entity_collectionデータの検証
AIが特定したエンティティやコレクションを提示します。内容を確認し、必要に応じて調整してください。
get_indexed_asset
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使用して、追跡プロセスを開始できます。
出発点
これらは基本的な入力例です。括弧内のテキストを、実際の動画フォルダ名や対象物の説明に書き換えて使用してください。
Twelve Labs Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_Vgl5VVTXIogBXlRhR1Xxpl2YsHWFIR0xQ7beKVtS/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Twelve Labs capabilities are ready to use.
{
"mcpServers": {
"twelve-labs-video-understanding-mcp": {
"url": "https://edge.vinkius.com/vk_preview_Vgl5VVTXIogBXlRhR1Xxpl2YsHWFIR0xQ7beKVtS/mcp"
}
}
}「Security_Footage」フォルダ内の、赤い帽子を被った人物が含まれるすべてのクリップを見つけてください。
最近アップロードした動画の中で、「Delivery Truck」が登場するすべての箇所を新しいエンティティ・コレクションとして作成してください。
「Interview_Series」のアセットに登場する特定の人物を特定してください。
「Event_Video」ファイルを確認し、基調講演者のエンティティを作成してください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Twelve Labsを一度接続すれば、あとは指示するだけです。
アカウントの連携は一度だけで完了します。認証情報は暗号化されて保護されるため、すぐにAIへ動画内の検索指示を出せるようになります。
Twelve LabsをAIに接続するFAQ
動作に関する詳細
- 01
AIが元の動画ファイルを削除することはありませんか?
いいえ。AIはメタデータを作成するためにファイルを読み取り、インデックス化するだけです。元の映像を修正したり削除したりすることはありません。
- 02
どのエンティティが重要かはAIが判断するのですか?
いいえ。AIは潜在的な対象を特定しますが、どれをエンティティやコレクションとして登録するかは、あなたが指示する必要があります。
- 03
動画に映っていない物体を追跡することはできますか?
いいえ。AIが追跡・インデックス化できるのは、提供された動画ファイルの中に実際に存在するものだけです。
- 04
AIがハードドライブ全体を自動的に整理してくれることはありますか?
いいえ。インデックス化を開始するには、AIに対して特定の資産やフォルダを指定する必要があります。
- 05
AIが動画ファイルの名前を変更することはできますか?
いいえ。これらのツールはインデックス化とエンティティ管理のために設計されており、ファイルシステムの操作を行うものではありません。
Twelve Labsについてさらに詳しく知りたいですか? Twelve Labs Connectorの全機能を見る
『Twelve Labs』を Claude、Cursor、ChatGPT などに接続
