• AUDIO
  • VISUAL
  • TEXT
  • HUMAN

AIでマルチモーダルなワークフローを構築する方法：CometAPIを活用

CometAPIをエージェントに接続することで、異なるメディア形式間の壁を取り払います。接続後は、エージェントがテキスト、音声、ビジュアルを一つのシーケンス内で自在に扱えるようになります。

このページについてAIに聞く

すぐに答え

AIでテキスト、画像、音声を連携させるには？

CometAPIを使用すると、エージェントが異なるメディア形式を連続して処理・生成できるようになります。音声の文字起こしから、テキストに基づく画像生成や音声合成まで、一連のプロセスをすべて実行可能です。エージェントがどのように各ステップを進めるかを以下に示します。

出力結果

生成されるデータ

エージェントがリクエストを処理し、以下の具体的な結果を出力します。

AUDIO

音声ファイル

エージェントがテキストを音声に変換します。再生や配布にそのまま使えるファイルが手に入ります。

VISUAL

新規画像

エージェントがテキストの説明から画像を生成します。プロンプトに基づいた新しいビジュアルが作成されます。

TEXT

書き起こしテキスト

エージェントが音声をテキストに変換します。音声ファイルの内容をテキストとして確認できます。

HUMAN

最終確認

すべての処理が終わるとエージェントは停止します。最後に、ファイルやテキストが意図通りか確認してください。

ワークフロー

指示を受けた際のAIの動き

エージェントは指示に従い、データを次のツールへと渡していきます。

  1. 音声の文字起こし

    エージェントが音声ファイルを受け取り、音声をテキストに変換します。

    transcribe_audio_to_text

  2. テキストの生成

    エージェントがテキストを使用して、回答、要約、または新しい指示を作成します。

    create_ai_chat_completion

  3. 画像の生成

    エージェントがテキストによる説明に基づき、新しい画像を構築します。

    generate_ai_image

  4. 音声の生成

    エージェントが最終的なテキストを音声ファイルに変換します。

    convert_text_to_speech

試してみる

以下のテキストをコピーして開始

チャットにこれらを貼り付けるだけで、ワークフローが起動します。

出発点

これらはプロンプトの例です。括弧内のテキストを、実際のファイル名や説明に書き換えて使用してください。

CometAPI Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_aRnxBAFzBnvbR5tv29h0trO8c9QsQr2X4CF1eULU/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — CometAPI capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "cometapi-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_aRnxBAFzBnvbR5tv29h0trO8c9QsQr2X4CF1eULU/mcp"
    }
  }
}
チャットにコピー04

  • この音声ファイル [file] を文字起こしして、その内容を要約してください。

  • このテキスト [text] に基づいて、内容に合う画像を生成してください。

  • この要約 [text] を音声ファイルに変換してください。

  • この音声 [file] を聴いて内容を説明し、その説明に基づいて画像を生成してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

CometAPIを接続して、すぐに指示を出しましょう

MCPをクライアントに接続してください。認証情報は弊社側で暗号化して保持されるため、接続後すぐにタスクを実行できます。

CometAPIをAIに接続する

FAQ

動作に関する詳細

  • 01

    AIは既存の画像を編集できますか？

    いいえ。ツールはテキストによる説明から新しい画像を生成することのみ可能です。

  • 02

    生成された音声ファイルは自動的にメールで送信されますか？

    いいえ。AIは変換処理のみを行います。ファイルの送付はご自身で行ってください。

  • 03

    ライブ会議の文字起こしに使用できますか？

    いいえ。文字起こしツールを使用するには、あらかじめ音声ファイルを用意する必要があります。

  • 04

    どのツールを使うかはAIが判断しますか？

    はい。マルチモーダルなワークフローを依頼した場合、エージェントが各ステップに最適なツールを自動的に選択します。

  • 05

    AIはアップロードした音声ファイルを削除できますか？

    いいえ。ツールはリクエストされた変換や文字起こしを実行するためにデータを読み取るだけで、削除は行いません。

  • CometAPIについて他に質問がありますか？コネクタのページで詳細を確認できます。 CometAPI Connectorの全機能を見る

『CometAPI』を Claude、Cursor、ChatGPT などに接続