• FLAKY
  • STABLE
  • HUMAN
  • SUMMARY

AIを活用してテストの不安定な挙動(Flaky Tests)を特定する方法

XrayをAIクライアントに接続してテスト履歴をスキャンしましょう。連携が完了すれば、エージェントがテストスイート内のノイズとなる不安定なテストを見つけ出します。

このページについてAIに聞く

すぐに答え

AIを使ってどのように不安定なテストを見つけられますか?

AIがXrayの実行履歴を調査し、合格と失敗を不規則に繰り返すテストを特定します。これらの不安定なテストをフラグ立てすることで、根本的な原因の修正が可能になります。ノイズとなっているテストのリストを明確に提示します。

スキャン結果の分類

分析結果の出力先

AIはテストデータを以下のグループに分類します。

FLAKY

不安定なテストを特定

合格と失敗のパターンが一定しないテストをAIがフラグ立てします。注意が必要な具体的なテストIDのリストが取得できます。

STABLE

信頼できるテストスイート

履歴が安定しているテストをグループ化します。これにより、コアロジックが正しく動作していることが確認できます。

HUMAN

手動レビューが必要

データが不完全、または不明瞭なテストはユーザーに通知されます。書き直しが必要か、詳細な調査が必要かを判断してください。

SUMMARY

実行履歴の概要

AIが総実行回数や失敗率の要約を提供します。これにより、不安定さがどの程度深刻であるかを判断するためのコンテキストが得られます。

ワークフロー

データ受信後のAIの動作

AIは単に最新の結果を見るのではなく、傾向を分析します。

  1. 実行履歴の取得

    チェックしたいテストの具体的な実行詳細をAIが取得します。

    get_individual_test_runs
  2. 不整合の検出

    複数の実行結果を比較し、状態が頻繁に入れ替わるテストを見つけ出します。

    get_individual_test_runs
  3. テスト挙動の分類

    履歴データに基づき、エージェントがテストを「安定」または「不安定」に分類します。

    get_individual_test_runs
  4. リストの提示

    問題のあるテストIDをAIが提示し、すぐに修正作業へ移れるようにします。

    get_individual_test_runs

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使って分析を開始できます。

出発点

引用符内の名前を、実際のXrayのテスト名やプロジェクト名に置き換えて使用してください。

Xray (Test Management) Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_wm1FHp5m3EdTrKq9bAVa09Uad6Q4L0EjAfSyNZ5Y/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Xray (Test Management) capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "xray-test-management-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_wm1FHp5m3EdTrKq9bAVa09Uad6Q4L0EjAfSyNZ5Y/mcp"
    }
  }
}
チャットにコピー04
  • Xrayの'Auth Service'テストの直近10回の実行を分析し、不安定な挙動(flaky)がないか教えてください。

  • 'Project Phoenix'のテスト実行履歴を確認し、合格と失敗を不規則に繰り返しているテストをリストアップしてください。

  • 'UI Component'スイートの実行履歴をチェックし、不安定な挙動を特定してください。

  • 最近のXrayデータに基づき、'API Integration'フォルダ内の全テストの安定性を要約してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Xrayを一度接続すれば、あとは質問するだけ

Xrayアカウントを一度連携するだけで準備完了です。認証情報は弊社側で暗号化して保持されるため、すぐにエージェントへテストデータに関する質問を開始できます。

XrayをAIに接続する

FAQ

動作に関する詳細

  • 01

    AIが不安定なテストを自動で修正してくれますか?

    いいえ。AIはパターンを特定してテストをフラグ立てしますが、実際のロジックの修正はコード内で行う必要があります。

  • 02

    AIがXray内のデータを変更することはありませんか?

    はい、変更しません。AIは get_individual_test_runs ツールを使用してデータを読み取るだけです。Xray内のテスト実行の作成、変更、削除を行うことはできません。

  • 03

    AIはどのくらい過去のデータまで遡れますか?

    指定したテストに関して、Xrayの履歴にデータが残っている限り、過去のデータまで遡って分析可能です。

  • 04

    CursorやVS Codeでも利用できますか?

    はい、MCPに対応しているクライアントであれば利用可能です。

  • 05

    AIが新しいテストの作成を提案することもありますか?

    いいえ。この機能は、既存の実行データを分析して現在のテストの不安定さを特定することに特化しています。

  • Xrayについて他に質問がありますか? Xray Connectorの全機能を見る

『Xray (Test Management)』を Claude、Cursor、ChatGPT などに接続