物体検出 — ゴルフクラブとボールのトラッキング

物体検出とは

物体検出を有効にすると、Swing Catalystは各動画フレームでゴルフクラブとボールを検出し、スケルトン表示の上に3Dオーバーレイを描画します。表示される内容は次のとおりです。

• クラブオーバーレイ — シャフトに沿った5つのキーポイント(ヘッドトップ、ヘッドボトム、シャフトボトム、中間点、グリップエンド)を色分けされた線で結んだもの。クラブヘッド側の黄色からグリップ側のシアンへと色が変化するため、向きが一目で分かります。
• ボールオーバーレイ — 検出されたボール位置に表示される1つの白い球体。

オーバーレイは、ライブカメラビューと録画したテイクの再生の両方で表示されます。物体検出を行わずに録画されたテイクは、通常どおり身体のみの表示で再生されます。

物体検出がゴルフのみに対応している理由

現時点で、物体検出はゴルフのみに対応しています。基盤となるモデル(物体検出用のRTMDet-M、クラブの姿勢推定用のRTMPose-M)は、ゴルフ用品に特化して学習されています。他のスポーツ(野球、テニスなど)への対応には追加の学習済みモデルが必要ですが、現時点ではまだ提供されていません。このアーキテクチャは将来的に他のスポーツへの対応を見据えて設計されており、新しいモデルがリリースされた際にパイプラインのコードを変更する必要はありません。

物体検出を有効化・無効化する方法

検出モード(全体設定)

1. 設定 → ビデオとキャプチャ を開きます。
2. 詳細設定 セクションまでスクロールします。
3. 検出モード ドロップダウンを見つけます。
   • MultiClass — 人物検出と物体検出の両方を実行します。これがデフォルトです。
   • HumanOnly — 人物検出のみを実行します。クラブとボールのトラッキングが不要な場合や、パフォーマンスの問題が発生している場合に使用してください。
4. モードを変更すると、検出サービスが自動的に再起動します。アプリの再起動は不要です。

オブジェクト検出を有効にするトグル(セッション単位)

検出モードが MultiClass に設定されている場合、別途 オブジェクト検出を有効にする トグルを利用できます。これをオフにすると、全体の検出モードを変更することなく、現在のセッションに限って物体検出を一時的にスキップできます。検出モードがHumanOnlyの場合、このトグルはグレーアウトされます。

ビューポート内でオーバーレイを表示・非表示にする

ビューポート上部のツールバーを使用すると、クラブとボールのオーバーレイをそれぞれ個別に表示・非表示にできます。

• クラブを表示 — クラブのキーポイントとボーンのオーバーレイを切り替えます。
• ボールを表示 — ボールの球体オーバーレイを切り替えます。

これらのトグルは検出を再起動することなく即座に反映され、セッションをまたいで設定が保持されます。

ハードウェア要件

物体検出は、身体のみのモーションキャプチャよりも多くのGPUメモリを必要とします。

詳細および対応グラフィックカードの完全なリストについては、推奨コンピューター仕様 を参照してください。

VRAMが8GB未満のシステムでは、アプリケーションが自動的に人物のみの検出にフォールバックする場合があります。この場合、設定 → ビデオとキャプチャ に通知バナーが表示されます。

Intel内蔵グラフィックス(UHD 620/770): OSが割り当てるVRAM予算(通常400~800MB)では不足するため、Intel iGPU構成では物体検出が自動的に無効になります。人物のみのモーションキャプチャは通常どおり動作を続けます。

再生時に表示される内容

物体検出を有効にして録画したテイクを開くと、次のようになります。

• クラブとボールのオーバーレイが、身体のスケルトンと並んでタイムライン上に表示されます。
• タイムラインをスクラブしても、オーバーレイは動画フレームと同期したままです。
• 信頼度の低い検出結果は、誤った位置に飛ぶのではなく、フェードアウトします。
• 上記のツールバーコントロールを使用して、クラブとボールの表示・非表示をそれぞれ個別に切り替えられます。

物体検出が利用可能になる前に録画されたテイクや、検出モードがHumanOnlyに設定された状態で録画されたテイクは、身体のスケルトンのみが表示されます。再生するために再処理を行う必要はなく、通常どおり開くことができます。

既存のテイクに物体検出データを追加するには、録画を解析モードで開き、ツールバーの モーションキャプチャ ボタンをクリックして、Reprocess MoCap を選択します。これにより、録画されたフレームに対して身体検出と物体検出の両方が再実行されます。

トラブルシューティング

クラブとボールのオーバーレイが表示されない

1. 設定 → ビデオとキャプチャ → 検出モード が MultiClass に設定されていることを確認してください。
2. オブジェクト検出を有効にする トグルがオンになっていることを確認してください。
3. 設定に「クラブとボールのトラッキングモデルはまだ利用できません」という通知バナーが表示されていないか確認してください。表示されている場合、必要なモデルファイルがコンポーネントディレクトリに存在していません。コンポーネントインストールガイド の手順に従って、モーションキャプチャコンポーネントを再インストールしてください。

VRAM警告 / 人物のみへの自動フォールバック

次の場合、アプリケーションは警告をログに記録し、人物のみの検出にフォールバックします。

• サービス起動時にDirectMLが報告する空きVRAMが600MB未満である場合
• システムがIntel内蔵GPUを搭載している場合

これを解決するには、GPUに負荷をかける他のアプリケーションが実行されていないことを確認し、グラフィックカードがMultiClass検出の推奨仕様 (最小VRAM 8GB)を満たしていることを確認してください。

オーバーレイが誤ったアクティビティに対して表示される

物体検出は ゴルフ アクティビティに対してのみ有効です。ゴルフ以外のスポーツを録画していて、クラブやボールのオーバーレイが表示されない場合、それは想定どおりの動作です。ゴルフ以外のアクティビティでは、設定に検出モードの項目は表示されません。

検出精度の低下やオーバーレイのちらつき

• スイングの大部分において、クラブとボールが十分に照らされており、隠れていないことを確認してください。
• システム負荷を軽減するため、カメラのフレームレートを下げてみてください(モーションキャプチャ設定 を参照)。
• 背景の物体を誤検出している場合は、設定 → ビデオとキャプチャ → 詳細設定 で検出信頼度のしきい値を上げてください。
• 検出精度が一貫して低い場合は、実行プロバイダー を DirectML に切り替えてみてください。ハードウェア互換性が最も広いためです。

更新後にモデルファイルが見つからない

アプリケーションの更新によって必要なモデルバージョンが変更された場合、設定に通知バナーが再度表示されます。コンポーネントインストールガイド の手順に従って、コンポーネントを再インストールしてください。

関連項目: モーションキャプチャガイド · モーションキャプチャ設定 · システム要件