跳到内容
Swing Catalyst 支持 Swing Catalyst 支持
联系支持

物体检测 — 高尔夫球杆与球体追踪

什么是物体检测?

启用物体检测后,Swing Catalyst 会在每一帧视频中检测高尔夫球杆和球,并在骨架可视化之上绘制 3D 叠加图层。您将看到:

  • 球杆叠加图层 — 沿杆身分布的五个关键点(杆头顶部、杆头底部、杆身底部、中部和握把末端),通过彩色编码的线条连接。颜色从杆头处的黄色渐变到握把处的青色,使方向一目了然。
  • 球体叠加图层 — 在检测到的球所在位置显示一个白色球体。

无论是在实时摄像头画面中,还是在已录制片段的播放过程中,叠加图层都会显示。未启用物体检测录制的片段将正常播放,仅显示身体可视化效果。


为什么物体检测仅支持高尔夫

物体检测目前仅支持高尔夫。其底层模型(用于物体检测的 RTMDet-M 和用于球杆姿态估计的 RTMPose-M)是专门针对高尔夫器材训练的。要扩展到其他运动(棒球、网球),需要额外的训练模型,而这些模型目前尚未提供。该架构在设计时已考虑到未来支持更多运动;新模型发布后,无需对处理流程进行任何代码改动。


如何启用或禁用物体检测

检测模式(全局设置)

  1. 打开 设置 → 视频与捕捉
  2. 滚动到 高级设置 部分。
  3. 找到 检测模式 下拉菜单。
    • MultiClass — 同时运行人体检测和物体检测。这是默认选项。
    • HumanOnly — 仅运行人体检测。如果您不需要球杆和球的追踪,或遇到性能问题,请使用此选项。
  4. 更改模式会自动重启检测服务,无需重启应用程序。

启用物体检测开关(按会话)

当检测模式设置为 MultiClass 时,会出现一个单独的 启用物体检测 开关。关闭它可以在不更改全局检测模式的情况下,为当前会话临时跳过物体检测。当检测模式为 HumanOnly 时,此开关显示为灰色不可用。

在视口中显示/隐藏叠加图层

使用视口上方的工具栏,可以分别控制球杆和球的叠加图层的显示与隐藏:

  • Show Club — 切换球杆关键点和骨骼叠加图层。
  • Show Ball — 切换球体叠加图层。

这些开关会立即生效,无需重启检测,并且设置会在各会话间保留。


硬件要求

物体检测比仅捕捉身体的动作捕捉需要更多 GPU 显存。

模式最低显存推荐显存
HumanOnly(仅身体)6 GB8 GB
MultiClass(身体 + 高尔夫器材)8 GB10 GB 以上

有关完整详情及兼容显卡的完整列表,请参阅 推荐的计算机配置

在显存低于 8 GB 的系统上,应用程序可能会自动回退到仅人体检测。如果发生这种情况,设置 → 视频与捕捉 中会出现通知横幅。

Intel 集成显卡(UHD 620/770): 在 Intel 集成显卡配置下,物体检测会自动禁用,因为操作系统分配的显存预算(通常为 400–800 MB)不足。仅身体的动作捕捉仍可正常工作。


播放时您会看到什么

当您打开一个启用了物体检测录制的片段时:

  • 球杆和球的叠加图层会与身体骨架一起显示在时间轴上。
  • 当您拖动时间轴时,叠加图层会与视频帧保持同步。
  • 置信度较低的检测结果会淡出,而不是跳到错误的位置。
  • 您可以使用上文所述的工具栏控件,分别切换球杆和球的可见性。

在物体检测功能推出之前录制的片段,或检测模式设置为 HumanOnly 时录制的片段,只会显示身体骨架。查看这些片段无需重新处理,它们可以正常打开。

要为现有片段添加物体检测数据,请在分析模式下打开该录制内容,点击工具栏中的 动作捕捉 按钮,然后选择 Reprocess MoCap。这将对录制的帧重新运行身体检测和物体检测。


故障排查

球杆和球的叠加图层未显示

  1. 检查 设置 → 视频与捕捉 → 检测模式 是否设置为 MultiClass
  2. 检查 启用物体检测 开关是否已打开。
  3. 检查设置中是否显示通知横幅“球杆和球追踪模型尚不可用”。如果显示,说明组件目录中缺少所需的模型文件。请按照 组件安装指南 重新安装动作捕捉组件。

显存警告 / 自动回退到仅人体检测

在以下情况下,应用程序会记录警告并回退到仅人体检测:

  • 服务启动时 DirectML 报告的可用显存低于 600 MB;或
  • 系统使用 Intel 集成显卡。

要解决此问题:请确保没有其他占用大量 GPU 资源的应用程序在运行,并检查您的显卡是否满足 MultiClass 检测所需的 推荐配置 (最低 8 GB 显存)。

叠加图层显示的运动类型不正确

物体检测仅在 高尔夫 活动中生效。如果您正在录制非高尔夫运动且未看到球杆或球的叠加图层,这是正常现象。对于非高尔夫活动,设置中不会显示检测模式选项。

检测精度低或叠加图层闪烁

  • 确保球杆和球在挥杆的大部分过程中光线充足且未被遮挡。
  • 尝试降低摄像头帧率以减轻系统负载(参见 动作捕捉设置 )。
  • 如果背景物体导致误检,请在 设置 → 视频与捕捉 → 高级设置 中提高检测置信度阈值。
  • 如果检测效果持续不佳,请尝试将 Execution Provider 切换为 DirectML,因为它具有最广泛的硬件兼容性。

更新后模型文件缺失

如果应用程序更新更改了所需的模型版本,通知横幅会在设置中再次出现。请按照 组件安装指南 重新安装组件。


另请参阅:动作捕捉指南 · 动作捕捉设置 · 系统要求