Обнаружение объектов — отслеживание клюшки для гольфа и мяча

Что такое обнаружение объектов?

Когда обнаружение объектов включено, Swing Catalyst распознаёт клюшку для гольфа и мяч в каждом кадре видео и накладывает 3D-оверлеи поверх визуализации скелета. Вы видите:

• Оверлей клюшки — пять ключевых точек вдоль стержня (верх головки, низ головки, низ стержня, середина и конец рукоятки), соединённых цветными линиями. Цвет плавно переходит от жёлтого у головки клюшки к голубому у рукоятки, чтобы ориентация была сразу понятна.
• Оверлей мяча — одна белая сфера в точке обнаружения мяча.

Оверлеи отображаются как при просмотре с камеры в реальном времени, так и при воспроизведении записанных дублей. Дубли, записанные без обнаружения объектов, воспроизводятся как обычно, только со скелетом тела.

Почему обнаружение объектов доступно только для гольфа

В настоящее время обнаружение объектов поддерживается только для гольфа. Используемые модели (RTMDet-M для обнаружения объектов и RTMPose-M для оценки позы клюшки) обучены специально на инвентаре для гольфа. Для расширения на другие виды спорта (бейсбол, теннис) потребуются дополнительные обученные модели, которых пока нет. Архитектура спроектирована так, чтобы в будущем поддерживать другие виды спорта — при выпуске новых моделей изменения кода конвейера не потребуются.

Как включить или отключить обнаружение объектов

Режим обнаружения (глобальная настройка)

1. Откройте Settings → Video & Capture.
2. Прокрутите до раздела Advanced Settings.
3. Найдите выпадающий список Detection Mode.
   • MultiClass — выполняет обнаружение людей И обнаружение объектов. Это значение по умолчанию.
   • HumanOnly — выполняет только обнаружение людей. Используйте этот режим, если отслеживание клюшки и мяча не нужно или возникают проблемы с производительностью.
4. При смене режима службы обнаружения перезапускаются автоматически. Перезапуск приложения не требуется.

Переключатель Enable Object Detection (для сеанса)

Когда для Detection Mode установлено значение MultiClass, становится доступен отдельный переключатель Включить обнаружение объектов. Отключите его, чтобы временно пропустить обнаружение объектов в текущем сеансе, не меняя глобальный режим Detection Mode. Этот переключатель неактивен (серый), когда Detection Mode установлен в HumanOnly.

Показ / скрытие оверлеев в области просмотра

Используйте панель инструментов над областью просмотра, чтобы независимо показывать или скрывать оверлеи клюшки и мяча:

• Show Club — переключает оверлей ключевых точек и костей клюшки.
• Show Ball — переключает оверлей сферы мяча.

Эти переключатели применяются немедленно, без перезапуска обнаружения, и сохраняются между сеансами.

Требования к оборудованию

Обнаружение объектов требует больше видеопамяти (VRAM), чем захват движения только тела.

Полные сведения и полный список совместимых видеокарт см. в разделе Рекомендуемые характеристики компьютера .

На системах с объёмом VRAM менее 8 ГБ приложение может автоматически переключиться на обнаружение только людей. В этом случае в разделе Settings → Video & Capture появится баннер с уведомлением.

Встроенная графика Intel (UHD 620/770): обнаружение объектов автоматически отключается на конфигурациях с интегрированным GPU Intel, поскольку выделяемого операционной системой объёма VRAM (обычно 400–800 МБ) недостаточно. Захват движения только тела продолжает работать в обычном режиме.

Что вы видите при воспроизведении

При открытии дубля, записанного с включённым обнаружением объектов:

• Оверлеи клюшки и мяча отображаются на шкале времени вместе со скелетом тела.
• Оверлеи остаются синхронизированы с кадром видео при перемотке по шкале времени.
• Обнаружения с низкой достоверностью плавно исчезают, а не «перескакивают» в неверные положения.
• Видимость клюшки и мяча можно переключать независимо с помощью элементов панели инструментов, описанных выше.

Дубли, записанные до появления обнаружения объектов, или с Detection Mode, установленным в HumanOnly, показывают только скелет тела. Для их просмотра повторная обработка не требуется — они открываются как обычно.

Чтобы добавить данные обнаружения объектов к уже существующему дублю, откройте запись в режиме анализа, нажмите кнопку Захват движения на панели инструментов и выберите Reprocess MoCap. Это заново запускает обнаружение как тела, так и объектов на записанных кадрах.

Устранение неполадок

Оверлеи клюшки и мяча не отображаются

1. Убедитесь, что в Settings → Video & Capture → Detection Mode установлено значение MultiClass.
2. Убедитесь, что переключатель Включить обнаружение объектов включён.
3. Проверьте, не отображается ли в настройках баннер с уведомлением «Club and ball tracking models are not yet available». Если да, в каталоге компонентов отсутствуют необходимые файлы моделей. Переустановите компоненты захвата движения, следуя Руководству по установке компонентов .

Предупреждение о VRAM / автоматический переход на обнаружение только людей

Приложение записывает предупреждение в журнал и переключается на обнаружение только людей, если:

• DirectML сообщает о менее чем 600 МБ свободной VRAM при запуске службы, либо
• в системе установлен интегрированный GPU Intel.

Что делать: убедитесь, что не запущены другие приложения, интенсивно использующие GPU, и проверьте, что ваша видеокарта соответствует рекомендуемым характеристикам для обнаружения в режиме MultiClass (минимум 8 ГБ VRAM).

Оверлеи отображаются для неподходящей активности

Обнаружение объектов активно только для активностей типа гольф. Если вы записываете вид спорта, отличный от гольфа, и не видите оверлеев клюшки или мяча — это ожидаемое поведение. Для активностей, не связанных с гольфом, настройка Detection Mode в Settings не отображается.

Низкая точность обнаружения или мерцающие оверлеи

• Убедитесь, что клюшка и мяч хорошо освещены и не скрыты на значительной части свинга.
• Попробуйте снизить частоту кадров камеры, чтобы уменьшить нагрузку на систему (см. Настройки захвата движения ).
• Увеличьте порог достоверности обнаружения в Settings → Video & Capture → Advanced Settings, если наблюдаются ложные срабатывания от объектов фона.
• При стабильно низком качестве обнаружения попробуйте переключить Execution Provider на DirectML, поскольку он обладает наиболее широкой совместимостью с оборудованием.

Файлы моделей отсутствуют после обновления

Если обновление приложения меняет требуемые версии моделей, баннер с уведомлением снова появится в настройках. Следуйте Руководству по установке компонентов , чтобы переустановить компоненты.

См. также: Руководство по захвату движения · Настройки захвата движения · Системные требования