Детектиране на обекти — Проследяване на голф клуб и топка

Какво представлява детектирането на обекти?

Когато детектирането на обекти е активирано, Swing Catalyst детектира голф клуба и топката във всеки видео кадър и изчертава 3D наслагвания върху визуализацията на скелета. Виждате:

• Наслагване на клуба — пет ключови точки по протежение на дръжката (горна част на главата, долна част на главата, долна част на шафта, среда и край на грипа), свързани с цветно кодирани линии. Цветовете преливат от жълто при главата на клуба до циан при грипа, така че ориентацията е веднага ясна.
• Наслагване на топката — една бяла сфера в детектираната позиция на топката.

Наслагванията се показват както при директния изглед от камерата, така и при възпроизвеждане на записани дубли. Дублите, записани без детектиране на обекти, се възпроизвеждат нормално само с визуализация на тялото.

Защо детектирането на обекти работи само за голф

В момента детектирането на обекти поддържа само голф. Използваните модели (RTMDet-M за детектиране на обекти и RTMPose-M за оценка на позата на клуба) са обучени специално върху голф оборудване. Разширяването към други спортове (бейзбол, тенис) изисква допълнителни обучени модели, които все още не са налични. Архитектурата е проектирана да поддържа допълнителни спортове в бъдеще; няма да са необходими промени в кода на конвейера при излизането на нови модели.

Как да активирате или деактивирате детектирането на обекти

Режим на детектиране (глобална настройка)

1. Отворете Настройки → Видео и запис.
2. Превъртете до секцията Разширени настройки.
3. Намерете падащото меню Режим на детектиране.
   • MultiClass — изпълнява детектиране на хора И детектиране на обекти. Това е стойността по подразбиране.
   • HumanOnly — изпълнява само детектиране на хора. Използвайте това, ако нямате нужда от проследяване на клуба и топката или ако изпитвате проблеми с производителността.
4. Промяната на режима автоматично рестартира услугите за детектиране. Не се налага рестартиране на приложението.

Превключвател „Активиране на детектиране на обекти“ (за сесия)

Когато режимът на детектиране е зададен на MultiClass, е наличен отделен превключвател Активиране на детектиране на обекти. Изключете го, за да пропуснете временно детектирането на обекти за текущата сесия, без да променяте глобалния режим на детектиране. Този превключвател е неактивен (сив), когато режимът на детектиране е HumanOnly.

Показване/скриване на наслагванията в изгледа

Използвайте лентата с инструменти над изгледа, за да показвате или скривате наслагванията на клуба и топката независимо едно от друго:

• Покажи клуб — превключва наслагването на ключовите точки и костите на клуба.
• Покажи топка — превключва наслагването на сферата на топката.

Тези превключватели влизат в сила незабавно, без рестартиране на детектирането, и се запазват между сесиите.

Изисквания към хардуера

Детектирането на обекти изисква повече видеопамет (GPU) от фиксирането на движение само на тялото.

За пълни подробности и пълния списък на съвместимите видеокарти вижте Препоръчителни спецификации на компютъра .

На системи с по-малко от 8 GB видеопамет приложението може автоматично да премине към детектиране само на хора. В такъв случай ще се появи известие в Настройки → Видео и запис.

Вградена графика на Intel (UHD 620/770): Детектирането на обекти се деактивира автоматично при конфигурации с вградена графика на Intel, защото разпределеният от операционната система бюджет за видеопамет (обикновено 400–800 MB) е недостатъчен. Фиксирането на движение само на хора продължава да работи нормално.

Какво виждате при възпроизвеждане

Когато отворите дубъл, записан с активирано детектиране на обекти:

• Наслагванията на клуба и топката се показват на времевата линия заедно със скелета на тялото.
• Наслагванията остават синхронизирани с видео кадъра, докато премествате позицията по времевата линия.
• Детекциите с ниска достоверност избледняват, вместо да прескачат към грешни позиции.
• Можете да превключвате видимостта на клуба и топката независимо, като използвате бутоните от лентата с инструменти, описани по-горе.

Дублите, записани преди наличието на детектиране на обекти, или с режим на детектиране, зададен на HumanOnly, показват само скелета на тялото. Не се налага повторна обработка, за да ги видите — те се отварят нормално.

За да добавите данни от детектиране на обекти към съществуващ дубъл, отворете записа в режим на анализ, натиснете бутона Фиксиране на движение в лентата с инструменти и изберете Reprocess MoCap. Това повтаря детектирането както на тялото, така и на обектите върху записаните кадри.

Отстраняване на проблеми

Наслагванията на клуба и топката не се показват

1. Проверете дали Настройки → Видео и запис → Режим на детектиране е зададен на MultiClass.
2. Проверете дали превключвателят Активиране на детектиране на обекти е включен.
3. Проверете дали в настройките се показва известието „Моделите за проследяване на клуб и топка все още не са налични“. Ако е така, необходимите файлове с модели липсват от директорията с компоненти. Преинсталирайте компонентите за фиксиране на движение, следвайки Ръководството за инсталиране на компоненти .

Предупреждение за видеопамет / автоматично преминаване към детектиране само на хора

Приложението записва предупреждение в дневника и преминава към детектиране само на хора, когато:

• DirectML отчете по-малко от 600 MB свободна видеопамет при стартиране на услугата, или
• Системата разполага с вградена графика на Intel.

За да разрешите проблема: уверете се, че не работят други приложения, натоварващи видеокартата, и проверете дали видеокартата ви отговаря на препоръчителните спецификации за детектиране в режим MultiClass (минимум 8 GB видеопамет).

Наслагванията се показват за грешен вид активност

Детектирането на обекти е активно само за активности от вида голф. Ако записвате спорт, различен от голф, и не виждате наслагвания на клуб или топка, това е очакваното поведение. Настройката за режим на детектиране не се показва в Настройки за активности, различни от голф.

Ниска точност на детектиране или трептящи наслагвания

• Уверете се, че клубът и топката са добре осветени и не са закрити за значителна част от замаха.
• Опитайте да намалите честотата на кадрите на камерата, за да намалите натоварването на системата (вижте Настройки за фиксиране на движение ).
• Увеличете прага на достоверност за детектиране в Настройки → Видео и запис → Разширени настройки, ако забелязвате грешни детекции от обекти на фона.
• При трайно слабо детектиране опитайте да превключите Execution Provider на DirectML, тъй като има най-широка съвместимост с хардуер.

Липсващи файлове с модели след актуализация

Ако актуализация на приложението промени необходимите версии на моделите, известието ще се появи отново в настройките. Следвайте Ръководството за инсталиране на компоненти , за да преинсталирате компонентите.

Вижте също: Ръководство за фиксиране на движение · Настройки за фиксиране на движение · Системни изисквания