Detekcia objektov — sledovanie golfovej palice a loptičky

Čo je detekcia objektov?

Keď je detekcia objektov povolená, Swing Catalyst rozpozná golfovú palicu a loptičku v každej snímke videa a vykreslí 3D prekrytia nad vizualizáciou kostry. Zobrazí sa:

• Prekrytie palice — päť kľúčových bodov pozdĺž drieku palice (vrch hlavy, spodok hlavy, spodok drieku, stred a koniec gripu) prepojených farebne odlíšenými čiarami. Farby prechádzajú od žltej pri hlave palice po azúrovú pri gripe, takže orientácia je okamžite jasná.
• Prekrytie loptičky — jedna biela guľa na zistenej pozícii loptičky.

Prekrytia sa zobrazujú tak pri živom zábere z kamery, ako aj pri prehrávaní nahratých záberov. Zábery nahraté bez detekcie objektov sa prehrávajú normálne, len s vizualizáciou tela.

Prečo je detekcia objektov len pre golf

Detekcia objektov v súčasnosti podporuje iba golf. Príslušné modely (RTMDet-M pre detekciu objektov a RTMPose-M pre odhad polohy palice) sú trénované špecificky na golfové vybavenie. Rozšírenie na ďalšie športy (baseball, tenis) si vyžaduje ďalšie natrénované modely, ktoré zatiaľ nie sú k dispozícii. Architektúra je navrhnutá tak, aby v budúcnosti podporovala ďalšie športy. Pri vydaní nových modelov nebudú potrebné žiadne zmeny kódu v spracovateľskom reťazci.

Ako povoliť alebo zakázať detekciu objektov

Režim detekcie (globálne nastavenie)

1. Otvorte Nastavenia → Video a zachytávanie.
2. Prejdite na sekciu Rozšírené nastavenia.
3. Nájdite rozbaľovací zoznam Režim detekcie.
   • MultiClass — spúšťa detekciu osôb AJ detekciu objektov. Toto je predvolené nastavenie.
   • HumanOnly — spúšťa iba detekciu osôb. Použite túto možnosť, ak nepotrebujete sledovanie palice a loptičky alebo ak máte problémy s výkonom.
4. Zmena režimu automaticky reštartuje detekčné služby. Reštart aplikácie nie je potrebný.

Prepínač Povoliť detekciu objektov (pre jednotlivú reláciu)

Keď je Režim detekcie nastavený na MultiClass, je k dispozícii samostatný prepínač Povoliť detekciu objektov. Jeho vypnutím dočasne preskočíte detekciu objektov pre aktuálnu reláciu bez zmeny globálneho Režimu detekcie. Tento prepínač je sivý (neaktívny), keď je Režim detekcie nastavený na HumanOnly.

Zobrazenie/skrytie prekrytí v zobrazovacom okne

Pomocou panela s nástrojmi nad zobrazovacím oknom môžete nezávisle zobraziť alebo skryť prekrytia palice a loptičky:

• Show Club — prepína prekrytie kľúčových bodov a kostí palice.
• Show Ball — prepína prekrytie gule reprezentujúcej loptičku.

Tieto prepínače sa prejavia okamžite bez reštartovania detekcie a ich nastavenie sa zachová aj medzi reláciami.

Požiadavky na hardvér

Detekcia objektov vyžaduje viac pamäte GPU než záznam pohybu iba pre telo.

Podrobné informácie a úplný zoznam kompatibilných grafických kariet nájdete v časti Odporúčané špecifikácie počítača .

Na systémoch s menej ako 8 GB VRAM sa aplikácia môže automaticky prepnúť späť na detekciu iba osôb. Ak k tomu dôjde, v časti Nastavenia → Video a zachytávanie sa zobrazí upozorňujúci banner.

Integrovaná grafika Intel (UHD 620/770): Na konfiguráciách s integrovanou grafikou Intel (iGPU) je detekcia objektov automaticky vypnutá, pretože pridelený rozpočet VRAM od operačného systému (zvyčajne 400 – 800 MB) nie je dostatočný. Záznam pohybu iba pre telo naďalej funguje normálne.

Čo vidíte pri prehrávaní

Keď otvoríte záber, ktorý bol nahratý s povolenou detekciou objektov:

• Prekrytia palice a loptičky sa zobrazujú na časovej osi spolu s kostrou tela.
• Prekrytia zostávajú synchronizované so snímkou videa pri posúvaní po časovej osi.
• Detekcie s nízkou mierou istoty postupne blednú namiesto toho, aby preskočili na nesprávne pozície.
• Viditeľnosť palice a loptičky môžete nezávisle prepínať pomocou ovládacích prvkov na paneli s nástrojmi opísaných vyššie.

Zábery nahraté predtým, než bola detekcia objektov k dispozícii, alebo so zapnutým Režimom detekcie HumanOnly, zobrazujú iba kostru tela. Na ich zobrazenie nie je potrebné žiadne opätovné spracovanie, otvárajú sa normálne.

Ak chcete k existujúcemu záberu pridať údaje z detekcie objektov, otvorte nahrávku v režime analýzy, kliknite na tlačidlo Záznam pohybu na paneli s nástrojmi a zvoľte Reprocess MoCap. Týmto sa nad nahratými snímkami znova spustí detekcia tela aj objektov.

Riešenie problémov

Prekrytia palice a loptičky sa nezobrazujú

1. Skontrolujte, či je v časti Nastavenia → Video a zachytávanie → Režim detekcie nastavená hodnota MultiClass.
2. Skontrolujte, či je zapnutý prepínač Povoliť detekciu objektov.
3. Skontrolujte, či sa v nastaveniach nezobrazuje upozorňujúci banner „Modely na sledovanie palice a loptičky zatiaľ nie sú k dispozícii". Ak áno, v priečinku komponentov chýbajú potrebné súbory modelov. Preinštalujte komponenty na záznam pohybu podľa časti Sprievodca inštaláciou komponentov .

Upozornenie na VRAM / automatický prechod na detekciu iba osôb

Aplikácia zaznamená upozornenie a prepne sa na detekciu iba osôb, keď:

• DirectML pri spustení služby nahlási menej ako 600 MB voľnej VRAM, alebo
• systém má integrovanú grafiku Intel.

Riešenie: uistite sa, že nie sú spustené žiadne ďalšie aplikácie náročné na GPU, a skontrolujte, či vaša grafická karta spĺňa odporúčané parametre pre detekciu MultiClass (minimálne 8 GB VRAM).

Prekrytia sa zobrazujú pri nesprávnej aktivite

Detekcia objektov je aktívna iba pre aktivity typu golf. Ak nahrávate iný než golfový šport a nevidíte žiadne prekrytia palice ani loptičky, ide o očakávané správanie. Pri negolfových aktivitách sa nastavenie Režimu detekcie v Nastaveniach nezobrazuje.

Nízka presnosť detekcie alebo blikajúce prekrytia

• Uistite sa, že palica a loptička sú dobre osvetlené a nie sú počas väčšej časti švihu zakryté.
• Skúste znížiť snímkovú frekvenciu kamery, aby sa znížilo zaťaženie systému (pozrite Nastavenia záznamu pohybu ).
• Ak zaznamenávate falošné detekcie z objektov v pozadí, zvýšte prah istoty detekcie v časti Nastavenia → Video a zachytávanie → Rozšírené nastavenia.
• Pri trvalo slabej detekcii skúste prepnúť Execution Provider na DirectML, keďže má najširšiu kompatibilitu s hardvérom.

Po aktualizácii chýbajú súbory modelov

Ak aktualizácia aplikácie zmení požadované verzie modelov, upozorňujúci banner sa v nastaveniach znova zobrazí. Komponenty preinštalujte podľa časti Sprievodca inštaláciou komponentov .

Pozrite tiež: Sprievodca záznamom pohybu · Nastavenia záznamu pohybu · Systémové požiadavky