Objektu detektēšana — golfa nūjas un bumbiņas izsekošana

Kas ir objektu detektēšana?

Kad objektu detektēšana ir iespējota, Swing Catalyst detektē golfa nūju un bumbiņu katrā video kadrā un uzzīmē 3D pārklājumus virs skeleta vizualizācijas. Jūs redzat:

• Nūjas pārklājums — pieci atskaites punkti gar kātu (nūjas galvas augšpuse, galvas apakšpuse, kāta apakšdaļa, vidusdaļa un roktura gals), kas savienoti ar krāsu kodētām līnijām. Krāsas pāriet no dzeltenas pie nūjas galvas uz ciānzilu pie roktura, lai orientācija būtu uzreiz skaidra.
• Bumbiņas pārklājums — viena balta sfēra detektētajā bumbiņas pozīcijā.

Pārklājumi parādās gan tiešraides kameras skatā, gan ierakstu atskaņošanā. Ieraksti, kas veikti bez objektu detektēšanas, tiek atskaņoti normāli, izmantojot tikai ķermeņa vizualizāciju.

Kāpēc objektu detektēšana ir pieejama tikai golfam

Pašlaik objektu detektēšana atbalsta tikai golfu. Pamatā esošie modeļi (RTMDet-M objektu detektēšanai un RTMPose-M nūjas pozas noteikšanai) ir apmācīti tieši ar golfa aprīkojumu. Lai paplašinātu atbalstu citiem sporta veidiem (beisbols, teniss), nepieciešami papildu apmācīti modeļi, kas vēl nav pieejami. Arhitektūra ir izstrādāta tā, lai nākotnē atbalstītu papildu sporta veidus; kad tiks izlaisti jauni modeļi, konvejera kodā izmaiņas nebūs nepieciešamas.

Kā iespējot vai atspējot objektu detektēšanu

Detektēšanas režīms (globāls iestatījums)

1. Atveriet Iestatījumi → Video un ierakstīšana.
2. Ritiniet līdz sadaļai Papildu iestatījumi.
3. Atrodiet nolaižamo izvēlni Detektēšanas režīms.
   • MultiClass — veic gan personas detektēšanu, gan objektu detektēšanu. Tas ir noklusējuma iestatījums.
   • HumanOnly — veic tikai personas detektēšanu. Izmantojiet šo, ja jums nav nepieciešama nūjas un bumbiņas izsekošana vai ja rodas veiktspējas problēmas.
4. Režīma maiņa automātiski restartē detektēšanas pakalpojumus. Lietotnes restartēšana nav nepieciešama.

Slēdzis “Iespējot objektu detektēšanu” (katrai sesijai)

Kad Detektēšanas režīms ir iestatīts uz MultiClass, ir pieejams atsevišķs slēdzis Iespējot objektu detektēšanu. Izslēdziet to, lai pašreizējā sesijā uz laiku izlaistu objektu detektēšanu, nemainot globālo Detektēšanas režīmu. Šis slēdzis ir pelēkots, kad Detektēšanas režīms ir HumanOnly.

Pārklājumu rādīšana/slēpšana skata logā

Izmantojiet rīkjoslu virs skata loga, lai neatkarīgi rādītu vai slēptu nūjas un bumbiņas pārklājumus:

• Rādīt nūju — pārslēdz nūjas atskaites punktu un kaulu pārklājumu.
• Rādīt bumbiņu — pārslēdz bumbiņas sfēras pārklājumu.

Šie slēdži stājas spēkā nekavējoties, neatsāknējot detektēšanu, un saglabājas starp sesijām.

Aparatūras prasības

Objektu detektēšanai nepieciešams vairāk GPU atmiņas nekā kustības ierakstīšanai, kas aptver tikai ķermeni.

Pilnu informāciju un pilnu saderīgo videokaršu sarakstu skatiet Ieteicamās datora specifikācijas .

Sistēmās ar mazāk nekā 8 GB VRAM lietotne var automātiski pāriet uz tikai personas detektēšanu. Šādā gadījumā sadaļā Iestatījumi → Video un ierakstīšana parādīsies paziņojuma josla.

Intel integrētā grafika (UHD 620/770): objektu detektēšana Intel iGPU konfigurācijās tiek automātiski atspējota, jo operētājsistēmas piešķirtais VRAM budžets (parasti 400–800 MB) ir nepietiekams. Tikai personas kustības ierakstīšana turpina darboties normāli.

Ko redzat atskaņošanā

Kad atverat ierakstu, kas veikts ar iespējotu objektu detektēšanu:

• Laika skalā līdzās ķermeņa skeletam parādās nūjas un bumbiņas pārklājumi.
• Pārklājumi paliek sinhronizēti ar video kadru, ritinot laika skalu.
• Detektējumi ar zemu ticamību pakāpeniski izbalē, nevis pārlec uz nepareizām pozīcijām.
• Nūjas un bumbiņas redzamību var pārslēgt neatkarīgi, izmantojot iepriekš aprakstītos rīkjoslas vadīklas.

Ieraksti, kas veikti pirms objektu detektēšanas ieviešanas vai ar Detektēšanas režīmu iestatītu uz HumanOnly, rāda tikai ķermeņa skeletu. To skatīšanai atkārtota apstrāde nav nepieciešama: tie tiek atvērti normāli.

Lai esošam ierakstam pievienotu objektu detektēšanas datus, atveriet ierakstu analīzes režīmā, rīkjoslā noklikšķiniet uz pogas Kustības ierakstīšana un izvēlieties Atkārtoti apstrādāt MoCap. Tas atkārtoti veic gan ķermeņa, gan objektu detektēšanu ierakstītajos kadros.

Problēmu Novēršana

Nūjas un bumbiņas pārklājumi neparādās

1. Pārbaudiet, vai Iestatījumi → Video un ierakstīšana → Detektēšanas režīms ir iestatīts uz MultiClass.
2. Pārbaudiet, vai slēdzis Iespējot objektu detektēšanu ir ieslēgts.
3. Pārbaudiet, vai iestatījumos ir redzama paziņojuma josla “Club and ball tracking models are not yet available” (nūjas un bumbiņas izsekošanas modeļi vēl nav pieejami). Ja tā ir redzama, nepieciešamie modeļa faili trūkst komponentu direktorijā. Instalējiet kustības ierakstīšanas komponentus atkārtoti, sekojot Komponentu instalēšanas rokasgrāmatai .

VRAM brīdinājums / automātiska pāreja uz tikai personas detektēšanu

Lietotne reģistrē brīdinājumu un pāriet uz tikai personas detektēšanu, ja:

• DirectML pakalpojuma startēšanas brīdī uzrāda mazāk nekā 600 MB brīvas VRAM, vai
• sistēmā ir Intel integrētā grafikas karte.

Lai to novērstu: pārliecinieties, ka nedarbojas citas GPU intensīvi izmantojošas lietotnes, un pārbaudiet, vai jūsu videokarte atbilst ieteicamajām specifikācijām MultiClass detektēšanai (minimums 8 GB VRAM).

Pārklājumi parādās nepareizai aktivitātei

Objektu detektēšana ir aktīva tikai golfa aktivitātēm. Ja ierakstāt sporta veidu, kas nav golfs, un neredzat nūjas vai bumbiņas pārklājumus, tā ir gaidīta uzvedība. Iestatījumos aktivitātēm, kas nav golfs, Detektēšanas režīma opcija netiek rādīta.

Zema detektēšanas precizitāte vai mirgojoši pārklājumi

• Pārliecinieties, ka nūja un bumbiņa ir labi apgaismotas un ievērojamā svinga daļā nav aizsegtas.
• Mēģiniet samazināt kameras kadru nomaiņas ātrumu, lai mazinātu sistēmas slodzi (skatiet Kustības ierakstīšanas iestatījumi ).
• Ja fona objekti izraisa kļūdainus detektējumus, palieliniet detektēšanas ticamības slieksni sadaļā Iestatījumi → Video un ierakstīšana → Papildu iestatījumi.
• Ja detektēšana pastāvīgi ir vāja, mēģiniet pārslēgt Execution Provider uz DirectML, jo tam ir visplašākā aparatūras saderība.

Modeļa faili trūkst pēc atjaunināšanas

Ja lietotnes atjauninājums maina nepieciešamās modeļu versijas, paziņojuma josla iestatījumos parādīsies atkārtoti. Sekojiet Komponentu instalēšanas rokasgrāmatai , lai instalētu komponentus atkārtoti.

Skatiet arī: Kustības ierakstīšanas rokasgrāmata · Kustības ierakstīšanas iestatījumi · Sistēmas prasības