การตรวจจับวัตถุ — การติดตามไม้กอล์ฟและลูกกอล์ฟ

การตรวจจับวัตถุคืออะไร

เมื่อเปิดใช้งานการตรวจจับวัตถุ Swing Catalyst จะตรวจจับไม้กอล์ฟและลูกกอล์ฟในทุกเฟรมของวิดีโอ และวาดภาพซ้อนแบบ 3 มิติทับบนภาพแสดงโครงกระดูก คุณจะเห็น:

• ภาพซ้อนไม้กอล์ฟ — จุดสำคัญ 5 จุดตามแนวก้าน (หัวไม้ด้านบน หัวไม้ด้านล่าง ก้านด้านล่าง กึ่งกลาง และปลายด้ามจับ) เชื่อมต่อกันด้วยเส้นไล่สี สีจะไล่จากสีเหลืองที่หัวไม้ไปเป็นสีฟ้าอมเขียวที่ด้ามจับ เพื่อให้เห็นทิศทางได้ทันที
• ภาพซ้อนลูกบอล — ทรงกลมสีขาวหนึ่งลูกที่ตำแหน่งลูกบอลที่ตรวจพบ

ภาพซ้อนจะปรากฏทั้งในมุมมองกล้องสด และระหว่างการเล่นกลับเทคที่บันทึกไว้ เทคที่บันทึกโดยไม่ได้เปิดใช้งานการตรวจจับวัตถุจะเล่นกลับตามปกติ โดยแสดงเฉพาะโครงกระดูกร่างกายเท่านั้น

เหตุใดการตรวจจับวัตถุจึงรองรับเฉพาะกอล์ฟ

ปัจจุบันการตรวจจับวัตถุรองรับเฉพาะกีฬากอล์ฟเท่านั้น โมเดลที่ใช้งานอยู่เบื้องหลัง (RTMDet-M สำหรับการตรวจจับวัตถุ และ RTMPose-M สำหรับการประมาณท่าทางของไม้กอล์ฟ) ได้รับการฝึกมาโดยเฉพาะสำหรับอุปกรณ์กอล์ฟ การขยายไปยังกีฬาชนิดอื่น (เบสบอล เทนนิส) ต้องใช้โมเดลที่ผ่านการฝึกเพิ่มเติม ซึ่งยังไม่มีให้ใช้งานในขณะนี้ สถาปัตยกรรมได้รับการออกแบบให้รองรับกีฬาชนิดอื่นเพิ่มเติมได้ในอนาคต จึงไม่จำเป็นต้องแก้ไขโค้ดในไปป์ไลน์เมื่อมีการเปิดตัวโมเดลใหม่

วิธีเปิดหรือปิดใช้งานการตรวจจับวัตถุ

Detection Mode (การตั้งค่าส่วนกลาง)

1. เปิด Settings → Video & Capture
2. เลื่อนไปที่ส่วน Advanced Settings
3. หาเมนูดรอปดาวน์ Detection Mode
   • MultiClass — รันทั้งการตรวจจับบุคคลและการตรวจจับวัตถุ นี่คือค่าเริ่มต้น
   • HumanOnly — รันเฉพาะการตรวจจับบุคคลเท่านั้น ใช้ตัวเลือกนี้หากคุณไม่ต้องการติดตามไม้กอล์ฟและลูกบอล หรือหากพบปัญหาด้านประสิทธิภาพ
4. การเปลี่ยนโหมดจะรีสตาร์ทบริการตรวจจับโดยอัตโนมัติ ไม่จำเป็นต้องรีสตาร์ทแอปพลิเคชัน

สวิตช์เปิดใช้งานการตรวจจับวัตถุ (ต่อเซสชัน)

เมื่อ Detection Mode ถูกตั้งค่าเป็น MultiClass จะมีสวิตช์แยกต่างหากชื่อ เปิดใช้งานการตรวจจับวัตถุ ให้ใช้งาน ปิดสวิตช์นี้เพื่อข้ามการตรวจจับวัตถุชั่วคราวสำหรับเซสชันปัจจุบัน โดยไม่ต้องเปลี่ยน Detection Mode ในระดับส่วนกลาง สวิตช์นี้จะเป็นสีเทา (ใช้งานไม่ได้) เมื่อ Detection Mode เป็น HumanOnly

แสดง / ซ่อนภาพซ้อนในวิวพอร์ต

ใช้แถบเครื่องมือด้านบนวิวพอร์ตเพื่อแสดงหรือซ่อนภาพซ้อนไม้กอล์ฟและลูกบอลแยกจากกัน:

• Show Club — สลับการแสดงภาพซ้อนจุดสำคัญและเส้นโครงของไม้กอล์ฟ
• Show Ball — สลับการแสดงภาพซ้อนทรงกลมของลูกบอล

การสลับเหล่านี้มีผลทันทีโดยไม่ต้องรีสตาร์ทการตรวจจับ และจะถูกจดจำไว้ในเซสชันถัดไป

ข้อกำหนดฮาร์ดแวร์

การตรวจจับวัตถุต้องใช้หน่วยความจำ GPU มากกว่าการจับภาพเคลื่อนไหวแบบตรวจจับร่างกายเท่านั้น

ดูรายละเอียดทั้งหมดและรายการการ์ดจอที่รองรับทั้งหมดได้ที่ข้อกำหนดคอมพิวเตอร์ที่แนะนำ .

ในระบบที่มี VRAM น้อยกว่า 8 GB แอปพลิเคชันอาจสลับกลับไปใช้การตรวจจับเฉพาะบุคคลโดยอัตโนมัติ หากเกิดกรณีนี้ แบนเนอร์แจ้งเตือนจะปรากฏขึ้นใน Settings → Video & Capture

กราฟิกในตัวของ Intel (UHD 620/770): การตรวจจับวัตถุจะถูกปิดใช้งานโดยอัตโนมัติบนอุปกรณ์ที่ใช้ iGPU ของ Intel เนื่องจากงบประมาณ VRAM ที่ระบบปฏิบัติการจัดสรรให้ (โดยทั่วไป 400–800 MB) ไม่เพียงพอ การจับภาพเคลื่อนไหวแบบตรวจจับเฉพาะบุคคลยังคงทำงานได้ตามปกติ

สิ่งที่คุณเห็นในการเล่นกลับ

เมื่อคุณเปิดเทคที่บันทึกโดยเปิดใช้งานการตรวจจับวัตถุ:

• ภาพซ้อนไม้กอล์ฟและลูกบอลจะปรากฏบนไทม์ไลน์ควบคู่กับโครงกระดูกร่างกาย
• ภาพซ้อนจะซิงค์กับเฟรมวิดีโอตลอดเวลาเมื่อคุณเลื่อนไทม์ไลน์
• การตรวจจับที่มีความมั่นใจต่ำจะค่อยๆ จางหายไป แทนที่จะกระโดดไปยังตำแหน่งที่ไม่ถูกต้อง
• คุณสามารถสลับการแสดงผลไม้กอล์ฟและลูกบอลแยกจากกันได้โดยใช้ปุ่มควบคุมบนแถบเครื่องมือตามที่อธิบายไว้ข้างต้น

เทคที่บันทึกไว้ก่อนที่จะมีการตรวจจับวัตถุ หรือเทคที่บันทึกโดยตั้งค่า Detection Mode เป็น HumanOnly จะแสดงเฉพาะโครงกระดูกร่างกายเท่านั้น ไม่จำเป็นต้องประมวลผลใหม่เพื่อดูเทคเหล่านี้ เทคจะเปิดขึ้นได้ตามปกติ

หากต้องการเพิ่มข้อมูลการตรวจจับวัตถุลงในเทคที่มีอยู่แล้ว ให้เปิดการบันทึกในโหมดวิเคราะห์ คลิกปุ่ม การจับภาพเคลื่อนไหว บนแถบเครื่องมือ แล้วเลือก Reprocess MoCap ซึ่งจะรันการตรวจจับร่างกายและวัตถุใหม่อีกครั้งบนเฟรมที่บันทึกไว้

การแก้ไขปัญหา

ภาพซ้อนไม้กอล์ฟและลูกบอลไม่ปรากฏ

1. ตรวจสอบว่า Settings → Video & Capture → Detection Mode ถูกตั้งค่าเป็น MultiClass
2. ตรวจสอบว่าเปิดสวิตช์ เปิดใช้งานการตรวจจับวัตถุ ไว้แล้ว
3. ตรวจสอบว่ามีแบนเนอร์แจ้งเตือน “Club and ball tracking models are not yet available” ปรากฏอยู่ในหน้าตั้งค่าหรือไม่ หากมี แสดงว่าไฟล์โมเดลที่จำเป็นขาดหายไปจากไดเรกทอรีส่วนประกอบ ให้ติดตั้งส่วนประกอบของการจับภาพเคลื่อนไหวใหม่ตามคู่มือการติดตั้งส่วนประกอบ .

คำเตือน VRAM / การสลับกลับไปตรวจจับเฉพาะบุคคลโดยอัตโนมัติ

แอปพลิเคชันจะบันทึกคำเตือนและสลับกลับไปใช้การตรวจจับเฉพาะบุคคลเมื่อ:

• DirectML รายงานว่ามี VRAM ว่างน้อยกว่า 600 MB ในขณะที่บริการเริ่มทำงาน หรือ
• ระบบมีกราฟิกในตัว (integrated GPU) ของ Intel

วิธีแก้ไข: ตรวจสอบว่าไม่มีแอปพลิเคชันอื่นที่ใช้ GPU หนักทำงานอยู่ และตรวจสอบว่าการ์ดจอของคุณตรงตามข้อกำหนดที่แนะนำ สำหรับการตรวจจับแบบ MultiClass (VRAM ขั้นต่ำ 8 GB).

ภาพซ้อนปรากฏสำหรับกิจกรรมที่ไม่ถูกต้อง

การตรวจจับวัตถุจะทำงานเฉพาะกับกิจกรรมกอล์ฟเท่านั้น หากคุณกำลังบันทึกกีฬาชนิดอื่นที่ไม่ใช่กอล์ฟ และไม่เห็นภาพซ้อนไม้กอล์ฟหรือลูกบอล นี่คือพฤติกรรมปกติที่คาดไว้ การตั้งค่า Detection Mode จะไม่แสดงในหน้าตั้งค่าสำหรับกิจกรรมที่ไม่ใช่กอล์ฟ

ความแม่นยำในการตรวจจับต่ำ หรือภาพซ้อนกะพริบ

• ตรวจสอบให้แน่ใจว่าไม้กอล์ฟและลูกบอลได้รับแสงเพียงพอ และไม่ถูกบดบังในช่วงสำคัญของสวิง
• ลองลดอัตราเฟรมของกล้องเพื่อลดภาระของระบบ (ดูการตั้งค่าการจับภาพเคลื่อนไหว ).
• เพิ่มค่าเกณฑ์ความมั่นใจในการตรวจจับใน Settings → Video & Capture → Advanced Settings หากคุณพบการตรวจจับที่ผิดพลาดจากวัตถุพื้นหลัง
• หากการตรวจจับยังไม่ดีขึ้นอย่างต่อเนื่อง ให้ลองเปลี่ยน Execution Provider เป็น DirectML เนื่องจากรองรับฮาร์ดแวร์ได้กว้างขวางที่สุด

ไฟล์โมเดลหายไปหลังจากอัปเดต

หากการอัปเดตแอปพลิเคชันเปลี่ยนแปลงเวอร์ชันของโมเดลที่จำเป็น แบนเนอร์แจ้งเตือนจะปรากฏขึ้นอีกครั้งในหน้าตั้งค่า ให้ทำตามคู่มือการติดตั้งส่วนประกอบ เพื่อติดตั้งส่วนประกอบใหม่.

ดูเพิ่มเติม: คู่มือการจับภาพเคลื่อนไหว · การตั้งค่าการจับภาพเคลื่อนไหว · ข้อกำหนดของระบบ