Diplomová práce

Mapping 2D Skeleton Sequences from Speed Climbing Videos onto a Virtual Reference Wall

Bc. Jan Pokorný
Anotace

Lezení na rychlost je olympijský sport s rostoucím zájmem o automatickou analýzu výkonů. Navrhujeme, implementujeme a evaluujeme proces pro výpočet transformací videí lezení na rychlost na referenční zeď. Nejdříve je natrénován object detection model pro úkol detekce chytů. Dále jsou tyto detekce sledovány pomocí optických toků, a asociovány k referenční zdi pomocí algoritmu Coherent Point Drift. Nakonec …více

Abstract

Speed climbing is an Olympic sport with a growing interest in automatic performance analysis. We design, implement and evaluate a pipeline to compute transformations of speed climbing videos to a reference wall. First, an object detection model is fine-tuned for the task of hold detection. Next, the detections are tracked using optical flow and associated to the reference wall using Coherent Point …více

Zadání práce
Speed climbing will appear at the Olympic Games in Tokyo. It is an exciting discipline that offers excellent potential for computer-aided processing and analysis. With the recent advances in human pose estimation, it is possible to extract semi-precise 2D skeleton body joint configurations in individual frames of speed climbing videos. However, the estimated skeletons suffer from being extracted at various distances, angles, and zoom settings of the camera, which reduces their inter-comparability. Moreover, these factors change dynamically even during the single run, which hinders data analyzability. This work aims to neutralize these factors by transforming the absolute-view 2D skeletons of speed climbing performance to the virtual reference speed-climbing wall that has the exact proportions of its real-world counterpart. The work will focus on three main directions: i) hold detection, in order to detect salient handholds in the video, ii) hold tracking, to obtain coherent spatio-temporal tracks of individual holds, and iii) point set registration, to find the transformation between the sets of detected and virtual holds at any time moment of the video. Finally, the transformation can be applied to skeleton data to ensure their uniformity.
Práce zkontrolována:
19. 5. 2021 09:02, RNDr. Petr Eliáš, Ph.D.
Jazyk práce
angličtina angličtina
Termín obhajoby
25. 6. 2021
Práce byla úspěšně obhájena

Vedoucí

RNDr. Petr Eliáš, Ph.D.
KSUZD FI MU

Oponent

RNDr. Petra Budíková, Ph.D., učo 66445
KSUZD FI MU

Literatura

  • ELIÁŠ, Petr; Jan SEDMIDUBSKÝ a Pavel ZEZULA. Understanding the Limits of 2D Skeletons for Action Recognition. Multimedia Systems. 2021, roč. 27, č. 3, s. 547-561. ISSN 0942-4962. Dostupné z: https://doi.org/10.1007/s00530-021-00754-0.

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.