Ученые НИУ ВШЭ в Перми учат искусственный интеллект разбираться в фигурном катании

© iStock

Исследователи из НИУ ВШЭ в Перми разработали NeuroSkate — нейросеть, которая распознает движения фигуристов на видео и определяет правильность выполняемых элементов. Алгоритм успешно справляется с базовыми элементами, дальнейшее развитие модели позволит повысить точность распознавания сложных прыжков.

Фигурное катание — технически сложный вид спорта, где важны не только скорость и сила, но и точность движений. Тренеры привыкли полагаться на собственное зрение и опыт, но объективные данные могут дать больше информации: какие элементы удаются лучше, какие требуют доработки, как меняется техника со временем. Особенно в детском спорте, где группы достигают 15 человек и тренеру сложно одновременно следить за каждым спортсменом.

Команда проекта NeuroSkate (Анна Проворова, Дарья Семёнова, Людмила Гергерт, Софья Куликова, Ирина Полякова) решила проверить, как искусственный интеллект справится с анализом движений фигуристов. Исследователи выбрали шесть движений, которые проще всего определить по позе спортсмена: бильман, вращения, кораблик и несколько базовых одинарных прыжков — флип, риттбергер и лутц. Главная идея состояла в том, чтобы нейросеть могла автоматически находить фигуриста на видео, отслеживать его движения и подписывать, какой элемент выполняется.

«Звучит просто, но на практике это задача не из легких. Для обучения алгоритмов нужны большие базы данных, а их в открытом доступе почти нет. В исследованиях анализируют взрослых спортсменов, а вот видео юных фигуристов с размеченными движениями до сих пор никто не собирал», — рассказывает младший научный сотрудник Центра когнитивных нейронаук НИУ ВШЭ в Перми Анна Проворова. 

Проект реализовывался вместе со Спортивной школой олимпийского резерва «Орленок» в Перми, которая предоставила данные для обучения нейросети. 

Софья Куликова

«Пока фигуристы были на летнем перерыве, мы использовали записи соревнований и открытые видео. Позже удалось снять собственные кадры с тренировок, но только на телефон, без профессионального оборудования, что сказалось на качестве изображения и точности разметки», — рассказывает заведующая Центром когнитивных нейронаук НИУ ВШЭ в Перми Софья Куликова. 

Распознавание движений состоит из нескольких этапов. Сначала видео разбивается на кадры, на каждом из них выделяются ключевые точки на теле фигуриста. Затем последовательность из 60 кадров с отмеченными точками передается в нейросеть, которая анализирует движения спортсмена.

На первых этапах модель тестировали в бинарной классификации: ей предлагали различать движения попарно, например риттбергер и кораблик, без добавления других элементов. В таком формате система работала стабильно, показывая точность 72%. Но как только задача усложнялась, а элементов становилось больше, система начинала ошибаться. Исследователи продолжили разметку новых видео и дообучили модель, благодаря чему спортсменов стало легче распознавать на видео.

Параллельно разработчики создали веб-приложение, в котором можно загружать тренировочные видео и анализировать статистику конкретного спортсмена. В перспективе это может стать инструментом, который поможет тренерам следить за прогрессом учеников, не пересматривая часы записей.

Анна Проворова

«Мы надеемся продолжить работу над проектом, так как есть идеи, как улучшить алгоритм: самое первоочередное — собрать большую и качественную базу данных видеозаписей спортсменов. Также есть понимание, как  улучшить блок распознавания движений. Например, использовать графовые нейросети. Это очень перспективное направление. Одна из таких моделей (HD-GCN) показала впечатляющие результаты, которые были представлены на крупнейшей конференции по компьютерному зрению ICCV в 2023 году. Однако запустить ее на реальных данных проекта пока не удалось», — рассказывает Анна Проворова. 

Исследование выполнено в рамках программы «Приоритет-2030».