Olga C. Santos: "Na liña de investigación PhyUM, na UNED investigamos sobre computación do movemento humano para ofrecer axuda personalizada ao usuario"

7 de mayo de 2021

A doutora Santos expuxo desde o Centro de IA de Ourense os retos que ofrecen os deportes para o desenvolvemento de sistemas intelixentes que faciliten a súa práctica personalizada e os avances realizados con técnicas de IA sobre datos recollidos con sensores inerciais.

OURENSE, 7 de maio de 2021.- Olga C. Santos comezou sinalando que “para falar da IA no deporte basta simplemente con ler as noticias”. Mostrou unha noticia do xornal El País de hai 4 semanas sobre como usa Carolina Marín a IA para ser campioa de bádminton. “Segundo comentan no artigo, o equipo de preparación de Carolina Marín combina datos obtidos a partir de imaxes da execución dos movementos e coa monitoraxe da súa actividade física con sensores e esa información procésana con algoritmos de IA e preséntana visualmente segundo as súas necesidades de información”. Desta forma, engadiu a relatora, utilizan a IA para facer unha análise avanzado dos datos que recollen, que lles permite:

Mellorar a súa técnica executando os golpes á perfección para corrixir os movementos
Planificar o adestramento, tendo en conta se durmiu ben, se se recuperou do esforzo do día anterior, etc.
Recrear o partido antes de xogalo, con realidade virtual
Adaptar o plan de xogo ás características do seu rival/adversario
Preparar a táctica para converter unha xogada desfavorable en favorable segundo os patróns de xogo identificados
Previr lesións, parando cando hai perda de desprazamento
Definir a estratexia deportiva de forma global

“Pero non só os deportistas de elite como Carolina que leva desde os 14 anos nun CAR (centro de alto rendemento) poden facer uso de tecnoloxía intelixente para mellorar na práctica deportiva. A prensa tamén se fai eco de aplicacións que permiten que calquera deportista amateur use o seu móbil para gravarse mentres practica o seu deporte favorito e recibir información en tempo real sobre iso. Por exemplo, as aplicacións pódenche dicir o tipo de golpe, a velocidade, a eficacia da execución, e a localización do xogador e a pelota durante un partido de tenis ou os tiros a canastra, a altura dos saltos do xogador e a eficacia dos lanzamentos adestrando ao baloncesto”, indicou a doutora Santos.

Pero hai máis porque a información que proporcionan estas apps ao deportista para mellorar a súa práctica, as puntuacións obtidas “poden compartirse con outros usuarios para competir con eles virtualmente, favorecendo así a práctica continuada do deporte. E se o xogador ten bos rexistros e deixa os datos en aberto, poden ser contactados por equipos ou patrocinadores que busquen novos talentos deportivos”.

Olga C. Santos manifestou que as noticias de prensa tamén mostran que se usa a IA para mellorar a experiencia dos espectadores de eventos deportivos, tanto para facilitar información estatística en tempo real sobre o que ocorre no campo de xogo como seleccionando de forma automática fragmentos de vídeo coas accións de interese que ocorreron. “E tamén recollen que a IA facilita unha experiencia inmersiva na práctica deportiva, por exemplo, para xogar ao tenis de mesa contra un robot ou facer ciclismo de forma virtual simulando un percorrido polo campo desde o salón de casa. Mesmo mostran que a IA pode servir para crear novos deportes, como o Speeedgate que se orixinou a partir das regras doutros 400 deportes”.

Non se pode falar de deporte e non falar de fútbol. E obviamente, é quizá neste deporte onde máis aplicacións da IA están a utilizarse, e así mostrou a relatora unha pequena selección de noticias respecto diso. “Por exemplo, para xerar de forma automática resumos dos partidos coas xogadas de interese, analizar datos sobre os xogadores, sensorizar as espinilleras para recoller datos dos futbolistas durante o partido, apoiar a procura de fichaxes para cubrir as necesidades dos equipos ou elaborar menús adaptados ás necesidades de cada deportista. A propia Liga está a se apoiar na IA para cubrir diversos ámbitos relacionados cos medios de comunicación, os afeccionados, a contorna e o rendemento dos futbolistas”.

Ás veces a IA falla

“Hai uns meses foi viral a retransmisión dun partido de fútbol da segunda división escocesa na que se usaba un sistema intelixente para manexar automaticamente as cámaras co obxectivo de seguir ao balón para así encadrar as accións relevantes do partido. Pero non contaban con que o asistente de banda fose calvo e iso fixo que os algoritmos detectasen a súa cabeza coma se fose e balón, co cal os espectadores se perderon a maioría das xogadas por non estar as cámaras enfocadas á zona de interese do xogo, senón á posición do linier na banda”, contou a investigadora da UNED. A pesares desta anécdota, as noticias que foi comentando amosan claramente que a IA no deporte “é unha realidade que veu para quedar e ofrece todo tipo de solucións, aínda que de cando en cando explican e comparten os algoritmos que utilizan polo seu valor comercial. Para coñecer que técnicas de IA utilízanse no ámbito deportivo, pódese consultar bibliografía científica”.

Desde o punto de vista da aprendizaxe de habilidades motoras, que é a liña de investigación principal de Olga C. Santos actualmente, o que máis lle interesa é ver como se usa a IA para axudar no adestramento deportivo. Así mostrou os resultados dunha revisión sistemática realizada en marzo do ano pasado por dous investigadores eslovacos sobre 109 traballos científicos relacionados co uso da IA para desenvolver aplicacións intelixentes que faciliten a práctica deportiva ao longo de todo o ciclo de adestramento deportivo. Iso involucra tanto ao deportista como ao seu adestrador, empezando pola planificación da tempada, a realización dos exercicios co seu correspondente recollida de datos, o control dos exercicios realizados en relación á planificación proposta e a avaliación do rendemento do deportista.

“Os resultados do seu estudo indican que máis da metade dos traballos analizados utilizan técnicas de minería de datos, principalmente máquinas de vector soporte, redes neuronais, k- Nearest Neighbour e Random Forest. En canto ao ámbito deportivo, cóbrense máis de 30 deportes, sendo o máis común o fútbol, seguido moi de preto polo atletismo. Na súa análise tamén inclúe algunhas actividades como o aikido, o karate, o kick- boxing e o tai-chi que están dacabalo entre os deportes de contacto, as artes marciais e a defensa persoal”.

Noutra revisión sistemática máis completa realizada tres anos antes, en 2017, uns investigadores italianos analizaron en detalle 286 estudos e seleccionaron 77 deles para a súa análise final co fin de identificar os dispositivos de recollida e as tecnoloxías de procesamento utilizadas para avaliar o rendemento deportivo. Atoparon que se poden colocar sensores para monitorar a actividade física non só sobre calquera parte do corpo mediante bandas elásticos ou aproveitando o equipamento dos deportistas, como as zapatillas, senón tamén sobre os instrumentos que poden utilizarse para a súa práctica, como raquetas ou pelotas. “En canto ao procesamento sobre os datos recolleitos, dividírono en 4 grupos segundo o obxectivo do mesmo: Análise da técnica, Análise do partido, Avaliación da capacidade motora do deportista e Clasificación da actividade. Pero só identificaron o uso de algoritmos de IA para clasificar o tipo de actividade realizada. Por iso, na parte de futuros desenvolvementos estes investigadores indican a necesidade de aplicar aprendizaxe automática sobre os datos recolleitos polos sensores para recoñecer e avaliar a calidade das técnicas executadas e no seu caso proporcionar feedback intelixente aos usuarios por exemplo, sobre como continuar a práctica deportiva ou axustar o equipamento deportivo. Propoñen utilizar algoritmos de clasificación de patróns na actividade motora desenvolvida, como redes neuronais, modelos ocultos de Markov e máquinas de vector soporte”, expuxo a relatora. Na súa análise identificaron 50 deportes diferentes que agruparon en varias categorías. Como na revisión anterior, incluíron algunhas artes marciais, como o karate, o taekwondo e as artes marciais mixtas.

Olga C. Santos, presentou nese contexto a liña de investigación PhyUM, centrada no modelado de usuario físico, que desenvolve desde 2014 na UNED. “En PhyUM investigamos sobre a computación do movemento humano para ofrecer unha axuda personalizada ao usuario. O principal obxectivo é a aprendizaxe de habilidades motoras durante a realización dunha actividade física de forma que se vaia mellorando a técnica, pero tamén se poden abordar outros obxectivos, como apoiar a aprendizaxe kinestésico axudando a asimilar conceptos teóricos, o control de movementos involuntarios para a xestión emocional e mesmo aspectos máis relacionados coa saúde, como a prevención de lesións, apoiar a rehabilitación motora e favorecer o envellecemento activo”. Para iso, están a desenvolver sistemas que monitoran en tempo real os movementos realizados, comparan a execución realizada coa esperada segundo o modelo obtido a partir dun practicante experto e ofrecen feedback personalizado cando sexa necesario.

“Esta formulación está baseada nunha análise da estado da arte que publiquei en 2016 nun número especial sobre o futuro da tecnoloxía no ámbito da aprendizaxe para os próximos 25 anos, onde propuxen un framework de desenvolvemento de sistemas de aprendizaxe psicomotores en 4 fases: sensado do movemento, modelado do movemento, deseño do feedback e entrega do feedback”.

“Aínda que este enfoque pódese aplicar a calquera tipo de actividade psicomotora, en PhyUM centrámonos principalmente nas artes marciais xa que consisten en sistema de movementos predefinidos e estruturado por niveis que seguen as leis da Física e proporcionan un patrón claro contra o que comparar. Tamén achegan unha serie de beneficios físicos como mellora da capacidade cardiovascular, do sistema psicomotriz, elasticidade muscular; atrasa envellecemento, e de actitude, xa que facilita desenvolve unha vida disciplinada e sentir maior seguridade. En 2017 realicei unha revisión bibliográfica dos sistemas existentes para a aprendizaxe das artes marciais. “O resultado da devandita revisión pode resumirse en que a maioría de solucióneas actuais tratan de axudar ao usuario a replicar as posturas e xestos que realiza o mestre con tecnoloxía óptica proporcionando feedback visual non personalizado en base ao que realizan os usuarios. Chamoume a atención que os movementos analizados por estes sistemas eran bastante sinxelos. Practicamente a metade dos traballos centrábanse en posturas de Tai-chi, pouco dinámicas, e todo o máis chegaban a movementos individuais, como as katas en karate. Pero ningún abordaba a monitoraxe de practicantes interactuando en parellas, como nos combates de karate ou nas técnicas de Aikido para ofrecerlles un feedback personalizado”, indica a relatora.

“Analicei tamén as diferentes formas de recollida de datos para detección dos movementos. Aínda que había algúns traballos que utilizaban sensores inerciales, a maioría utilizaban cámaras para gravar ao participante. Algunhas requiren o uso de marcadores no participante para poder detectar o movemento, outras como a Kinect utilizan sensores infravermellos para obter o esqueleto do practicante. E nun traballo propoñíase o uso de drons para poder gravar os movementos do practicante desde diferentes ángulos. A entrega do feedback era maioritariamente visual. Algúns incluían gamificación durante a práctica ou situaban ao practicante nunha contorna virtual. Con todo, algún traballo propoñía o uso de feedbadk vibrotáctil como o brazo sensorizado, ou a entrega combinada de información visual e sonora ou visual e táctil indicando o lugar do fallo ou a intensidade”.

O que si se atopou na revisión foi algún software de adestramento por parellas pero que non recolle datos dos participantes, senón que simplemente son gravacións animadas de como executar as técnicas.

Con todo, recentemente están a empezar a xurdir sistemas para a aprendizaxe de artes marciais que recollen datos durante a práctica e fan uso de contornas de realidade virtual para que a experiencia do practicante sexa máis inmersiva. “Pero non integran técnicas de IA para personalizar o proceso de aprendizaxe”, apunta a doutora.

En canto ao procesamento dos datos, en 2019 analizou as técnicas de IA que se utilizaban para modelar movementos en actividades psicomotoras, incluíndo as artes marciais e centreime nos sinais recollidos polos sensores inerciales, identificando dous tipos de análises para o modelado do movemento:

recoñecer movementos concretos nun fluxo de datos, para o que se adoitan utilizar algoritmos que representan sucesións de estados como os modelos ocultos de Markov e técnicas de axuste temporal dinámico e
algoritmos de clasificación para avaliar a aprendizaxe dos movementos, como máquinas de vector soporte, k- Nearest Neighbor e árbores de decisión

Tres traballos de investigación

A continuación presentou tres traballos que se están desenvolvendo na liña de investigación PhYUM en relación ás artes marciais: Phy+ Aik, KSAS e KUMITRON: Phy+ Aik (que combina Física e Aikido) xorde dunha colaboración co Físico Alberto Corbi, Aikidoca como Olga C. Santos e profesor da UNIR. En Phy+ Aik estamos sensorizando a práctica de Aikido, que é unha arte marcial defensiva que aproveita a forza do contrario para desfacerse dun ataque mediante movementos circulares. Tras observar que os principiantes realizan os movementos de forma máis caótica que os expertos e iso reflíctese nos sinais inerciales, decidimos construír un dataset con dous movementos individuais característicos de Aikido, shikko (andar de xeonllos) e o primeiro suburi que é un golpeo co bokken, espada de madeira. En shikko os participantes levaban un móbil para medir a aceleración e a rotación no punto que se denomina hara que vén corresponder co centro de gravidade do corpo humano, e no bokken puxemos un acelerómetro na súa punta para monitorar o seu movemento. Esta dataset, que conta con datos de case 200 participantes, está a ser utilizado por Miguel Ángel Portaz no seu TFM para ver que características son máis preditivas á hora de modelar a correcta execución dos movementos”.

“Con Phy+ Aik tamén estamos a explorar a denominada aprendizaxe incorporada e para iso fixemos un estudo para ver se as técnicas de Aikido poden servir para explicar conceptos de Física, validando por exemplo a súa utilidade para entender o momento angular ao virar no desprazamento en shikko. O obxectivo final de Phy+Aik é construír unha ferramenta que facilite a produción de material educativo innovador que combine vídeos de técnicas de Aikido con datos inerciales recolleitos simultaneamente por sensores inerciales e cámaras para facilitar a aprendizaxe de conceptos de Física”, apuntou a doutora Olga C. Santos.

A continuación presentou KSAS, que é o resultado do TFM de Alberto Casas-Ortiz que lle dirixiu no Mestrado en Investigación en IA da UNED “e que agora estamos a estender na súa Tese de Doutoramento. A idea é facer un sistema psicomotor con técnicas de IA e RV/RA (realidade virtual e aumentada) que facilite a aprendizaxe personalizada desde casa de habilidades motoras asociadas ás artes marciais”. Olga C. Santos mostrou os movementos característicos do Blocking Set 1 que é o utilizado para desenvolver a app que que presentou no seu relatorio. Os movementos ser recollen cun móbil suxeito ao brazo. “O funcionamento do sistema consiste en guiar ao alumno na execución dos 5 movementos na orde establecida. Para iso, detecta o movemento a partir de sinais inerciales recollidas polos sensores do móbil, clasifica os movementos utilizando unha rede neuronal recorrente LSTM (long short- term memory), se é correcto pide o seguinte movemento e se non o é, pide que o repita. En cada paso dá feedback auditivo ou auditivo e táctil, segundo corresponda”.

Monitorar un combate de karate

“A Jon Echeverría propúxenlle para o PFG o reto de desenvolver unha infraestrutura que permitise monitorar un combate de karate, á que chamamos KUMITRON e que estamos a aproveitar actualmente o Mestrado en IA para enriquecela con soporte intelixente para axudar aos practicantes de combates de karate a mellorar a súa técnica e estratexia”, engadiu a profesora e investigadora da UNED.

“KUMITRON desenvolveuse seguindo o framework para construír sistemas psicomotores intelixentes de 4 fases que propuxen en 2016. Primeiramente, desenvolveuse unha infraestrutura hardware consistente en sensores inerciales e fisiolóxicos e un dron para gravar ao participante polo tatami. Esta información utilizouse para modelar o movemento por exemplo, cun vector dinámico que mostra a posición relativa dos atacantes e filtros para axudar ao karateka a anticipar por onde van vir os golpes. Pero fáltanos integrar e adestrar máis soporte intelixente como técnicas de minería de datos para obter indicadores de rendemento ou facer predicións sobre o resultado do combate, así como algoritmos de visión artificial para construír un esqueleto que modele os movementos dos karatekas. Por iso, para o deseño do feedback estamos a usar a técnica do Mago de Oz que permite simular a intelixencia do sistema para traballar en paralelo na entrega do feedback, que de momento é oral e visual”.

KUMITRON foi presentado no congreso Intelligent User Interfaces (IUI 2021), e permite visualizar datos fisiolóxicos e inerciales en tempo real, así como mostrar vídeos do combate tanto en cru como filtrados, almacenar os datos recolleitos nunha base de datos, calcular indicadores de rendemento con técnicas de IA e dar instrucións aos participantes coa estratexia para o combate. Neste relatorio foi posible ver un vídeo elaborado por Jon para comprobar como funciona. “Con esta infraestrutura, e a pesar das limitacións que supón a situación actual de pandemia, realizamos un estudo preliminar para ver se os filtros de visión artificial poden axudar a anticipar o golpe do contrario nun combate de karate, o cal pode ter interese para adestrar a visión periférica dos practicantes. O artigo con este estudo acaba de ser aceptado para a súa publicación no congreso User Modeling, Adaptation and Personalization (UMAP 2021)”. Por último, a relatora dixo que se alguén ten interese en participar en PhyUM, pode facelo de varias formas. “Se estades a estudar na UNED, pódense expor PFG, TFM e Teses de Doutoramento sobre algúns dos puntos abertos que sexan do voso interese. Tamén se pode buscar financiamento público por exemplo, a través de proxectos de investigación ou contratos de FPI. E a través da OTRI pódense establecer convenios con empresas”.

Este ciclo de conferencias está apoyado por el Vicerrectorado de Investigación, Transferencia del Conocimiento y Divulgación Científica de la UNED.

A conferencia pode verse aquí.

UNED Ourense