Olga C. Santos: "En la línea de investigación PhyUM, en la UNED investigamos sobre computación del movimiento humano para ofrecer ayuda personalizada al usuario"

7 de mayo de 2021

La doctora Santos expuso desde el Centro de IA de Ourense los retos que ofrecen los deportes para el desarrollo de sistemas inteligentes que faciliten su práctica personalizada y los avances realizados con técnicas de IA sobre datos recogidos con sensores inerciales.

OURENSE, 7 de mayo de 2021.- Olga C. Santos comenzó señalando que “para hablar de la IA en el deporte basta simplemente con leer las noticias”. Mostró una noticia del periódico El País de hace 4 semanas sobre cómo usa Carolina Marín la IA para ser campeona de bádminton. “Según comentan en el artículo, el equipo de preparación de Carolina Marín combina datos obtenidos a partir de imágenes de la ejecución de los movimientos y con la monitorización de su actividad física con sensores y esa información la procesan con algoritmos de IA y la presentan visualmente según sus necesidades de información”, expuso.

De esta forma, añadió la ponente, utilizan la IA para hacer un análisis avanzado de los datos que recogen, que les permite:

Mejorar su técnica ejecutando los golpes a la perfección para corregir los movimientos
Planificar el entrenamiento, teniendo en cuenta si ha dormido bien, si se ha recuperado del esfuerzo del día anterior, etc.
Recrear el partido antes de jugarlo, con realidad virtual
Adaptar el plan de juego a las características de su rival/contrincante
Preparar la táctica para convertir una jugada desfavorable en favorable según los patrones de juego identificados
Prevenir lesiones, parando cuando hay pérdida de desplazamiento
Definir la estrategia deportiva de forma global

“Pero no sólo los deportistas de élite como Carolina que lleva desde los 14 años en un CAR (centro de alto rendimiento) pueden hacer uso de tecnología inteligente para mejorar en la práctica deportiva. La prensa también se hace eco de aplicaciones que permiten que cualquier deportista amateur use su móvil para grabarse mientras practica su deporte favorito y recibir información en tiempo real sobre ello. Por ejemplo, las aplicaciones te pueden decir el tipo de golpe, la velocidad, la eficacia de la ejecución, y la ubicación del jugador y la pelota durante un partido de tenis o los tiros a canasta, la altura de los saltos del jugador y la eficacia de los lanzamientos entrenando al baloncesto”, indicó la doctora Santos.

Pero hay más porque la información que proporcionan estas apps al deportista para mejorar su práctica, las puntuaciones obtenidas “pueden compartirse con otros usuarios para competir con ellos virtualmente, favoreciendo así la práctica continuada del deporte. Y si el jugador tiene buenos registros y deja los datos en abierto, pueden ser contactados por equipos o patrocinadores que busquen nuevos talentos deportivos”.

Olga C. Santos manifestó que las noticias de prensa también muestran que se usa la IA para mejorar la experiencia de los espectadores de eventos deportivos, tanto para facilitar información estadística en tiempo real sobre lo que ocurre en el campo de juego como seleccionando de forma automática fragmentos de video con las acciones de interés que han ocurrido. “Y también recogen que la IA facilita una experiencia inmersiva en la práctica deportiva, por ejemplo, para jugar al tenis de mesa contra un robot o hacer ciclismo de forma virtual simulando un recorrido por el campo desde el salón de casa. Incluso muestran que la IA puede servir para crear nuevos deportes, como el Speeedgate que se ha originado a partir de las reglas de otros 400 deportes”.

No se puede hablar de deporte y no hablar de fútbol. Y obviamente, es quizá en este deporte donde más aplicaciones de la IA se están utilizando, y así mostró la ponente una pequeña selección de noticias al respecto. “Por ejemplo, para generar de forma automática resúmenes de los partidos con las jugadas de interés, analizar datos sobre los jugadores, sensorizar las espinilleras para recoger datos de los futbolistas durante el partido, apoyar la búsqueda de fichajes para cubrir las necesidades de los equipos o elaborar menús adaptados a las necesidades de cada deportista. La propia Liga está apoyándose en la IA para cubrir diversos ámbitos relacionados con los medios de comunicación, los aficionados, el entorno y el rendimiento de los futbolistas”.

A veces la IA falla

“Hace unos meses fue viral la retransmisión de un partido de fútbol de la segunda división escocesa en la que se usaba un sistema inteligente para manejar automáticamente las cámaras con el objetivo de seguir al balón para así encuadrar las acciones relevantes del partido. Pero no contaban con que el asistente de banda fuera calvo y eso hizo que los algoritmos detectaran su cabeza como si fuera e balón, con lo cual los espectadores se perdieron la mayoría de las jugadas por no estar las cámaras enfocadas a la zona de interés del juego, sino a la posición del linier en la banda”, contó la investigadora de la UNED. A pesar de esta anécdota, las noticias que ha ido comentando muestran claramente que la IA en el deporte “es una realidad que ha venido para quedarse y ofrece todo tipo de soluciones, aunque rara vez explican y comparten los algoritmos que utilizan por su valor comercial. Para conocer que técnicas de IA se utilizan en el ámbito deportivo, se puede consultar bibliografía científica”.

Desde el punto de vista del aprendizaje de habilidades motoras, que es la línea de investigación principal de Olga C. Santos actualmente, lo que más le interesa es ver cómo se usa la IA para ayudar en el entrenamiento deportivo. Así mostró los resultados de una revisión sistemática realizada en marzo del año pasado por dos investigadores eslovacos sobre 109 trabajos científicos relacionados con el uso de la IA para desarrollar aplicaciones inteligentes que faciliten la práctica deportiva a lo largo de todo el ciclo de entrenamiento deportivo. Ello involucra tanto al deportista como a su entrenador, empezando por la planificación de la temporada, la realización de los ejercicios con su correspondiente recogida de datos, el control de los ejercicios realizados en relación a la planificación propuesta y la evaluación del rendimiento del deportista.

“Los resultados de su estudio indican que más de la mitad de los trabajos analizados utilizan técnicas de minería de datos, principalmente máquinas de vector soporte, redes neuronales, k-Nearest Neighbour y Random Forest. En cuanto al ámbito deportivo, se cubren más de 30 deportes, siendo el más común el fútbol, seguido muy de cerca por el atletismo. En su análisis también incluye algunas actividades como el aikido, el karate, el kick-boxing y el tai-chi que están a caballo entre los deportes de contacto, las artes marciales y la defensa personal”.

En otra revisión sistemática más completa realizada tres años antes, en 2017, unos investigadores italianos analizaron en detalle 286 estudios y seleccionaron 77 de ellos para su análisis final con el fin de identificar los dispositivos de recogida y las tecnologías de procesamiento utilizadas para evaluar el rendimiento deportivo. Encontraron que se pueden colocar sensores para monitorizar la actividad física no sólo sobre cualquier parte del cuerpo mediante bandas elásticos o aprovechando la equipación de los deportistas, como las zapatillas, sino también sobre los instrumentos que pueden utilizarse para su práctica, como raquetas o pelotas.

“En cuanto al procesamiento sobre los datos recogidos, lo dividieron en 4 grupos según el objetivo del mismo: Análisis de la técnica, Análisis del partido, Evaluación de la capacidad motora del deportista y Clasificación de la actividad. Pero sólo identificaron el uso de algoritmos de IA para clasificar el tipo de actividad realizada. Por ello, en la parte de futuros desarrollos estos investigadores indican la necesidad de aplicar aprendizaje automático sobre los datos recogidos por los sensores para reconocer y evaluar la calidad de las técnicas ejecutadas y en su caso proporcionar feedback inteligente a los usuarios por ejemplo, sobre cómo continuar la práctica deportiva o ajustar el equipamiento deportivo. Proponen utilizar algoritmos de clasificación de patrones en la actividad motora desarrollada, como redes neuronales, modelos ocultos de Markov y máquinas de vector soporte”, expuso la ponente. En su análisis identificaron 50 deportes diferentes que agruparon en varias categorías. Como en la revisión anterior, incluyeron algunas artes marciales, como el karate, el taekwondo y las artes marciales mixtas.

Olga C. Santos, presentó en ese contexto la línea de investigación PhyUM, centrada en el modelado de usuario físico, que desarrolla desde 2014 en la UNED. “En PhyUM investigamos sobre la computación del movimiento humano para ofrecer una ayuda personalizada al usuario. El principal objetivo es el aprendizaje de habilidades motoras durante la realización de una actividad física de forma que se vaya mejorando la técnica, pero también se pueden abordar otros objetivos, como apoyar el aprendizaje kinestésico ayudando a asimilar conceptos teóricos, el control de movimientos involuntarios para la gestión emocional e incluso aspectos más relacionados con la salud, como la prevención de lesiones, apoyar la rehabilitación motora y favorecer el envejecimiento activo”. Para ello, están desarrollando sistemas que monitorizan en tiempo real los movimientos realizados, comparan la ejecución realizada con la esperada según el modelo obtenido a partir de un practicante experto y ofrecen feedback personalizado cuando sea necesario.

“Este planteamiento está basado en un análisis del estado del arte que publiqué en 2016 en un número especial sobre el futuro de la tecnología en el ámbito del aprendizaje para los próximos 25 años, donde propuse un framework de desarrollo de sistemas de aprendizaje psicomotores en 4 fases: sensado del movimiento, modelado del movimiento, diseño del feedback y entrega del feedback”.

“Aunque este enfoque se puede aplicar a cualquier tipo de actividad psicomotora, en PhyUM nos centramos principalmente en las artes marciales ya que consisten en sistema de movimientos predefinidos y estructurado por niveles que siguen las leyes de la Física y proporcionan un patrón claro contra el que comparar. Además, aportan una serie de beneficios físicos como mejora de la capacidad cardiovascular, del sistema psicomotriz, elasticidad muscular; retrasa envejecimiento, y de actitud, ya que facilita desarrolla una vida disciplinada y sentir mayor seguridad. En 2017 realicé una revisión bibliográfica de los sistemas existentes para el aprendizaje de las artes marciales.

“El resultado de dicha revisión puede resumirse en que la mayoría de las solucione actuales tratan de ayudar al usuario a replicar las posturas y gestos que realiza el maestro con tecnología óptica proporcionando feedback visual no personalizado en base a lo que realizan los usuarios. Además, me llamó la atención que los movimientos analizados por estos sistemas eran bastante sencillos. Prácticamente la mitad de los trabajos se centraban en posturas de Tai-chi, poco dinámicas, y a lo más llegaban a movimientos individuales, como las katas en karate. Pero ninguno abordaba la monitorización de practicantes interactuando en parejas, como en los combates de karate o en las técnicas de Aikido para ofrecerles un feedback personalizado”, indica la ponente.

“Analicé también las diferentes formas de recogida de datos para detección de los movimientos. Aunque había algunos trabajos que utilizaban sensores inerciales, la mayoría utilizaban cámaras para grabar al participante. Algunas requieren el uso de marcadores en el participante para poder detectar el movimiento, otras como la Kinect utilizan sensores infrarrojos para obtener el esqueleto del practicante. Y en un trabajo se proponía el uso de drones para poder grabar los movimientos del practicante desde diferentes ángulos. La entrega del feedback era mayoritariamente visual. Algunos incluían gamificación durante la práctica o situaban al practicante en un entorno virtual. No obstante, algún trabajo proponía el uso de feedbadk vibrotáctil como el brazo sensorizado, o la entrega combinada de información visual y sonora o visual y táctil indicando el lugar del fallo o la intensidad”.

Lo que sí se encontró en la revisión fue algún software de entrenamiento por parejas pero que no recoge datos de los participantes, sino que simplemente son grabaciones animadas de cómo ejecutar las técnicas.

No obstante, recientemente están empezando a surgir sistemas para el aprendizaje de artes marciales que recogen datos durante la práctica y hacen uso de entornos de realidad virtual para que la experiencia del practicante sea más inmersiva. “Pero no integran técnicas de IA para personalizar el proceso de aprendizaje”, apunta la doctora. En cuanto al procesamiento de los datos, en 2019 analizó las técnicas de IA que se utilizaban para modelar movimientos en actividades psicomotoras, incluyendo las artes marciales y me centré en las señales recogidas por los sensores inerciales, identificando dos tipos de análisis para el modelado del movimiento:

reconocer movimientos concretos en un flujo de datos, para lo que se suelen utilizar algoritmos que representan sucesiones de estados como los modelos ocultos de Markov y técnicas de ajuste temporal dinámico y
algoritmos de clasificación para evaluar el aprendizaje de los movimientos, como máquinas de vector soporte, k-Nearest Neighbor y árboles de decisión.

Tres trabajos de investigación

A continuación presentó tres trabajos que se están desarrollando en la línea de investigación PhYUM en relación a las artes marciales: Phy+Aik, KSAS y KUMITRON: Phy+Aik (que combina Física y Aikido) surge de una colaboración con el Físico Alberto Corbi, Aikidoca como Olga C. Santos y profesor de la UNIR. "En Phy+Aik estamos sensorizando la práctica de Aikido, que es un arte marcial defensivo que aprovecha la fuerza del contrario para deshacerse de un ataque mediante movimientos circulares. Tras observar que los principiantes realizan los movimientos de forma más caótica que los expertos y eso se refleja en las señales inerciales, decidimos construir un dataset con dos movimientos individuales característicos de Aikido, shikko (andar de rodillas) y el primer suburi que es un golpeo con el bokken, espada de madera. En shikko los participantes llevaban un móvil para medir la aceleración y la rotación en el punto que se denomina hara que viene a corresponder con el centro de gravedad del cuerpo humano, y en el bokken pusimos un acelerómetro en su punta para monitorizar su movimiento. Este dataset, que cuenta con datos de casi 200 participantes, está siendo utilizado por Miguel Ángel Portaz en su TFM para ver qué características son más predictivas a la hora de modelar la correcta ejecución de los movimientos”.

“Con Phy+Aik también estamos explorando el denominado aprendizaje incorporado y para ello hicimos un estudio para ver si las técnicas de Aikido pueden servir para explicar conceptos de Física, validando por ejemplo su utilidad para entender el momento angular al girar en el desplazamiento en shikko. El objetivo final de Phy + Aik es construir una herramienta que facilite la producción de material educativo innovador que combine videos de técnicas de Aikido con datos inerciales recogidos simultáneamente por sensores inerciales y cámaras para facilitar el aprendizaje de conceptos de Física”, apuntó la doctora Olga C. Santos.

A continuación presentó KSAS, que es el resultado del TFM de Alberto Casas-Ortiz que le dirigió en el Máster en Investigación en IA de la UNED “y que ahora estamos extendiendo en su Tesis Doctoral. La idea es hacer un sistema psicomotor con técnicas de IA y RV/RA (realidad virtual y aumentada) que facilite el aprendizaje personalizado desde casa de habilidades motoras asociadas a las artes marciales”. Olga C. Santos mostró los movimientos característicos del Blocking Set 1 que es el utilizado para desarrollar la app que que presentó en su ponencia. Los movimientos ser recogen con un móvil sujeto al brazo. “El funcionamiento del sistema consiste en guiar al alumno en la ejecución de los 5 movimientos en el orden establecido. Para ello, detecta el movimiento a partir de señales inerciales recogidas por los sensores del móvil, clasifica los movimientos utilizando una red neuronal recurrente LSTM (long short-term memory), si es correcto pide el siguiente movimiento y si no lo es, pide que lo repita. En cada paso da feedback auditivo o auditivo y táctil, según corresponda”.

Monitorizar un combate de karate

“A Jon Echeverría le propuse para el PFG el reto de desarrollar una infraestructura que permitiera monitorizar un combate de karate, a la que hemos llamado KUMITRON y que estamos aprovechando actualmente el Máster en IA para enriquecerla con soporte inteligente para ayudar a los practicantes de combates de karate a mejorar su técnica y estrategia”, añadió la profesora e investigadora de la UNED.

“KUMITRON se ha desarrollado siguiendo el framework para construir sistemas psicomotores inteligentes de 4 fases que propuse en 2016. Primeramente, se ha desarrollado una infraestructura hardware consistente en sensores inerciales y fisiológicos y un dron para grabar al participante por el tatami. Esta información se ha utilizado para modelar el movimiento por ejemplo, con un vector dinámico que muestra la posición relativa de los atacantes y filtros para ayudar al karateka a anticipar por dónde van a venir los golpes. Pero nos falta integrar y entrenar más soporte inteligente como técnicas de minería de datos para obtener indicadores de rendimiento o hacer predicciones sobre el resultado del combate, así como algoritmos de visión artificial para construir un esqueleto que modele los movimientos de los karatekas. Por ello, para el diseño del feedback estamos usando la técnica del Mago de Oz que permite simular la inteligencia del sistema para trabajar en paralelo en la entrega del feedback, que de momento es oral y visual”.

KUMITRON fue presentado en el congreso Intelligent User Interfaces (IUI 2021), y permite visualizar datos fisiológicos e inerciales en tiempo real, así como mostrar videos del combate tanto en crudo como filtrados, almacenar los datos recogidos en una base de datos, calcular indicadores de rendimiento con técnicas de IA y dar instrucciones a los participantes con la estrategia para el combate. En esta conferencia fue posible ver un vídeo elaborado por Jon para comprobar cómo funciona.

“Con esta infraestructura, y a pesar de las limitaciones que supone la situación actual de pandemia, hemos realizado un estudio preliminar para ver si los filtros de visión artificial pueden ayudar a anticipar el golpe del contrario en un combate de karate, lo cual puede tener interés para entrenar la visión periférica de los practicantes. El artículo con este estudio acaba de ser aceptado para su publicación en el congreso User Modeling, Adaptation and Personalization (UMAP 2021)”.

Por último, la ponente dijo que si alguien tiene interés en participar en PhyUM, puede hacerlo de varias formas. “Si estáis estudiando en la UNED, se pueden plantear PFG, TFM y Tesis Doctorales sobre algunos de los puntos abiertos que sean de vuestro interés. También se puede buscar financiación pública por ejemplo, a través de proyectos de investigación o contratos de FPI. Y a través de la OTRI se pueden establecer convenios con empresas”.

Este ciclo de conferencias está apoyado por el Vicerrectorado de Investigación, Transferencia del Conocimiento y Divulgación Científica de la UNED.

La conferencia puede verse aquí.