Cómo se resolvió un desafío de investigación de Realidad Virtual de la Universidad de Cornell con Krikey AI Animation

Resumen

Krikey AI permitió a dos equipos de investigación de la Universidad de Cornell, el Laboratorio de Embodiment Virtual (VEL) y el Laboratorio de Control de Sensores Integrados (LISC) recopilar datos de movimiento submarino para un proyecto de investigación sobre asistentes robóticos para buceadores.

Estos datos se integrarían en un entorno virtual descrito aquí: UnRealTHASC - Un banco de pruebas XR ciberfísico para la colaboración en tiempo real de sistemas autónomos humanos bajo el agua; autores: Sushrut Surve, Jia Guo, Jovan Menezes, Connor Tate, Yiting Jin, Justin Walker, Silvia Ferrari que se presentará en una próxima conferencia: IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN 2024). 

• Descripción: La Profesora Silvia Ferrari y Andrea Stevenson Won de la Universidad de Cornell y sus equipos buscaban construir un modelo de movimiento hidrodinámico para ayudar en el desarrollo de compañeros robot para buceadores. Necesitaban una forma de rastrear los datos de movimiento submarino de los buceadores y extraerlos con precisión para su análisis. El estudiante de doctorado Jiahao Liu utilizó Krikey AI como herramienta.
• Características de Krikey AI utilizadas: Proceso de video a animación con IA, Animaciones, Editor de video 3D, Ángulos de cámara, Exportación FBX

"No es una cuestión de si podemos hacerlo mejor y más rápido, es si podemos hacerlo en absoluto." ~ Profesora Andrea Won, Universidad de Cornell

Desafío

• Reconstrucción de datos de movimiento submarino a partir de conjuntos de datos de captura de movimiento
• Uso de datos reconstruidos de videos en combinación con datos de XSense para mejorar la precisión de los datos de movimiento de los conjuntos de datos de captura de movimiento
• Encontrar o crear nuevos conjuntos de datos submarinos que se ajustaran a las especificaciones de la investigación

Solución

• Krikey AI se convirtió en un punto de referencia adicional para calcular el movimiento utilizando nuestra herramienta de IA de video a animación
• Krikey AI permitió al equipo de investigación ampliar su repositorio de datos. El equipo ahora puede utilizar potencialmente conjuntos de datos de video existentes de buceadores, eliminando el tiempo y el costo de crear nuevos conjuntos de datos
• Krikey AI permitió la exportación de los archivos de movimiento para que el equipo los usara y analizara sin problemas en otras herramientas de software

Para el Laboratorio de Realidad Virtual de la Universidad de Cornell, la potente herramienta de IA de video a animación de Krikey AI fue fundamental para superar importantes obstáculos de investigación. La infraestructura en la nube de Krikey proporcionó la computación de alto rendimiento y el almacenamiento escalable necesarios para procesar datos de video y exportar archivos de movimiento precisos. Esta base respaldada por Amazon Web Services (AWS) permitió una configuración más rápida y costos más bajos, acelerando el trabajo innovador de Cornell.

ROI (Retorno de la Inversión)

Después de evaluar herramientas de software alternativas, la Universidad de Cornell utilizó las herramientas de Krikey AI Animation para llevar a cabo la investigación de este proyecto.

Tiempo y costo para la animación virtual

• 7 veces más rápido de configurar Krikey AI que las herramientas de software de animación virtual alternativas
• 64% menos costo que las herramientas alternativas de captura de movimiento (ejemplo: un sistema de captura de movimiento decente y de bajo costo puede costar entre $500 y $1000, sin incluir el costo de tiempo de configuración; Krikey AI Animation cuesta $30/mes)
• Invaluable: La capacidad de expandir el conjunto de datos de video más allá de los datos de captura de movimiento

Precisión y eficiencia de la animación virtual

• Krikey AI permitió a los investigadores de la Universidad de Cornell identificar con mayor precisión las métricas de posición, rotación y orientación de las extremidades de los buceadores para el movimiento subacuático
• En lugar de pintar marcadores en un buceador e intentar calcular la distancia recorrida bajo el agua, con Krikey AI Animation el equipo de investigación ahora tenía datos de movimiento más precisos de la conversión de video a animación con IA
• Un objetivo futuro es utilizar videos de archivo existentes de buceadores bajo el agua y ver los datos de movimiento de la animación virtual en minutos

Acerca del Cliente

El laboratorio de Embodiment Virtual (Realidad Virtual) de la Universidad de Cornell está dirigido por la Profesora Andrea Won. La investigación de su laboratorio se centra en los medios inmersivos y cómo las personas los perciben y experimentan, incluyendo aplicaciones relacionadas con el comportamiento no verbal, la comunicación y la colaboración. Completó su doctorado en la Universidad de Stanford en el Departamento de Comunicación, realizando investigaciones en el laboratorio de Interacción Humana Virtual. El estudiante de doctorado de la Profesora Won en la Universidad de Cornell, Jiahao Liu, lidera el proyecto de investigación para construir un modelo hidrodinámico para asistentes robóticos para buceadores.

Este proyecto surge de una colaboración entre el Laboratorio de Control Integrado de Sensores (LISC) dirigido por la Prof. Silvia Ferrari, y el Laboratorio de Embodiment Virtual (VEL) dirigido por la Prof. Andrea Won sobre la colaboración humano-agente en entornos submarinos. Para mejorar la capacidad de los robots guía para trabajar con buceadores, Jia Guo, postdoctorado en LISC, y Sushrut Surve, estudiante de doctorado también de LISC, están trabajando con Jiahao Liu, estudiante de doctorado en VEL, y otros miembros del equipo para construir un modelo hidrodinámico de buceadores. 

Acerca de Krikey AI

Las herramientas de animación de Krikey AI permiten a cualquiera animar un personaje 3D en minutos. Las animaciones de personajes se pueden usar en marketing, tutoriales, juegos, películas, redes sociales, planes de lecciones y más. Además de un modelo de IA de video a animación y de texto a animación, Krikey ofrece un editor 3D que los creadores pueden usar para agregar diálogos sincronizados con los labios, cambiar fondos, expresiones faciales, gestos con las manos, ángulos de cámara y más a sus videos animados. Las herramientas de IA de Krikey están disponibles en línea en www.krikey.ai hoy, en Canva Apps, Adobe Express y en el AWS Marketplace!

El Desafío

El equipo de investigación sabía que las interacciones humano-robot eran desafiantes. Se propusieron construir un simulador de buceo para capturar el comportamiento del buceador y simular diferentes desafíos submarinos. Querían comprender cómo las personas prefieren que se comporten los robots y que los robots comprendan el movimiento humano bajo el agua.

Investigación de captura de movimiento submarino

Al principio, el equipo de investigación de RV de la Universidad de Cornell identificó dos formas de capturar movimientos con herramientas de animación virtual. Primero, una persona en la simulación podría usar un traje de captura de movimiento y nadar a través de un entorno virtual. Segundo, una persona podría usar el traje de captura de movimiento debajo de un traje seco y nadar a través de agua real, aunque esto resultó ser muy desafiante técnica y logísticamente.

Ninguno de estos métodos capturó realmente la métrica de movimiento de traslación, es decir, cómo se mueven las personas a través del agua. Para esto, necesitaban construir un modelo hidrodinámico. Dada una cierta serie de movimientos y condiciones del agua, ¿qué tan lejos podría nadar un buceador?

Proceso actual de investigación para datos de movimiento

Antes de usar Krikey AI para medir la sincronía del movimiento corporal, el equipo de la Universidad de Cornell utilizaba datos de captura de movimiento y herramientas de software de reconstrucción 3D. Sin embargo, una vez que probaron Krikey AI, descubrieron que era más preciso y conveniente para su metodología de investigación. Otras herramientas de software tenían dificultades para generar animaciones o datos de movimiento rápidamente y, si había alguna oclusión (partes del cuerpo cubiertas por objetos), era difícil obtener un movimiento preciso. Al equipo de investigación de la Universidad de Cornell le llevó más de 7 días configurar herramientas de software alternativas. Con Krikey AI, pudieron probarlo en menos de una hora y ver resultados inmediatamente. Comenzaron filmándose a sí mismos saludando a la cámara y convirtiendo ese video en animación. Una vez que vieron la velocidad y precisión de la herramienta de IA de video a animación, comenzaron a probar videos de su conjunto de datos.

Desarrollo de un modelo hidrodinámico del movimiento del buceador

El objetivo del equipo de investigación de la Universidad de Cornell era entrenar a un robot asistente que pudiera ayudar a los buceadores. Para ello, necesitaban construir un modelo hidrodinámico del movimiento del buceador para poder entrenar mejor al robot para que se moviera junto al buceador. Tuvieron que integrar tres flujos de datos que incluían: video, captura de movimiento y datos de movimiento de traslación reconstruidos. Al principio estaban preocupados porque tenían un conjunto de datos limitado de captura de movimiento submarino y la creación de nuevos conjuntos de datos llevaría mucho tiempo y costo. Luego encontraron las herramientas de animación de Krikey AI.

La Solución

Así es como el equipo de investigación de la Universidad de Cornell resolvió su desafío de investigación utilizando las herramientas de Krikey AI Animation.

Cómo Krikey AI reemplazó la metodología de captura de movimiento

Con Krikey AI, el equipo de investigación del laboratorio de RV de la Universidad de Cornell pudo tomar un solo video que captura el movimiento de un buceador y usar la IA de video a animación para obtener los datos de movimiento en el espacio 3D con un avatar. Luego pudieron comparar los datos de captura de movimiento de su conjunto de datos original con los datos de reconstrucción de video de Krikey AI y ver si estaban alineados. Esto les permitió asegurar que se incorporaran datos de video más precisos a su modelo hidrodinámico. En el futuro, esperan generar datos simulados para muchos buceadores diferentes, haciendo que los datos de entrenamiento para un robot "compañero de buceo" sean más diversos, precisos y robustos.

Ahorro de tiempo y mejora de la precisión

Con el conjunto de datos ampliado y Krikey AI proporcionando una metodología más sencilla para calcular el movimiento, el equipo de investigación de la Universidad de Cornell ahora podía calcular cómo se movería un buceador a través del agua, incluyendo velocidad, profundidad, fuerza del movimiento en el agua, distancia y más. Krikey AI fue una herramienta de software clave que unió los diferentes flujos de datos y cálculos requeridos. Permitió velocidad, precisión y acortó el tiempo para llevar a cabo la investigación.

Eficiencia con interoperabilidad

El equipo de investigación de Realidad Virtual de la Universidad de Cornell tuvo que integrar datos de videos, rastreadores de trajes de captura de movimiento y combinarlos en Unity. Krikey AI les ayudó a resolver dos problemas. Primero, Krikey AI ayudó a alinear los datos de captura de movimiento con los datos de video y se convirtió en una fuente de referencia confiable para calcular el movimiento. Segundo, en el futuro, Krikey AI puede permitir al equipo de investigación extraer datos de movimiento de videos archivados de buceadores, eliminando la necesidad de crear nuevos conjuntos de datos. Con la capacidad de exportar fácilmente archivos FBX a Unity, el equipo de investigación de RV pudo utilizar Krikey AI Animation para identificar métricas clave de movimiento en su investigación.

El investigador de la Universidad de Cornell, Jiahao Liu, creó un script para conectar los rigs de captura de movimiento y los archivos FBX de Krikey AI. Pudo identificar y medir rápidamente y con precisión las métricas de movimiento de posición, rotación y orientación, lo que sería una fuente útil para el modelo hidrodinámico.

Cómo se utilizó Krikey AI en el Laboratorio de Investigación de Realidad Virtual de Cornell

El equipo de investigación del Laboratorio de Realidad Virtual (RV) de la Universidad de Cornell utilizó la herramienta de animación Krikey AI de diversas maneras para transformar su metodología de investigación.

Video a Animación con IA

La herramienta de IA de video a animación de Krikey permitió al equipo de investigación de Cornell usar cualquier video y convertirlo en animación, en lugar de depender únicamente de conjuntos de datos específicos de captura de movimiento. Esto amplió su repositorio de datos y ayudó a fortalecer la salida de su modelo de movimiento hidrodinámico.

Ángulos de Cámara

El editor de video de Krikey AI permite a los clientes agregar ángulos de cámara para que puedan ver cualquier animación desde diferentes perspectivas y visualizarla inmediatamente en un visor. Esto ayudó al equipo de investigación de Cornell a asegurarse de que sus archivos de video a animación fueran utilizables y se inspeccionaran visualmente desde múltiples ángulos antes de ser exportados y convertidos a números en una hoja.

Exportación FBX

La exportación de archivos FBX de Krikey AI ayudó al equipo de investigación de Cornell a llevar sus animaciones a la herramienta de software Unity, donde pudieron manipularlas aún más, conectar los datos a su conjunto de datos de captura de movimiento anterior (para fortalecer la precisión de ese conjunto de datos) y también para extraer métricas clave de movimiento. Las salidas de animación de Krikey AI eran fácilmente interoperables con estas herramientas de software adicionales, lo que facilitó y agilizó el uso de Krikey AI por parte del equipo de la Universidad de Cornell en su flujo de trabajo de investigación.

El investigador de la Universidad de Cornell, Jiahao Liu, creó un script para conectar los rigs de captura de movimiento y los archivos FBX de Krikey AI. Pudo identificar y medir rápidamente y con precisión las métricas de movimiento de posición, rotación y orientación, lo que sería una fuente útil para el modelo hidrodinámico.

"Krikey AI se convirtió en una fuente de referencia fiable para calcular el movimiento en nuestro laboratorio de investigación de la Universidad de Cornell. La IA de video a animación amplió nuestro conjunto de datos y nos permitió trabajar con videos existentes en lugar de dedicar tiempo a crear nuevos conjuntos de datos. La herramienta Krikey AI Animation ha ahorrado mucho tiempo y dinero a nuestro equipo en el proceso de realización de este proyecto de investigación." ~ Profesora Andrea Won, Universidad de Cornell

Cornell