Como um desafio de pesquisa em Realidade Virtual da Universidade Cornell foi resolvido com a Animação Krikey AI

Resumo

A Krikey AI permitiu que duas equipes de pesquisa da Universidade Cornell, o Virtual Embodiment Lab (VEL) e o Lab for Integrated Sensor Control (LISC), coletassem dados de movimento subaquático para um projeto de pesquisa sobre assistentes robóticos para mergulhadores.

Esses dados seriam integrados a um ambiente virtual descrito aqui: UnRealTHASC - Um Laboratório de Testes XR Ciberfísico para Colaboração de Sistemas Autônomos Humanos Subaquáticos em Tempo Real; autores: Sushrut Surve, Jia Guo, Jovan Menezes, Connor Tate, Yiting Jin, Justin Walker, Silvia Ferrari a ser apresentado em uma próxima conferência: IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN 2024). 

• Descrição: As Professoras Silvia Ferrari e Andrea Stevenson Won da Universidade Cornell e suas equipes buscavam construir um modelo de movimento hidrodinâmico para auxiliar no desenvolvimento de robôs companheiros para mergulhadores. Elas precisavam de uma forma de rastrear dados de movimento subaquático de mergulhadores e extraí-los com precisão para análise. O estudante de doutorado Jiahao Liu usou a Krikey AI como ferramenta.
• Recursos da Krikey AI utilizados: Processo de Vídeo AI para Animação, Animações, Editor de Vídeo 3D, Ângulos de Câmera, Exportação FBX

"Não é uma questão de se podemos fazer melhor e mais rápido, é se podemos fazer de alguma forma?" ~ Professora Andrea Won, Universidade Cornell

Desafio

• Reconstruir dados de movimento subaquático a partir de conjuntos de dados de captura de movimento
• Usar dados reconstruídos de vídeos em combinação com dados XSense para melhorar a precisão dos dados de movimento de conjuntos de dados de captura de movimento
• Encontrar ou criar novos conjuntos de dados subaquáticos que se alinhassem com as especificações da pesquisa

Solução

• A Krikey AI tornou-se um ponto de referência adicional para calcular o movimento usando nossa ferramenta de vídeo AI para animação
• A Krikey AI permitiu que a equipe de pesquisa ampliasse seu repositório de dados. A equipe agora pode potencialmente usar conjuntos de dados de vídeo existentes de mergulhadores, eliminando o tempo e o custo de criação de novos conjuntos de dados
• A Krikey AI permitiu a exportação dos arquivos de movimento para a equipe usar e analisar sem problemas em outras ferramentas de software

Para o Laboratório de Realidade Virtual da Universidade Cornell, a poderosa ferramenta de Vídeo AI para Animação da Krikey AI tornou-se fundamental para superar desafios significativos de pesquisa. A infraestrutura de nuvem da Krikey forneceu a computação de alto desempenho e o armazenamento escalável necessários para processar dados de vídeo e exportar arquivos de movimento precisos. Esta base apoiada pela Amazon Web Services (AWS) possibilitou uma configuração mais rápida e custos mais baixos, acelerando o trabalho inovador da Cornell.

ROI (Retorno sobre o Investimento)

Após avaliar ferramentas de software alternativas, a Universidade Cornell usou as ferramentas de Animação Krikey AI para realizar pesquisas para este projeto.

Tempo e Custo para Animação Virtual

• 7x mais rápido para configurar a Krikey AI do que ferramentas de software de animação virtual alternativas
• 64% menor custo do que ferramentas alternativas de captura de movimento (exemplo: Um sistema de captura de movimento decente e de baixo custo pode custar entre $500 e $1000, sem incluir o custo de tempo de configuração; a Animação Krikey AI custa $30/mês)
• Inestimável: A capacidade de expandir o conjunto de dados de vídeo além dos dados de captura de movimento

Precisão e Eficiência da Animação Virtual

• A Krikey AI permitiu que pesquisadores da Universidade Cornell identificassem com mais precisão as métricas de posição, rotação e orientação dos membros de mergulhadores para movimento subaquático
• Em vez de pintar marcadores em um mergulhador e tentar calcular a distância percorrida debaixo d'água, com a Animação Krikey AI a equipe de pesquisa agora tinha dados de movimento mais precisos da conversão de Vídeo AI para Animação
• Um objetivo futuro é usar vídeos de arquivo existentes de mergulhadores subaquáticos e ver os dados de movimento da animação virtual em minutos

Sobre o Cliente

O laboratório de Embodiment Virtual (Realidade Virtual) da Universidade Cornell é liderado pela Professora Andrea Won. A pesquisa de seu laboratório foca em mídias imersivas e como as pessoas as percebem e experimentam, incluindo aplicações em comportamento não verbal, comunicação e colaboração. Ela concluiu seu PhD na Universidade Stanford, no Departamento de Comunicação, realizando pesquisa no laboratório de Interação Humana Virtual. O estudante de doutorado da Professora Won na Universidade Cornell, Jiahao Liu, está liderando o projeto de pesquisa para construir um modelo hidrodinâmico para robôs assistentes de mergulhadores.

Este projeto deriva de uma colaboração entre o Laboratório de Controle de Sensores Integrados (LISC), liderado pela Profa. Silvia Ferrari, e o Virtual Embodiment Lab (VEL), liderado pela Profa. Andrea Won, sobre o trabalho em equipe humano-agente em ambientes subaquáticos. Para melhorar a capacidade dos robôs-guias de trabalhar com mergulhadores, Jia Guo, pós-doutoranda no LISC, e Sushrut Surve, estudante de doutorado também do LISC, estão trabalhando com Jiahao Liu, estudante de doutorado no VEL, e outros membros da equipe para construir um modelo hidrodinâmico de mergulhadores. 

Sobre a Krikey AI

As ferramentas de Animação Krikey AI capacitam qualquer pessoa a animar um personagem 3D em minutos. As animações de personagens podem ser usadas em marketing, tutoriais, jogos, filmes, mídias sociais, planos de aula e muito mais. Além de um modelo de AI de vídeo para animação e texto para animação, a Krikey oferece um editor 3D que os criadores podem usar para adicionar diálogo sincronizado com os lábios, mudar planos de fundo, expressões faciais, gestos de mão, ângulos de câmera e muito mais aos seus vídeos animados. As ferramentas de AI da Krikey estão disponíveis online em www.krikey.ai hoje, nos Aplicativos Canva, Adobe Express e no AWS Marketplace!

O Desafio

A equipe de pesquisa sabia que as interações humano-robô eram desafiadoras. Eles se propuseram a construir um simulador de mergulho para capturar o comportamento dos mergulhadores e simular diferentes desafios subaquáticos. Eles queriam entender como as pessoas preferem que os robôs se comportem e que os robôs entendam o movimento humano debaixo d'água.

Pesquisa de Captura de Movimento Subaquático

No início, a equipe de pesquisa de RV da Universidade Cornell identificou duas maneiras de capturar movimentos com ferramentas de animação virtual. Primeiro, uma pessoa na simulação poderia usar um traje de captura de movimento e nadar através de um ambiente virtual. Segundo, uma pessoa poderia usar o traje de captura de movimento sob um traje seco e nadar em água real, embora isso se mostrasse muito desafiador técnica e logisticamente.

Nenhum desses métodos realmente capturou a métrica de movimento de translação - como as pessoas se movem através da água. Para isso, eles precisaram construir um modelo hidrodinâmico. Dado um certo conjunto de movimentos e condições da água, quão longe um mergulhador seria capaz de nadar?

Processo de pesquisa atual para dados de movimento

Antes de usar a Krikey AI para medir a sincronia do movimento corporal, a equipe da Universidade Cornell utilizava dados de captura de movimento e ferramentas de software de reconstrução 3D. No entanto, uma vez que experimentaram a Krikey AI, descobriram que era mais precisa e conveniente para sua metodologia de pesquisa. Outras ferramentas de software tinham dificuldades em gerar animações ou dados de movimento rapidamente e, se houvesse qualquer oclusão (partes do corpo cobertas por objetos), era difícil obter movimento preciso. A equipe de pesquisa da Universidade Cornell levou mais de 7 dias para configurar ferramentas de software alternativas. Com a Krikey AI, eles conseguiram testá-la em menos de uma hora e ver os resultados imediatamente. Começaram filmando um vídeo de si mesmos acenando para a câmera e o convertendo em animação. Uma vez que viram a velocidade e precisão da ferramenta de Vídeo AI para Animação, começaram a testar vídeos de seu conjunto de dados.

Desenvolvendo um modelo hidrodinâmico de movimento de mergulhador

O objetivo da equipe de pesquisa da Universidade Cornell era treinar um robô assistente que pudesse ajudar mergulhadores. Para isso, eles precisavam construir um modelo hidrodinâmico de movimento do mergulhador para que pudessem treinar melhor o robô para se mover ao lado do mergulhador. Eles tiveram que integrar três fluxos de dados, incluindo: vídeo, captura de movimento e dados de movimento de translação reconstruídos. No início, eles estavam preocupados porque tinham um conjunto de dados limitado de captura de movimento subaquática e a criação de novos conjuntos de dados levaria muito tempo e custo. Então, eles encontraram as ferramentas de Animação Krikey AI.

A Solução

Veja como a equipe de Pesquisa da Universidade Cornell resolveu seu desafio de pesquisa usando as ferramentas de Animação Krikey AI.

Como a Krikey AI substituiu a metodologia de captura de movimento

Com a Krikey AI, a equipe de pesquisa do laboratório de RV da Universidade Cornell pôde pegar um único vídeo que captura o movimento de um mergulhador e usar o Vídeo AI para animação para obter os dados de movimento no espaço 3D com um avatar. Eles puderam então comparar os dados de captura de movimento de seu conjunto de dados original com os dados de reconstrução de vídeo da Krikey AI e verificar se estavam alinhados. Isso lhes permitiu garantir que dados de vídeo mais precisos fossem incorporados ao seu modelo hidrodinâmico. No futuro, eles esperam gerar dados simulados para muitos mergulhadores diferentes, tornando os dados de treinamento para um robô "companheiro de mergulho" mais diversos, precisos e robustos.

Economizando tempo e melhorando a precisão

Com o conjunto de dados expandido e a Krikey AI fornecendo uma metodologia mais fácil para calcular o movimento, a equipe de pesquisa da Universidade Cornell pôde agora calcular como um mergulhador se moveria através da água, incluindo velocidade, profundidade, força do movimento na água, distância e muito mais. A Krikey AI foi uma ferramenta de software fundamental que reuniu os diferentes fluxos de dados e cálculos necessários. Ela permitiu velocidade, precisão e encurtou o tempo para realizar a pesquisa.

Eficiência com interoperabilidade

A equipe de pesquisa de Realidade Virtual da Universidade Cornell teve que integrar dados de vídeos, rastreadores de trajes de captura de movimento e combiná-los no Unity. A Krikey AI os ajudou a resolver dois problemas. Primeiro, a Krikey AI ajudou a alinhar os dados de captura de movimento com os dados de vídeo e se tornou uma fonte de referência para o cálculo do movimento. Segundo, no futuro, a Krikey AI poderá permitir que a equipe de pesquisa extraia dados de movimento de vídeos arquivados de mergulhadores, eliminando a necessidade de criar novos conjuntos de dados. Com a capacidade de exportar facilmente arquivos FBX para o Unity, a equipe de pesquisa de RV conseguiu usar a Animação Krikey AI para identificar métricas de movimento chave em sua pesquisa.

O pesquisador da Universidade Cornell, Jiahao Liu, criou um script para conectar os rigs dos arquivos FBX de captura de movimento e da Krikey AI. Ele foi capaz de identificar e medir com precisão as métricas de movimento de posição, rotação e orientação, o que seria uma fonte útil para o modelo hidrodinâmico.

Como a Krikey AI foi usada no Laboratório de Pesquisa de Realidade Virtual da Cornell

A equipe de pesquisa do Laboratório de Realidade Virtual (RV) da Universidade Cornell utilizou a ferramenta de Animação Krikey AI de diversas maneiras para transformar sua metodologia de pesquisa.

Vídeo AI para Animação

A ferramenta de Vídeo AI para Animação da Krikey permitiu à equipe de pesquisa da Cornell usar qualquer vídeo e convertê-lo em animação, em vez de depender apenas de conjuntos de dados específicos de captura de movimento. Isso expandiu seu repositório de dados e ajudou a fortalecer a saída de seu modelo hidrodinâmico de movimento.

Ângulos de Câmera

O editor de vídeo da Krikey AI permite que os clientes adicionem ângulos de câmera para que possam ver qualquer animação de vários ângulos diferentes e visualizá-la imediatamente em um visualizador. Isso ajudou a equipe de pesquisa da Cornell a garantir que seus arquivos de vídeo para animação fossem utilizáveis e inspecionados visualmente de múltiplos ângulos antes de serem exportados e convertidos em números em uma planilha.

Exportação FBX

A exportação de arquivo FBX da Krikey AI ajudou a equipe de Pesquisa da Cornell a levar suas animações para a ferramenta de software Unity, onde puderam manipulá-las ainda mais, conectar os dados ao seu conjunto de dados de captura de movimento anterior (para fortalecer a precisão desse conjunto de dados) e também extrair métricas de movimento chave. As saídas de animação da Krikey AI eram facilmente interoperáveis com essas ferramentas de software adicionais, tornando fácil e contínuo para a equipe da Universidade Cornell usar a Krikey AI em seu fluxo de trabalho de pesquisa.

O pesquisador da Universidade Cornell, Jiahao Liu, criou um script para conectar os rigs dos arquivos FBX de captura de movimento e da Krikey AI. Ele foi capaz de identificar e medir com precisão as métricas de movimento de posição, rotação e orientação, o que seria uma fonte útil para o modelo hidrodinâmico.

"A Krikey AI tornou-se uma fonte de referência para o cálculo de movimento em nosso laboratório de pesquisa da Universidade Cornell. O Vídeo AI para animação expandiu nosso conjunto de dados e nos permitiu trabalhar com vídeos existentes em vez de gastar tempo criando novos conjuntos de dados. A ferramenta de Animação Krikey AI economizou muito tempo e dinheiro para nossa equipe no processo de realização deste projeto de pesquisa." ~ Professora Andrea Won, Universidade Cornell