Wie eine Forschungsherausforderung der Cornell University im Bereich Virtual Reality mit Krikey KI-Animation gelöst wurde

Zusammenfassung

Krikey KI ermöglichte es zwei Forschungsteams der Cornell University, dem Virtual Embodiment Lab (VEL) und dem Lab for Integrated Sensor Control (LISC), Unterwasser-Bewegungsdaten für ein Forschungsprojekt über Roboterassistenten für Taucher zu sammeln.

Diese Daten sollten in eine virtuelle Umgebung integriert werden, die hier beschrieben ist: UnRealTHASC - Ein cyber-physikalisches XR-Testbett für die Echtzeit-Kollaboration zwischen Mensch und autonomen Systemen unter Wasser; Autoren: Sushrut Surve, Jia Guo, Jovan Menezes, Connor Tate, Yiting Jin, Justin Walker, Silvia Ferrari, die auf einer bevorstehenden Konferenz vorgestellt werden: IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN 2024). 

• Beschreibung: Die Professoren Silvia Ferrari und Andrea Stevenson Won der Cornell University und ihre Teams versuchten, ein hydrodynamisches Bewegungsmodell zu entwickeln, um die Entwicklung von Roboter-Begleitern für Taucher zu unterstützen. Sie benötigten eine Methode, um Unterwasser-Bewegungsdaten von Tauchern zu verfolgen und präzise für die Analyse zu extrahieren. Doktorand Jiahao Liu nutzte Krikey AI als Werkzeug.
• Verwendete Krikey KI-Funktionen: KI Video-zu-Animation-Prozess, Animationen, 3D Video-Editor, Kamerawinkel, FBX Export

"Es geht nicht darum, ob wir es besser und schneller machen können, sondern ob wir es überhaupt machen können?" ~ Professor Andrea Won, Cornell University

Herausforderung

• Rekonstruktion von Unterwasser-Bewegungsdaten aus Motion-Capture-Datensätzen
• Verwendung rekonstruierter Daten aus Videos in Kombination mit XSense-Daten zur Verbesserung der Genauigkeit von Bewegungsdaten aus Motion-Capture-Datensätzen
• Finden oder Erstellen neuer Unterwasser-Datensätze, die den Forschungsspezifikationen entsprechen

Lösung

• Krikey KI wurde zu einem zusätzlichen Referenzpunkt für die Bewegungsberechnung mithilfe unseres KI Video-zu-Animation-Tools
• Krikey KI ermöglichte es dem Forschungsteam, seinen Datenbestand zu erweitern. Das Team kann nun potenziell bestehende Video-Datensätze von Tauchern verwenden, wodurch der Zeit- und Kostenaufwand für die Erstellung neuer Datensätze entfällt
• Krikey KI ermöglichte den Export der Bewegungsdateien, damit das Team diese nahtlos in anderen Software-Tools verwenden und weiter analysieren konnte

Für das Virtual Reality Lab der Cornell University wurde das leistungsstarke KI Video-zu-Animation-Tool von Krikey AI entscheidend, um bedeutende Forschungshürden zu überwinden. Krikeys Cloud-Infrastruktur bot die Hochleistungsrechenleistung und den skalierbaren Speicher, die für die Verarbeitung von Videodaten und den Export präziser Bewegungsdateien erforderlich waren. Dieses von Amazon Web Services (AWS) unterstützte Fundament ermöglichte eine schnellere Einrichtung und geringere Kosten und beschleunigte die innovative Arbeit der Cornell University.

ROI (Return on Investment)

Nach der Bewertung alternativer Software-Tools nutzte die Cornell University die Krikey KI-Animations-Tools, um Forschungsarbeiten für dieses Projekt durchzuführen.

Zeit und Kosten für virtuelle Animation

• 7x schneller Krikey KI einzurichten als alternative Software-Tools für virtuelle Animation
• 64% geringere Kosten als alternative Motion-Capture-Tools (Beispiel: Ein kostengünstiges, anständiges Motion-Capture-System kann zwischen 500 und 1000 US-Dollar kosten, ohne die Zeitkosten für die Einrichtung; Krikey KI-Animation kostet 30 US-Dollar / Monat)
• Unbezahlbar: Die Möglichkeit, den Video-Datensatz über Motion-Capture-Daten hinaus zu erweitern

Genauigkeit und Effizienz virtueller Animation

• Krikey KI ermöglichte es Forschern der Cornell University, die Positions-, Rotations- und Orientierungsmetriken der Gliedmaßen von Tauchern für Unterwasserbewegungen genauer zu identifizieren
• Anstatt Markierungen auf einen Taucher zu malen und zu versuchen, die zurückgelegte Strecke unter Wasser zu berechnen, hatte das Forschungsteam mit Krikey KI-Animation nun genauere Bewegungsdaten aus der KI Video-zu-Animation-Konvertierung
• Ein zukünftiges Ziel ist es, bestehendes Archivmaterial von Tauchern unter Wasser zu verwenden und die virtuellen Animations-Bewegungsdaten in Minuten zu sehen

Über den Kunden

Das Virtual Embodiment (Virtual Reality) Labor der Cornell University wird von Professorin Andrea Won geleitet. Die Forschung ihres Labors konzentriert sich auf immersive Medien und wie Menschen diese wahrnehmen und erleben, einschließlich Anwendungen im Bereich nonverbales Verhalten, Kommunikation und Zusammenarbeit. Sie promovierte an der Stanford University in der Abteilung für Kommunikation und forschte im Virtual Human Interaction Lab. Der Doktorand von Professorin Won an der Cornell University, Jiahao Liu, leitet das Forschungsprojekt zum Aufbau eines hydrodynamischen Modells für Roboterassistenten von Tauchern.

Dieses Projekt entstand aus einer Zusammenarbeit zwischen dem Lab for Integrated Sensor Control (LISC) unter der Leitung von Prof. Silvia Ferrari und dem Virtual Embodiment Lab (VEL) unter der Leitung von Prof. Andrea Won zum Thema Mensch-Agent-Zusammenarbeit in Unterwasserumgebungen. Um die Fähigkeit von Roboterführern zur Zusammenarbeit mit Tauchern zu verbessern, arbeiten Jia Guo, Postdoc bei LISC, und Sushrut Surve, ebenfalls Doktorand bei LISC, mit Jiahao Liu, Doktorand bei VEL, und anderen Teammitgliedern zusammen, um ein hydrodynamisches Modell von Tauchern zu entwickeln. 

Über Krikey KI

Krikey KI-Animations-Tools ermöglichen es jedem, einen 3D-Charakter in wenigen Minuten zu animieren. Die Charakteranimationen können in Marketing, Tutorials, Spielen, Filmen, sozialen Medien, Lehrplänen und vielem mehr verwendet werden. Zusätzlich zu einem KI-Modell für Video-zu-Animation und Text-zu-Animation bietet Krikey einen 3D-Editor, mit dem Kreative lippensynchronen Dialog hinzufügen, Hintergründe, Gesichtsausdrücke, Handgesten, Kamerawinkel und mehr zu ihren animierten Videos ändern können. Krikeys KI-Tools sind heute online unter www.krikey.ai, in Canva Apps, Adobe Express und auf dem AWS Marketplace verfügbar!

Die Herausforderung

Das Forschungsteam wusste, dass Mensch-Roboter-Interaktionen herausfordernd waren. Sie machten sich daran, einen Tauchsimulator zu bauen, um das Verhalten von Tauchern zu erfassen und verschiedene Unterwasser-Herausforderungen zu simulieren. Sie wollten verstehen, wie Menschen es bevorzugen, dass Roboter sich verhalten, und dass Roboter menschliche Bewegungen unter Wasser verstehen.

Motion-Capture-Forschung unter Wasser

Zunächst identifizierte das VR-Forschungsteam der Cornell University zwei Möglichkeiten, Bewegungen mit virtuellen Animations-Tools zu erfassen. Erstens könnte eine Person in der Simulation einen Motion-Capture-Anzug tragen und durch eine virtuelle Umgebung schwimmen. Zweitens könnte eine Person den Motion-Capture-Anzug unter einem Trockenanzug tragen und durch echtes Wasser schwimmen, was sich jedoch als technisch und logistisch sehr herausfordernd erwies.

Keine dieser Methoden erfasste tatsächlich die Bewegungskennzahl der Translation – wie sich Menschen durch das Wasser bewegen. Dafür mussten sie ein hydrodynamisches Modell entwickeln. Wie weit könnte ein Taucher bei bestimmten Bewegungen und Wasserbedingungen schwimmen?

Aktueller Forschungsprozess für Bewegungsdaten

Bevor das Team der Cornell University Krikey KI zur Messung der Synchronität von Körperbewegungen einsetzte, verwendete es Motion-Capture-Daten und 3D-Rekonstruktions-Software. Als sie jedoch Krikey KI ausprobierten, stellten sie fest, dass es für ihre Forschungsmethodik genauer und bequemer war. Andere Software-Tools hatten Schwierigkeiten, Animationen oder Bewegungsdaten schnell auszugeben, und wenn es zu Okklusionen (Körperteile, die von Objekten verdeckt waren) kam, war es schwierig, genaue Bewegungen zu erhalten. Das Forschungsteam der Cornell University benötigte über 7 Tage, um alternative Software-Tools einzurichten. Mit Krikey KI konnten sie es in weniger als einer Stunde ausprobieren und sofort Ergebnisse sehen. Sie begannen damit, ein Video von sich selbst zu filmen, wie sie in die Kamera winkten, und es in eine Animation umzuwandeln. Als sie die Geschwindigkeit und Genauigkeit des KI Video-zu-Animation-Tools sahen, begannen sie, Videos aus ihrem Datensatz zu testen.

Entwicklung eines hydrodynamischen Modells der Taucherbewegung

Das Ziel des Forschungsteams der Cornell University war es, einen Roboterassistenten zu trainieren, der Tauchern helfen kann. Dazu mussten sie ein hydrodynamisches Modell der Taucherbewegung erstellen, um den Roboter besser darauf trainieren zu können, sich neben dem Taucher zu bewegen. Sie mussten drei Datenströme integrieren: Video, Motion Capture und rekonstruierte Translationsbewegungsdaten. Zunächst waren sie besorgt, da sie einen begrenzten Datensatz an Unterwasser-Motion-Capture-Daten hatten und die Erstellung neuer Datensätze viel Zeit und Kosten in Anspruch nehmen würde. Dann fanden sie die Krikey KI-Animations-Tools.

Die Lösung

So löste das Forschungsteam der Cornell University seine Forschungsherausforderung mithilfe der Krikey KI-Animations-Tools.

Wie Krikey KI die Motion-Capture-Methodik ersetzte

Mit Krikey KI konnte das Forschungsteam des VR-Labors der Cornell University ein einziges Video, das die Bewegung eines Tauchers festhält, verwenden und mit KI Video-zu-Animation die Bewegungsdaten im 3D-Raum mit einem Avatar abrufen. Sie konnten dann die Motion-Capture-Daten aus ihrem ursprünglichen Datensatz mit den Krikey KI-Videorekonstruktionsdaten vergleichen und prüfen, ob sie übereinstimmten. Dies ermöglichte es ihnen, sicherzustellen, dass genauere Videodaten in ihr hydrodynamisches Modell einflossen. In Zukunft hoffen sie, simulierte Daten für viele verschiedene Taucher zu generieren, wodurch die Trainingsdaten für einen Roboter-„Tauchbegleiter“ vielfältiger, genauer und robuster werden.

Zeit sparen und Genauigkeit verbessern

Mit dem erweiterten Datensatz und Krikey KI, das eine einfachere Methodik zur Bewegungsberechnung bietet, konnte das Forschungsteam der Cornell University nun berechnen, wie sich ein Taucher durch das Wasser bewegen würde, einschließlich Geschwindigkeit, Tiefe, Bewegungskraft im Wasser, Entfernung und mehr. Krikey KI war ein wichtiges Software-Tool, das die verschiedenen erforderlichen Datenströme und Berechnungen zusammenführte. Es ermöglichte Geschwindigkeit, Genauigkeit und verkürzte die Zeit für die Durchführung der Forschung.

Effizienz durch Interoperabilität

Das Virtual-Reality-Forschungsteam der Cornell University musste Daten aus Videos, Motion-Capture-Anzug-Trackern integrieren und diese in Unity kombinieren. Krikey KI half ihnen, zwei Probleme zu lösen. Erstens half Krikey KI dabei, die Motion-Capture-Daten mit Videodaten abzugleichen und wurde zu einer Referenzquelle für die Bewegungsberechnung. Zweitens kann Krikey KI dem Forschungsteam in Zukunft ermöglichen, Bewegungsdaten aus archivierten Videos von Tauchern zu extrahieren, wodurch die Notwendigkeit entfällt, neue Datensätze zu erstellen. Mit der Möglichkeit, FBX-Dateien einfach nach Unity zu exportieren, konnte das VR-Forschungsteam Krikey KI-Animation nutzen, um wichtige Bewegungskennzahlen in ihrer Forschung zu identifizieren.

Der Forscher der Cornell University, Jiahao Liu, erstellte ein Skript, um die Rigs aus Motion Capture und Krikey KI FBX-Dateien zu verbinden. Er konnte die Bewegungskennzahlen Position, Rotation und Orientierung schnell identifizieren und genau messen, was eine hilfreiche Quelle für das hydrodynamische Modell darstellen würde.

Wie Krikey KI im Virtual Reality Forschungslabor der Cornell University eingesetzt wurde

Das Forschungsteam des Virtual Reality (VR) Labors der Cornell University nutzte das Krikey KI-Animations-Tool auf vielfältige Weise, um seine Forschungsmethodik zu transformieren.

KI Video zu Animation

Krikeys KI Video-zu-Animation-Tool ermöglichte es dem Cornell-Forschungsteam, jedes Video zu verwenden und es in eine Animation umzuwandeln, anstatt sich nur auf spezifische Motion-Capture-Datensätze zu verlassen. Dies erweiterte ihren Datenbestand und trug dazu bei, die Ausgabe ihres hydrodynamischen Bewegungsmodells zu stärken.

Kamerawinkel

Der Video-Editor von Krikey KI ermöglicht es Kunden, Kamerawinkel hinzuzufügen, sodass sie jede Animation aus verschiedenen Blickwinkeln sehen und sofort in einem Viewer visualisieren können. Dies half dem Cornell-Forschungsteam sicherzustellen, dass ihre Video-zu-Animation-Dateien verwendbar waren und aus mehreren Winkeln visuell überprüft wurden, bevor sie exportiert und in Zahlen in einem Blatt umgewandelt wurden.

FBX Export

Krikey KIs FBX-Dateiexport half dem Cornell-Forschungsteam, ihre Animationen in das Unity-Software-Tool zu übertragen, wo sie diese weiter manipulieren, die Daten mit ihrem früheren Motion-Capture-Datensatz verbinden (um die Genauigkeit dieses Datensatzes zu stärken) und auch wichtige Bewegungskennzahlen extrahieren konnten. Die Animationsausgaben von Krikey KI waren leicht mit diesen zusätzlichen Software-Tools interoperabel, wodurch es dem Team der Cornell University einfach und nahtlos möglich war, Krikey KI in ihrem Forschungsworkflow zu verwenden.

"Krikey KI wurde zu einer Referenzquelle für die Bewegungsberechnung in unserem Forschungslabor der Cornell University. KI Video zu Animation erweiterte unseren Datensatz und ermöglichte es uns, mit bestehenden Videos zu arbeiten, anstatt Zeit mit der Erstellung neuer Datensätze zu verbringen. Das Krikey KI-Animations-Tool hat unserem Team bei der Durchführung dieses Forschungsprojekts viel Zeit und Geld gespart." ~ Professor Andrea Won, Cornell University