Gewusst wie: Hinzufügen einer Ganzkörper-Bewegungsverfolgung zur HoloLens mit einem Kinect

0 Shares

Dank Project-Infrared gibt es jetzt eine ziemlich einfache Möglichkeit, der HoloLens Motion Tracking hinzuzufügen: Verbinden Sie sie mit einem Kinect.

Wavelength LLC hat eine Möglichkeit geschaffen, Microsoft Kinect als Motion-Tracking-Eingabegerät für HoloLens zum Laufen zu bringen, über das mein Kollege Adam Dachis im Oktober schrieb. Einige Tage später veröffentlichten der CEO von Wavelength LLC, Kyle G., und sein Team Project-Infrared als Open-Source-GitHub-Repository für die Community.

Project-Infrared ist ein Bewegungsverfolgungssystem, das Microsoft Kinect und HoloLens verwendet. Der Kinect nimmt die Eingaben aus der Bewegung des Benutzers auf und überträgt einen Avatar, der die Bewegung des Benutzers nachahmt und auf der Microsoft HoloLens anzeigt.

Das HoloLens-Sensorarray verwendet dieselbe Technologie wie der Kinect, um die Handbewegung zu verfolgen und den Raum zu erfassen, in dem Sie sich befinden. In diesem Fall dient der externe Kinect hauptsächlich der Verfolgung des gesamten Körpers. Dies macht den Kinect zu einer der einfachsten Möglichkeiten für Entwickler, ihren Mixed-Reality-Anwendungen natürliche Echtzeit-Interaktivität zu verleihen. Falls Sie unseren vorherigen Beitrag darüber verpasst haben, sieht das Endergebnis folgendermaßen aus:

Warum Bewegungsverfolgung?

Als Entwickler, Designer und Entwickler suchen wir immer nach neuen und aufregenden Möglichkeiten, um mit unseren verschiedenen ausgewählten Plattformen zu interagieren. Mit mehr Eingabemöglichkeiten kommen neue und einzigartige Lösungen für die Probleme, die wir zu lösen versuchen. Motion Capture wird seit Jahren von der Film- und Spielebranche aufgrund seiner ausdrucksstarken Details verwendet – von Handbewegungen über Körpersprache bis hin zu Gesichtszügen wird alles auf dem Bildschirm erfasst und nachgeahmt.

Die weltberühmte experimentelle Musikerin und künstlerische Pionierin Björk hielt kürzlich eine Pressekonferenz in einem Motion-Capture-Ganzkörperanzug mit einem 3D-modellierten Avatar ab, um sich von ihrem Heimatland Island nach London zu teleportieren. Dies ist ziemlich ähnlich zu dem, was viele versucht haben, mit der HoloLens und “Holoportation” zu tun.

Björk nutzte dieses Setup zusammen mit Aphex Twin und anderen für das Day For Night-Event, eine Licht- und Tonkunstinstallation und -performance, die am 17. und 18. Dezember in Houston, Texas, stattfand.

Pressekonferenz der Einheit.

Die Bewegungserfassung ist zwar im Detail erstaunlich, stößt jedoch auf Probleme, da ein Ganzkörperanzug mit verschiedenen Arten von Markern, äußerst kostspielige Erfassungsgeräte und große Räume zum Filmen erforderlich sind. Björks Setup ist eine sehr teure Lösung – etwas, das sich ein normaler Indie-Entwickler allein niemals leisten könnte. Zum Glück haben wir den Microsoft Kinect.

Was ist die Lösung für uns?

Geben Sie Motion-Tracking ein, mit dem der gesamte Körper eines Benutzers verfolgt wird, damit er sein Gerät ohne Spezialanzug und auf kleinstem Raum steuern kann. Im Vergleich zur Bewegungserfassung ist die Bewegungsverfolgung eine relativ junge Technologie und weitaus weniger ausgefeilt. Damit es sich weiterentwickelt, brauchen wir Menschen, die Ideen und neue Anwendungsfälle entwickeln.

Der einzige Weg, dies zu tun, besteht darin, auf den Erfolgen des anderen aufzubauen. Kyle G. von Wavelength sagt, er habe den Code für ihr Projekt-Infrarot als Open Source veröffentlicht, um den Bedürfnissen eines Pädagogen in der Gemeinde gerecht zu werden: “Ich kann den Schülern das Lernen nicht verweigern. Es ist Teil meiner Überzeugung, dass keine Schule zurückgelassen wird.” “”

Lassen Sie uns in diesem Sinne durchgehen, wie dieses Projekt eingerichtet wird und was wir damit machen können.

Lassen Sie uns zunächst sammeln, was wir brauchen werden:

Jetzt gehe ich von fundierten Kenntnissen über die Entwicklung von Unity und HoloLens im Allgemeinen aus, einschließlich der Fähigkeit, Code für HoloLens oder HoloLens Emulator zu erstellen, zu kompilieren und bereitzustellen.

Richten Sie Ihre Hardware ein und installieren Sie Project-Infrared

Stellen Sie zunächst sicher, dass Kinect für Windows Runtime 2.0 installiert ist. Stellen Sie dann sicher, dass Ihr Kinect mit dem Kinect-Adapter für Windows eingerichtet und mit Ihrem PC verbunden ist.

Angenommen, Sie haben Visual Studio und Unity3D installiert, laden Sie die Project-Infrared ZIP-Datei herunter, öffnen Sie sie und extrahieren Sie sie in einen Ordner. Benennen Sie der Einfachheit halber das Stammprojektverzeichnis von um Projekt-Infrarot-Master zu ProjectIR.

Laden Sie Unity3D, vorausgesetzt, Sie haben Ihr Konto angemeldet, und klicken Sie dann auf Öffnen Möglichkeit.
Navigieren Sie zum ProjectIR-Verzeichnis und drücken Sie die Taste Ordner auswählen Taste.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Öffnen Sie den ProjectIR-Ordner.

Der Import- und Einrichtungsprozess kann selbst auf guten Computern eine Weile dauern. Wenn Sie fertig sind, sollte Ihr Computerbildschirm ungefähr so ​​aussehen:

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Keine Panik, wenn Ihr Farbschema etwas anders ist … Ich verwende die Pro-Version.

Nun, wenn Sie sich die ansehen Projekt Im Fenster sehen Sie einen Stammordner namens Assets. Wählen Sie es aus, und Sie sollten Folgendes sehen:

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Doppelklicken Sie auf MainScene.

Wenn die Szene geladen wird, wird ein Raster mit einem großen vertikalen Rechteck in der Mitte angezeigt. Jetzt drück die abspielen Schaltfläche im oberen mittleren Bereich des Fensters.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Wenn Ihr Kinect richtig eingerichtet ist, sollten Sie etwas in der Nähe sehen.

Wenn die Testszene funktioniert, ist es Zeit, die eigentliche Anwendung in Gang zu bringen. Schlagen Sie die abspielen erneut drücken, um den Spielemodus zu beenden. Klicken Sie nun auf die Vermögenswerte Ordner wieder in der Projekt Fenster. Sie sollten zwei Szenen rechts im rechten Fenster sehen: Rx und Tx.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Der Ordner “Assets”.

Wie funktioniert das? Der Rx-Build wird auf der HoloLens bereitgestellt und ausgeführt. Die Tx-Szene funktioniert als eigenständige App, kann jedoch direkt in Unity ausgeführt werden. Beide stellen eine Verbindung zum HoloToolkit-Freigabedienst her.

Doppelklicken Sie auf Rx. In dem HoloToolkit-MenüGehen Sie mit der Maus zum Hauptmenü Konfigurierenund klicken Sie auf Wenden Sie die HoloLens-Projekteinstellungen an. Dann, bauen,kompilieren und bereitstellen diese Szene zu Ihrer HoloLens.

Doppelklicken Sie nun auf Tx Szene. Unter dem HoloToolkit Menü auswählen Starten Sie den Freigabedienst und ein DOS-Fenster wird geöffnet. Wenn Sie den Freigabedienst zum ersten Mal ausführen, wird ein Berechtigungsfenster angezeigt. Sie sollten zulassen, dass der Dienst ausgeführt wird und auf Ihr Netzwerk zugreift.

Schlagen Sie die abspielen Nochmals Knopf. Warten Sie einige Sekunden und stehen Sie dann vor Ihrem Kinect auf. Wenn alles funktioniert, sollten Sie Dr. Mortimer und den Bildschirm sehen:

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Die reibungslosen Algorithmen müssen noch etwas bearbeitet werden, aber es ist ein guter Anfang.

Probieren wir es jetzt aus: Testen der Anwendung

Nachdem Ihre App in Unity ausgeführt wird, ist es an der Zeit, die HoloLens-Version auszuführen. Setzen Sie Ihre HoloLens auf, blühen Sie zum Startmenü, tippen Sie auf das Pluszeichen rechts, um zur Apps-Liste zu gelangen, und starten Sie die App.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Tippen Sie auf KHL_TxRx, um Project Infrared auf die HoloLens zu laden.

Nach einigen Sekunden des Unity-Logos und einer kurzen Wartezeit, bis die Daten die HoloLens erreichen, sollte etwas Ähnliches wie im Bild unten angezeigt werden.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Der Doktor ist im … virtuellen Raum!

Glückwunsch! Sie haben jetzt funktionierende Bewegungsverfolgung. Tanzen Sie herum und sehen Sie Mortimer auch tanzen. In seinem aktuellen Zustand gibt es nicht viele Optionen, in die man sich vertiefen kann, aber es gibt drei Avatare, die man ausprobieren kann. In der Avatar-Quellansicht können Sie den Avatar-Asset-Namen von Mortimer in Jill oder Parasite_L_Starkie ändern, indem Sie den Namen in das Eingabefeld eingeben.

So fügen Sie der HoloLens mit einem Kinect eine Ganzkörper-Bewegungsverfolgung hinzu

Wenn Sie die Avatar-Namen vergessen haben, schauen Sie einfach im Asset / Resources-Verzeichnis nach.

Behalten Sie das GitHub-Repository von Wavelength im Auge, um Updates und die neuesten Korrekturen zu erhalten. Sobald sich die Bewegungsverfolgung über einige Generationen verbessert hat, werden wir diese Art von Setups wahrscheinlich immer häufiger sehen. Und wer weiß? Vielleicht muss Björk das nächste Mal keinen Anzug tragen, um ihren 3D-Avatar zu kontrollieren.

0 Shares