Fingertracking

Optisches Fingertracking für immersive Anwendungen

ART Fingertracking2 erfasst die Orientierung und Position der Hand und einzelner Finger in einem ART-Tracking-System. Handrücken-Targets und Fingerhüte mit Aktivmarkern machen die Bewegungen für die Trackingkameras sichtbar. Damit lassen sich Hände gemeinsam mit Kopf, Interaktionsgeräten und weiteren Targets in einem einheitlichen Koordinatensystem verfolgen.

Der besondere Vorteil liegt an den Fingerspitzen: Dort sitzen synchronisierte LEDs, die von den Kameras erfasst werden. Hohe Genauigkeit steht damit genau dort zur Verfügung, wo die Interaktion der realen Hand mit virtuellen Knöpfen und Schaltern stattfindet. Die Biegung der einzelnen Fingergelenke wird aus der Fingerspitzenposition und der Pose des Handrückens durch inverse Kinematik berechnet. Dehnungsmesstreifen-basierte Handschuhe wie der CyberGlove leiten dagegen die Fingerpose aus den einzelnen Gelenkwinkeln ab, wodurch sich von der Handbasis bis zu den Fingerspitzen Messfehler summieren.

Es wird kein geschlossener Handschuh getragen, den mehrere Personen nacheinander nutzen. Die Fingerhüte und das Handrücken-Target sind offen konstruiert, also einzeln zu tragen und nicht in einen Handschuh integriert. Das ist bei wechselnden Nutzern in Demonstrationen, Schulungen und Design-Reviews hygienischer.

Das Video zeigt die Interaktion mit einem virtuellen Board in Unity in einer immersiven Projektionsumgebung. Es soll darstellen, dass die hohe Genauigkeit der Interaktion nicht nur mit der im Raum feststehenden virtuellen Umgebung, sondern auch mit bewegten und getrackten virtuellen Objekten erreicht wird. Die Positionsdaten aller getrackten Objekte und der Hände werden dabei in einem einheitlichen Koordinatensystem ausgegeben.

Eigenschaften und Varianten

• Drei oder fünf Finger: verfügbar als 3-Finger- und 5-Finger-Konfiguration
• Optionales taktiles Feedback: die 3-Finger-Tactile-Version gibt über Vibrationsmotoren in den Fingerhüten Rückmeldung bei virtuellen Kontakten
• Multi-User: unterstützt bis zu zwei Nutzer beziehungsweise vier Hände
• Komplette Fingerhut-Sätze: 3-Finger- und 5-Finger-Sätze in den Größen XS, S, M und L sind enthalten
• Hand-Targets und Funkverbindung: Fingerhüte sind mit den Handrücken-Targets durch Kabel verbunden; die Verbindung zwischen Hand-Targets und Trackingsystem ist kabellos; Stromversorgung: zwei AAA-Akkus pro Hand-Target; Ladegerät im Lieferumfang
• ART-Kamerakompatibilität: kompatibel mit AT6/M, AT7-80, AT7-50, ARTTRACK5 und ARTTRACK5/C bis 300 Hz
• Kompatibilität mit DTRACK: Fingertracking2 wird in allen DTRACK3- und DTRACK4-Versionen unterstützt
• Softwareanbindung: DTRACK SDK, VRPN sowie ART-Plugins für Unity und Unreal Engine

Der typische Erfassungsbereich beträgt unter den im Datenblatt beschriebenen Referenzbedingungen 4–5 m. Die tatsächlich erreichbare Reichweite hängt unter anderem von Kamera, Objektiv, Targetposition und LED-Einstellung ab.

Anwendungsfelder

CAVE und Powerwall

In Projektionssystemen ergänzt Fingertracking das Kopf- und Objekttracking um die Handinteraktion. Nutzer können virtuelle Bauteile zeigen, greifen oder Bedienkonzepte erproben, ohne den räumlichen Bezug zur CAVE oder Powerwall zu verlieren. Die reale Hand überdeckt dort die virtuelle Hand. Vibro-taktiles Feedback an den Fingerhüten meldet den Kontakt mit virtuellen Objekten auch dann, wenn die virtuelle Hand visuell verdeckt ist, und erhöht so die Immersion. Beispiel: Luft- und Raumfahrtsimulation mit gebogener Powerwall — Fingertracking für Handposition und -orientierung vor einem großformatigen Display.

Virtuelle Entwicklung und Design-Reviews

Bei virtuellen Prototypen lassen sich Bedienabläufe und Mensch-Fahrzeug-Interaktionen untersuchen, bevor ein vollständiges physisches Modell vorliegt. Beispiel: Im Italdesign Concept Lab ergänzen Fingertracking und Flystick das optische Tracking für immersive Design-Reviews.

Training und Simulation

Exakte Fingerbewegungen können für manche Trainingsanwendungen als Eingabedaten erforderlich sein. Das Vibro-Feedback meldet Kontakte mit virtuellen Objekten an die Fingerspitzen des Nutzers zurück. Die Anwendungssoftware beurteilt dabei, ob ein Kontakt gegeben ist. Die Rückmeldung von der Anwendungssoftware zum Nutzer erfolgt drahtlos über die DTRACK-Software. Beispiel: Der VR CAVE an der BHT Berlin nutzt Handtracking in immersiven Trainingsszenarien — von technischen Simulationen bis zu anwendungsnahen Abläufen.

Forschung, Motion Capture und HRI

Fingertracking eignet sich für Untersuchungen zu natürlicher Interaktion, Ergonomie, Gestensteuerung und Human-Robot Interaction (HRI). Beispiel: Im HRI-Labor der Universität Kassel dient Fingertracking der Gestensteuerung bei der Teleoperation mobiler Roboter und Drohnen. Weitere Lösungsbereiche: Forschung & Lehre und Robotik & HRI.

Integration mit DTRACK4

Fingertracking2 wird zusammen mit den ART-Kameras in DTRACK3 und DTRACK4 betrieben. Für eigene Anwendungen stehen das DTRACK SDK und VRPN zur Verfügung; für Echtzeit-Engines gibt es ART-Plugins für Unity und Unreal Engine. Weitere Informationen zu Geräteunterstützung, Ausgabeformaten und Plugins finden Sie bei den DTRACK4-Funktionen.

Downloads und nächste Schritte

• Technisches Datenblatt Fingertracking2
• Quickguide Fingertracking2 Tactile
• Projekt und Systemauslegung besprechen

Häufige Fragen

Ist Fingertracking dasselbe wie markerloses Handtracking?

Nein. ART Fingertracking2 benötigt die Hand-Targets als Hardware und misst Positionen der Fingerspitzen typischerweise im 1-mm-Genauigkeitsbereich. Es ist dadurch besonders geeignet für die manuelle Interaktion mit virtuellen Objekten. Markerloses Handtracking liefert keine vergleichbaren Genauigkeiten und ist daher eher für Gestenerkennung geeignet.

Wie viele Hände können gleichzeitig erfasst werden?

Die maximale Systemkonfiguration umfasst zwei Nutzer beziehungsweise vier Hände.

Funktioniert Fingertracking in einer CAVE oder an einer Powerwall?

Ja, sofern das Trackingvolumen und die Kamerapositionen für das jeweilige Projekt passend ausgelegt sind. Das System ist für immersive Anwendungen konzipiert und lässt sich mit Kopf-, Objekt- und Interaktions-Tracking kombinieren.

Wie viele Trackingkameras sollte ich für das Fingertracking einsetzen?

Für eine sinnvolle Arbeit mit ART Fingertracking2 sind Trackingkameras nötig, die die Hände der Nutzer von oben vorne, oben hinten und unten vorne erfassen. Es wird also mindestens ein System mit 6 ART-Trackingkameras empfohlen.