Fingertracking

Optisches Fingertracking für immersive Anwendungen

Fingertracking2 erfasst die Orientierung der Hand und die Position einzelner Finger in einem ART-Tracking-System. Hand-Targets und Fingerhüte machen die Bewegungen für die Trackingkameras sichtbar. Damit lassen sich Hände gemeinsam mit Kopf, Interaktionsgeräten und weiteren Targets in einem einheitlichen Koordinatensystem verfolgen.

Der besondere Vorteil liegt an den Fingerspitzen: Dort sitzen die LEDs, die von den Kameras erfasst werden. Die Genauigkeit steht damit genau dort zur Verfügung, wo die virtuelle Interaktion mit Knöpfen und Schaltern entschieden wird. Dehnungsmesstreifen-basierte Handschuhe wie der CyberGlove leiten die Fingerpose aus der Gelenkbiegung ab. Fingertracking2 misst die Fingerspitze direkt optisch.

Es wird kein geschlossener Handschuh getragen, den mehrere Personen nacheinander nutzen. Fingerhüte und Hand-Target werden einzeln angelegt. Das ist bei wechselnden Nutzern in Demonstrationen, Schulungen und Design-Reviews hygienischer.

Das Video zeigt die Interaktion mit einem virtuellen Board in Unity in einer immersiven Projektionsumgebung. Solche Setups verbinden Fingertracking mit einer CAVE oder Powerwall, damit Nutzer virtuelle Inhalte direkt mit der Hand bedienen können.

Eigenschaften und Varianten

• Drei oder fünf Finger: verfügbar als 3-Finger- und 5-Finger-Konfiguration
• Optionales taktiles Feedback: die 3-Finger-Tactile-Version gibt über Vibrationsmotoren in den Fingerhüten Rückmeldung bei virtuellen Kontakten
• Multi-User: unterstützt bis zu zwei Nutzer beziehungsweise vier Hände
• Komplette Hülsensätze: 3-Finger- und 5-Finger-Sätze in den Größen XS, S, M und L sind enthalten
• Kabellose Hand-Targets: zwei AAA-Akkus pro Hand-Target; Ladegerät im Lieferumfang
• ART-Kamerakompatibilität: kompatibel mit ART-Trackingsystemen bis 300 Hz
• Softwareanbindung: DTRACK SDK, VRPN sowie ART-Plugins für Unity und Unreal Engine

Der typische Erfassungsbereich beträgt unter den im Datenblatt beschriebenen Referenzbedingungen 4–5 m. Die tatsächlich erreichbare Reichweite hängt unter anderem von Kamera, Objektiv, Targetposition und LED-Einstellung ab.

Anwendungsfelder

CAVE und Powerwall

In Projektionssystemen ergänzt Fingertracking das Kopf- und Objekttracking um die Handinteraktion. Nutzer können virtuelle Bauteile zeigen, greifen oder Bedienkonzepte erproben, ohne den räumlichen Bezug zur CAVE oder Powerwall zu verlieren. Die reale Hand überdeckt dort die virtuelle Hand. Vibro-taktiles Feedback an den Fingerhüten meldet den Kontakt mit virtuellen Objekten auch dann, wenn die virtuelle Hand visuell verdeckt ist, und erhöht so die Immersion. Das Projekt Luft- und Raumfahrtsimulation mit gebogener Powerwall zeigt Fingertracking für Handposition und -orientierung vor einem großformatigen Display.

Virtuelle Entwicklung und Design-Reviews

Bei virtuellen Prototypen lassen sich Bedienabläufe und Mensch-Fahrzeug-Interaktionen untersuchen, bevor ein vollständiges physisches Modell vorliegt. Im Italdesign Concept Lab ergänzen Fingertracking und Flystick das optische Tracking für immersive Design-Reviews.

Training und Simulation

Fingerbewegungen können in Trainingsanwendungen als Eingabe dienen oder mit taktilem Feedback verbunden werden. Die Anwendung entscheidet über die Bedeutung eines Kontakts; das Tactile-System überträgt das Vibrationssignal drahtlos an die Fingerhüte.

Forschung, Motion Capture und HRI

Fingertracking eignet sich für Untersuchungen zu natürlicher Interaktion, Ergonomie, Gestensteuerung und Human-Robot Interaction (HRI). Relevante Lösungsbereiche sind Forschung & Lehre und Robotik & HRI.

Integration mit DTRACK4

Fingertracking2 wird zusammen mit den ART-Kameras in DTRACK4 betrieben. Für eigene Anwendungen stehen das DTRACK SDK und VRPN zur Verfügung; für Echtzeit-Engines gibt es ART-Plugins für Unity und Unreal Engine. Weitere Informationen zu Geräteunterstützung, Ausgabeformaten und Plugins finden Sie bei den DTRACK4-Funktionen.

Downloads und nächste Schritte

• Technisches Datenblatt Fingertracking2
• Quickguide Fingertracking2 Tactile
• Projekt und Systemauslegung besprechen

Häufige Fragen

Ist Fingertracking dasselbe wie markerloses Handtracking?

Nein. Fingertracking2 ist ein optisches ART-Trackingprodukt mit Hand-Targets und Fingerhüte. Die Positionen werden zusammen mit anderen ART-Targets im DTRACK-Koordinatensystem erfasst.

Wie viele Hände können gleichzeitig erfasst werden?

Die maximale Systemkonfiguration umfasst zwei Nutzer beziehungsweise vier Hände.

Funktioniert Fingertracking in einer CAVE oder an einer Powerwall?

Ja, sofern das Trackingvolumen und die Kamerasicht für das jeweilige Projekt passend ausgelegt sind. Das System ist für immersive Anwendungen konzipiert und lässt sich mit Kopf-, Objekt- und Interaktions-Tracking kombinieren.