Human-Computer Interaction

Multimodal Interface for a Mixed Reality Boardgame

This project is already completed.

Das XRoads Projekt setzt das Rollen-/Tabletop-Spiel Quest - Zeit der Helden in einer cross-reality Version um. Die aktuelle Implementierung umfasst ein Kampfszenario, welches über verschiedene Eingaben gesteuert werden kann:

Zielsetzung

Dieser Stand wird im Verlauf der Arbeit um ein multimodales Interface zur Steuerung des Spielgeschehens über eine Kombination von Gesten- bzw. Touchinteraktion und Spracheingabe erweitert. Dies ermöglicht den Einsatz von neuen Spielmechaniken und Strategien, wie z.B. kooperative Aktionen, die durch die Kombination der oben genannten Eingaben, im gemeinsamen Interaktionsraum des mixed-reality Boardgames besser koordiniert werden können. Des Weiteren können Probleme, die bei der Touchinteraktion auftreten verbessert werden. Beispielsweise erschwert die Verdeckung des Ringmenüs durch andere Spielfiguren (vgl. Abbildung) die Auswahl der entsprechenden Aktion über Touch. Durch eine Auswahl per Sprache kann dieses Problem umgangen werden. Außerdem kann die Spracheingabe zum einen dazu verwendet werden, um die Robustheit der Erkennung zu erhöhen, indem sie bei Gesten, die theoretisch allein aufgrund ihrer Ausführung erkannt werden könnten, zusätzlich als redundante Information eingesetzt wird. Zum anderen kann die Spracheingabe komplementär eingesetzt werden, d.h. bei gleichen Gesten ist die Information der Sprache nötig, um die korrekte Aktion zu erkennen.

Ein beispielhafter Einsatzbereich im Spiel sieht folgendermaßen aus:

Die Implementierung der Gesten und Sprachsteuerung wird auf Grundlage des multimodal in- teraction processing toolkits miPro (Latoschik und Fischbach, 2014) erfolgen.

Aufgabenstellung

Aktueller Stand des Mixed-Reality-Brettspiels

Betreuer

M.Sc. Martin Fischbach
Telefon: 0931 31 86314
E-Mail: martin.fischbach@uni-wuerzburg.de

Contact Persons at the University Würzburg

Martin Fischbach
Mensch-Computer-Interaktion, Universität Würzburg
martin.fischbach@uni-wuerzburg.de

Legal Information