Sven Milde, Tabea Runzheimer, Stefan Friesen, Rainer Blum, Jan-Torsten Milde
Für die Untersuchung der sprachlich-gestischen Interaktion mit dem CityBot, einem autonomen mobilen Roboter, wurde ein mobiles
VR-basiertes Usability-Labor entwickelt. Zielsetzung war es dabei, die Usabilitytests möglichst flexibel gestalten zu können und somit
die Beschränkungen physischer Labore zu umgehen. Technisch wurde das mobile Usability-Labor mit einem aktuellen VR-Headset
(Meta Quest 2) realisiert. Die Kontrolle der Experimente erfolgt über einen handelsüblichen Rechner. Headset und Kontrollrechner
nutzen ein gemeinsames lokales Netzwerk. Das vorgestellte mobile VR-basierte Usability-Labor erlaubt so die ortsunabhängige, flexible
und effiziente Durchführung von “Wizard of OZ” Experimenten.
Additional Key Words and Phrases: VR technology, mobile usability lab, multi modal, human robot interaction
1 SYSTEMARCHITEKTUR: SIMULATION UND WEBTOOL
Die zwei zentralen Komponenten des hier vorgestellten mobilen Usability-Labors sind die Simulation in der virtuellen Realität,
welche die Proband:in während des Tests über ein VR-Headset wahrnimmt und das Webtool, das die zielgerichtete
Kontrolle der Simulation durch das Untersuchungsteam ermöglicht (siehe Abbildung 1: Systemarchitekur).
Die eigenentwickelte Simulation basiert auf einer VR-Anwendung (see [SCNTF19]) für rechnerunabhängige Androidsysteme.
Über ein lokales Netzwerk empfängt die VR-Anwendung Befehle zur räumlichen Steuerung von Objekten
in der Szene, der zielgerichteten Ausgabe von Klängen und Sprache, sowie der Kontrolle der visuellen Eigenschaften der
simulierten Objekte. So wird für die Proband:in ein glaubhaftes intelligentes Verhalten des Roboters durch kontrollierte
Eingaben des (menschlichen) „Wizards“ erzeugt. In der Folge wird die Mensch-Maschine-Interaktion multidimensional
aufgezeichnet, und so die Reaktionen der Proband:in auf unterschiedliche Handlungen erfasst.
Im System werden hierzu die Tracking-, Video- und Audiodaten von dem VR-Headset und dem Browserfenster
aufgezeichnet. Zusätzlich erfasst das System das Geschehen über eine externe Stereokamera, mit der die Postur der
Proband:in über Skelett- und Tiefendaten ausgewertet werden kann (siehe Abbildung 3: Posturerkennung). Am Ende
des Experiments werden alle gesammelten Daten in einem Datensatz zusammengefasst und als Download im Webtool
für die nachfolgende Auswertung bereitgestellt.
1.1 Technik
Die VR-Anwendung wurde mit der Spielengine Unity 3D entwickelt und nutzt die Oculus Integration Erweiterung, um
direkt auf Systemfunktionen des Headsets (siehe [Met22]) zuzugreifen. Zum Senden und Empfangen der Steuerungsbefehle,
wird das Open Sound Control-Protokoll (kurz OSC) eingesetzt, welches seine ursprüngliche Verwendung im
Audiobereich hat, und die effiziente Übertragung von Steuerungsdaten ermöglicht (siehe [Ope22]). Das Webtool wird
lokal von einem Node.js-Server gehostet und lässt sich mit einem Browser bedienen. Das Videodaten des VR-Headsets
werden in Echtzeit auf den Kontrollrechner übertragen und per scrcpy gespeichert. Für die Aufzeichnung des Webtools
wird das nativ im Browser verfügbare Media Stream API eingesetzt. Der gesammelte Download des Datensatzes wird
mit dem Nodemodul JSZip erzeugt.
2 BEDIENUNG
Für die Verwendung des Systems im Rahmen eines Wizard of Oz Experiments (siehe [DJA93], [SC93]) müssen mehrere
Schritte beachtet werden. Zunächst muss ein lokales WLAN-Netzwerk aufgebaut werden. Hierfür kann ein Computer
mit Hotspot-Funktion oder ein externer Router verwendet werden. Eine aktive Internetverbindung ist nicht nötig.
Im VR-Headset richtet man anschließend den physischen Bereich ein, in dem sich die Proband:in bewegen darf und
verbindet die VR-Brille mit dem lokalen Netzwerk. Um kontrollieren zu können, was die Proband:in in der Simulation
wahrnimmt, wird eine kabellose Verbindung zum VR-Headset hergestellt. Bevor dann die eigentliche VR-Anwendung
gestartet wird sollte sichergestellt werden, dass die Proband:in sich mittig im Testbereich befindet, damit die Elemente
des Testszenarios an den (physikalisch) korrekten Koordinaten positioniert werden. Dies lässt sich einfach über die
eingebaute Ausrichtungsfunktion des VR-Headsets bewerkstelligen. Vor dem Starten des Webtools sollten außerdem
externe Geräte wie ein Midi-Keyboard für die Audiosteuerung oder weitere Aufnahmegeräte an den Steuerungsrechner
angeschlossen werden.
Eingesetzte Technik
Für die Verwendung des Systems im Rahmen eines Wizard of Oz Experiments (siehe [DJA93], [SC93]) müssen mehrere
Schritte beachtet werden. Zunächst muss ein lokales WLAN-Netzwerk aufgebaut werden. Hierfür kann ein Computer
mit Hotspot-Funktion oder ein externer Router verwendet werden. Eine aktive Internetverbindung ist nicht nötig.
Im VR-Headset richtet man anschließend den physischen Bereich ein, in dem sich die Proband:in bewegen darf und
verbindet die VR-Brille mit dem lokalen Netzwerk. Um kontrollieren zu können, was die Proband:in in der Simulation
wahrnimmt, wird eine kabellose Verbindung zum VR-Headset hergestellt. Bevor dann die eigentliche VR-Anwendung
gestartet wird sollte sichergestellt werden, dass die Proband:in sich mittig im Testbereich befindet, damit die Elemente
des Testszenarios an den (physikalisch) korrekten Koordinaten positioniert werden. Dies lässt sich einfach über die
eingebaute Ausrichtungsfunktion des VR-Headsets bewerkstelligen. Vor dem Starten des Webtools sollten außerdem
externe Geräte wie ein Midi-Keyboard für die Audiosteuerung oder weitere Aufnahmegeräte an den Steuerungsrechner
angeschlossen werden.
Anschließend können VR-Anwendung und Webtool gestartet werden und über OSC kommunizieren. In dieser Basiskonfiguration
(Kontrollrechner + VR-Headset) ist das System einsatzbereit und es können Experimente durchgeführt werden.
Für einen erweiterten Testaufbau bietet sich die Nutzung mehrerer Monitore an, die die jeweiligen Streams zeigen.
Der Moderator sollte Einblick in die Übertragung des VR-Headsets bekommen, um zu sehen ob und wie der Wizard
reagiert hat. Wizard und Protokollanten sollten ebenfalls den Stream der VR-Brille sehen können und der Wizard
benötigt einen Monitor zur Überwachung der eingehenden und ausgehenden Daten (siehe Abbildung 4).
3 ERFAHRUNGEN IN DER NUTZUNG UND FAZIT
In ersten Tests konnte der Wizard gut reagieren und den Proband:innen wurde nicht bewusst, dass der CityBot (siehe
[EDA22]) von außen gesteuert wurde. Sie nahmen den CityBot als „intelligent“ wahr und agierten in natürlicher Weise.
Es wurden drei Testserien in zwei Szenarien (siehe Abbildung 5: Szenarien) durchgeführt (siehe [RC08]). Hierbei
sollte der CityBot per Gestik, Sprache und kombinierter Nutzung von Sprache und Gestik kontrolliert werden. Im
Szenario “Strasse” wurde untersucht, mit welchen kommunikativen Mittel die Proband:innen die Geschwindigkeit und
Fahrtrichtung des CityBots steuern. Im Szenario “Tiefgarage” sollte der CityBot an einen vorgegebenen Zielpunkt (in
der Simulation visuell markiert) dirigiert werden, wobei die Proband:innen hier selbst entscheiden sollten, wann dieses
Ziel erreicht war.
Abbildung 5: Die Testszenarien innerhalb des Anwendungsfalls. In der Lobby kann aus mehreren Szenarien gewählt werden: Tiefgarage, Strasse oder Experimentell.
3 ERFAHRUNGEN IN DER NUTZUNG UND FAZIT
In ersten Tests konnte der Wizard gut reagieren und den Proband:innen wurde nicht bewusst, dass der CityBot (siehe
[EDA22]) von außen gesteuert wurde. Sie nahmen den CityBot als „intelligent“ wahr und agierten in natürlicher Weise.
Es wurden drei Testserien in zwei Szenarien (siehe Abbildung 5: Szenarien) durchgeführt (siehe [RC08]). Hierbei
sollte der CityBot per Gestik, Sprache und kombinierter Nutzung von Sprache und Gestik kontrolliert werden. Im
Szenario “Strasse” wurde untersucht, mit welchen kommunikativen Mittel die Proband:innen die Geschwindigkeit und
Fahrtrichtung des CityBots steuern. Im Szenario “Tiefgarage” sollte der CityBot an einen vorgegebenen Zielpunkt (in
der Simulation visuell markiert) dirigiert werden, wobei die Proband:innen hier selbst entscheiden sollten, wann dieses
Ziel erreicht war.
Unter technischen Aspekten zeigte es sich, das die Latenzzeiten in der Übertragung zwischen Webtool und VRAnwendung
im akzeptablen Bereich liegen, lediglich die Übertragung des Streams vom VR-Headset wies zeitweise
leichte Verzögerungen auf. Um die Daten anschließend synchronisieren zu können wurden die Proband:innen mehrfach
im Test dazu aufgefordert zu klatschen und so einen akustischen Synchronisationspunkt zu setzen. Zusätzlich kann
eine physische Uhr mit Hundertstel-Anzeige im Bereich der Videoaufnahme platziert werden.
Die Bedienung des Systems benötigt, insbesondere für den Wizard, zunächst eine Übungsphase. Dem Wizard muss
bekannt sein, welche Aktionen er über den Computer und das Midi-Keyboard in der VR-Anwendung auslösen kann.
Durch den modularen Aufbau des mobilen Usability-Labors ist es jedoch leicht möglich, die unterscheidlichen Aufgaben
des Wizards auf mehrere Personen zu verteilen und so auch komplexere Szenarien gut handhaben zu können.
Zusammenfassend bewerten wir die Erfahrungen mit dem System als vielversprechend. Das System lässt sich
vergleichweise einfach nutzen, ist in der Basiskonfiguration ohneweiteres mobil nutzbar, die Datenerfassung funktioniert
robust und das System skaliert in Bezug auf die Komplexität der Testszenarien. Das vorgestellte mobile VR-basierte
Usability-Labor erlaubt so die ortsunabhängige, flexible und effiziente Durchführung von “Wizard of OZ” Experimenten. 1
1 Our special thanks go to the Federal Ministry for Digital and Transport (BMDV) of Germany for financial support within the framework of the joint project “Campus FreeCity”. The research is supported under grant 45KI15H081: Hochschule Fulda.
REFERENCES
[DJA93] Nils Dahlbäck, Arne Jönsson, and Lars Ahrenberg. Wizard of oz studies—why and how. Knowledge-based systems, 6(4):258–266, 1993.
[EDA22] EDAG. The CityBot Homepage. https://www.edag-citybot.de/en/, 2022. [Online; accessed 1-February-2022].
[Met22] Meta/Oculus. The Meta Quest2 VR Headset. https://www.oculus.com/quest-2/, 2022. [Online; accessed 1-February-2022].
[Ope22] OpenSoundControl.org. The OpenSoundControl (OSC) specification. https://ccrma.stanford.edu/groups/osc/index.html, 2022. [Online;
accessed 1-February-2022].
[RC08] Jeffrey Rubin and Dana Chisnell. Handbook of usability testing: how to plan, design and conduct effective tests. John Wiley & Sons, 2008.
[SC93] Daniel Salber and Joëlle Coutaz. Applying the wizard of oz technique to the study of multimodal systems. In International Conference on
Human-Computer Interaction, pages 219–230. Springer, 1993.
[SCNTF19] Sebastian Stadler, Henriette Cornet, Tatiana Novaes Theoto, and Fritz Frenkler. A tool, not a toy: using virtual reality to evaluate the
communication between autonomous vehicles and pedestrians. In Augmented reality and virtual reality, pages 203–216. Springer, 2019.