Modern eye tracking technology allows developers to incorporate real-time gaze information as input to multimodal human-computer interfaces. It can be used as an active or passive input modality in multimodal interfaces: a user can influence a system via explicit eye movements, and a system can implicitly derive information about the user and the environment by analyzing eye tracking data. However, many issues remain underexplored, so the technology cannot be widely deployed in interactive intelligent systems. This thesis aims to address related challenges, following the main research question: “How can we enable effective and efficient gaze-based user interfaces and their development?”. It presents new approaches and methods with the goal of addressing the challenges when using gaze as input in interactive systems. It further outlines a framework for gaze-based multimodal interaction, relating it to multimodal-multisensor and intelligent user interfaces.
Eye Tracker ermöglichen die Nutzung von Echtzeit-Blickinformationen als Eingabe für Benutzerschnittstellen. Sie kann als aktive oder passive Eingabemodalität in multimodalen Systemen eingesetzt werden: Ein Benutzer kann ein System durch explizite Augenbewegungen beeinflussen, und ein System kann durch die Analyse von Eye-Tracking-Daten implizit Informationen über den Benutzer und die Umgebung ableiten. Allerdings sind viele Fragen ungeklärt, sodass die Einsatzmöglichkeiten eingeschränkt sind. Diese Arbeit befasst sich mit den damit verbundenen Herausforderungen der zentralen Forschungsfrage folgend: „Wie können wir effektive und effiziente blickbasierte Benutzerschnittstellen und deren Entwicklung ermöglichen?“. Die Arbeit stellt neue Ansätze und Methoden vor, die Blickinformationen als Eingabe in interaktiven Systemen ermöglichen. Darüber hinaus wird ein Framework für blickbasierte multimodale Interaktion im Kontext multimodaler Multisensor- und intelligenter Benutzerschnittstellen.
Proceedings of the 2024 International Conference on Advanced Visual Interfaces [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2024 (2024), Artikel-ID 43, Seite 1-5 578 p.
Proceedings of the 2024 ACM Symposium on Spatial User Interaction [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2024 (2024), Seite 1 - 2 396 p.
Companion Proceedings of the 26th International Conference on Multimodal Interaction [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2024 (2024), Seite 195-203 252 p.
Proceedings of the 30th ACM Symposium on Virtual Reality Software and Technology [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2024 (2024), Artikel-ID 94, Seite 1-2 633 p.
Adjunct Proceedings of the 32nd ACM Conference on User Modeling, Adaptation and Personalization [Erscheinungsort nicht ermittelbar] : Association for Computing Machinery, 2024 (2024), Seite 132 - 135 662 p.
