Blog

Verstehen Sprachassistenten uns wirklich? Neue UX-Studie zeigt, wie man dies wissenschaftlich misst.

Sprachassistenten UX-Studie

Klein, Andreas M.; Kollmorgen, Jessica; Hinderks, Andreas; Schrepp, Martin; Rauschenberger, Maria; Escalona, Maria-Jose (2025): Validation of the UEQ+ Scales for Voice Quality. In: Computer Standards & Interfaces, Vol. 93., Doi: 10.1016/j.csi.2024.103971 || Download

Zusammenfassung

Sprachassistenten wie Alexa, Siri und Google Assistant sind aus dem Alltag vieler Menschen nicht mehr wegzudenken. Doch wie gut ist ihre User Experience (UX) wirklich? Der Artikel untersucht, wie sich die UX-Qualität von Voice User Interfaces (VUIs) messen lässt. Dafür wurden drei neue Skalen für das UEQ+ Framework entwickelt: „Response Behavior“, „Response Quality“ und „Comprehensibility“. Diese Skalen erfassen, wie natürlich sich die Sprachassistenten verhalten, wie präzise ihre Antworten sind und wie gut sie gesprochene Befehle verstehen.

In einer groß angelegten Studie mit 623 Teilnehmer*innen aus den USA und Großbritannien konnte das Forschungsteam zeigen, dass diese Skalen zuverlässig und valide sind. Besonders spannend: Die Ergebnisse zeigen nicht nur Stärken der Systeme, sondern auch klare Verbesserungsmöglichkeiten – etwa bei der Dialogverständlichkeit oder der Datensicherheit. Damit liefert die Studie eine wertvolle Grundlage für die Weiterentwicklung smarter Sprachassistenten.

Ergebnisse der UX-Fragebögen sind stabiler als man denkt

Artikel Stabilität von UX-Fragebögen

Schrepp, Martin; Thomaschewski, Jörg (2024): Response Instability in User Experience Questionnaires. Journal of User Experience. || Download

Zusammenfassung

Die Autoren untersuchen, wie stabil die Ergebnisse von UX-Fragebögen sind, wenn dieselben Teilnehmer:innen den Fragebogen nach 14 Tagen erneut. Die Studie zeigt, dass die Skalenmittelwerte bei ausreichend großen Stichproben stabil bleiben, obwohl individuelle Antworten hohe Schwankungen aufweisen. Die Autoren geben konkrete Empfehlungen, wie diese Instabilität bei der Planung und Interpretation von UX-Studien berücksichtigt werden kann.

Kunden füllen auch längere Fragebögen aus

Artikel Benchmark UEQ-S Vergleich

Schaa, Marco; Kollmorgen, Jessica; Schrepp, Martin; Thomaschewski, Jörg (2024):
Impact of a Split into Single Items on the Response Rate of the User Experience Questionnaire Short (UEQ-S). || Download

Zusammenfassung

Die Studie von Marco Schaa et al. (2024) untersucht, wie das Aufteilen des UEQ-S in einzelne Items die Rücklaufquote erhöht und inwiefern dies die Ergebnisse verändert.

Hierzu wurden die Items in einen deutschen Online-Shop integriert und das reale Verhalten von 1.387 Kundinnen und Kunden untersucht.

Das Ergebnis ist, dass die Einzel-Item-Version des UEQ-S die Rücklaufquote um ca. 1% leicht steigert und damit keine wirklichen Vorteile gegenüber der vollständigen Version bietet.

Die perfekte Übersicht zur UEQ-Familie

Artikel Auswahl des geeigneten UX-Fragebogens aus der UEQ-Familie

Kollmorgen, Jessica; Hinderks, Andreas; Thomaschewski, Jörg (2024): Selecting the Appropriate User Experience Questionnaire and Guidance for Interpretation: the UEQ Family. International Journal of Interactive Multimedia and Artificial Intelligence. || Download

Zusammenfassung

Die UEQ-Familie bietet eine flexible Möglichkeit, die User Experience (UX) von Produkten zu messen. Mit den Varianten UEQ, UEQ-S und UEQ+ können unterschiedliche Anwendungsfälle abgedeckt werden. Ziel dieses Artikels ist es, die Vielfalt der verfügbaren Werkzeuge verständlich und zugänglich zu machen, inklusive der Nutzung von Benchmarks, Key Performance Indicators (KPI) und der Importance-Performance-Analyse (IPA).

Hier finden Sie den idealen Einstiegspunkt, um sich in den UEQ, UEQ+ oder UEQ-S einzuarbeiten und der Artikel gibt schon erfahrenen UEQ-Anwender:innen eine gute Übersicht über derzeitige UEQ-Literatur.

Verstehen Sprachassistenten uns auch im alltäglichen Kontext?

Sprachassistenten UX-Studie

Klein, Andreas M.; Deutschländer, Jana; Kölln, Kristina; Rauschenberger, Maria; Escalona, Maria-Jose (2024): Exploring the context of use for voice user interfaces: Toward context-dependent user experience quality testing. In: Journal of Software: Evolution and Process, Wiley. Doi: 10.1002/smr.2618 || Download

Topcited

Zusammenfassung

Sprachassistenten wie Alexa, Siri oder Google Assistant sind omipräsent – sei es zur Steuerung von Smart-Home-Geräten, für schnelle Antworten auf Fragen oder als Unterstützung für Menschen mit Einschränkungen. Doch wie gut passen diese Systeme wirklich in den Nutzungskontext der Anwender? Und wie beeinflusst dieser Kontext die Qualität des Nutzererlebnisses?

Dieser Frage widmet sich die Studie, indem sie untersucht, wie, wo und warum Menschen Sprachassistenten nutzen – mit besonderem Fokus auf den Einfluss des Nutzungskontexts. Zehn ausführliche Interviews mit Nutzern, darunter sechs Personen mit Seh- oder motorischen Beeinträchtigungen, zeigen, dass VUIs zwar enormes Potenzial für Barrierefreiheit haben, aber auch klare Schwächen aufweisen. Besonders problematisch ist das Verständnis von Sprache – vor allem bei Akzenten oder Hintergrundgeräuschen. Auch der Datenschutz bereitet Sorgen. Was passiert mit unseren Sprachdaten? Wer hört eigentlich mit?

Doch es gibt Hoffnung! Die Studie hat eine Hierarchische Struktur entwickelt, die zeigt, wie Nutzungskontext und Nutzererlebnis zusammenhängen. Diese könnte die Grundlage für ein intelligentes Bewertungssystem sein, das hilft, Sprachassistenten besser, bedienbarer und inklusiver zu machen.

UX Management braucht eine klare, messbare UX-Strategie

Artikel UX Management Anforderungen

Hinderks, Andreas; Domínguez Mayo, Francisco José; Escalona, María José; Thomaschewski, Jörg (2024): Requirements for User Experience Management - A Tertiary Study. In: IJIMAI (International Journal of Interactive Multimedia and Artificial Intelligence) 8 (6), S. 160–167. DOI: 10.9781/ijimai.2024.01.004. || Download

Zusammenfassung

Die Studie untersucht die Anforderungen an User Experience Management (UX-Management). Dazu wurde eine tertiäre Studie durchgeführt, in der 16 systematische Literaturreviews (SLRs) analysiert wurden. Ziel war es, herauszufinden, welche Anforderungen für UX-Management in der agilen Entwicklung abgeleitet werden können.

Als typische Anforderungen wurden Prototyping und UX-/Usability-Evaluation identifiziert. Besonders betont wird die Notwendigkeit einer besseren Kommunikation zwischen UX-Professionals und Entwicklern. Aber der Schlüssel zum Erfolg ist eine klare, messbare UX-Strategie.

Einer der wichtigsten UX Faktoren, der Faktor "Vertrauen" für den UEQ+

Artikel Factor Trust

Hinderks, Andreas; Schrepp, Martin; Rauschenberger, Maria; Thomaschewski, Jörg (2023): Reconstruction and Validation of the UX Factor Trust for the User Experience Questionnaire Plus (UEQ+). In: Proceedings of the 19th International Conference on Web Information Systems and Technologies (WEBIST 2023) || Download

Zusammenfassung

Die Studie untersucht die Konstruktion und Validierung des UX-Faktors „Trust (Vertrauen)“ für den modularen Fragebogen UEQ+. Vertrauen ist eine zentrale Dimension der User Experience, insbesondere in sicherheitskritischen Bereichen wie Finanzdienstleistungen und E-Commerce. Die Autoren entwickelten zunächst eine Sammlung potenzieller Items für diesen Faktor und reduzierten sie durch eine faktorenanalytische Studie mit 405 Teilnehmern auf vier Hauptitems: „insecure-secure (unsicher-sicher)“, „untrustworthy-trustworthy (unzuverlässig-zuverlässig)“, „unreliable-reliable (unseriös-seriös)“ und „non-transparent-transparent (intransparent-transparent)“. In zwei weiteren Validierungsstudien mit insgesamt 897 Teilnehmern wurde die Eignung dieser Items bestätigt. Die Ergebnisse zeigen, dass diese vier Items den Faktor Vertrauen zuverlässig messen und unabhängig von anderen UX-Faktoren sind. Damit bietet der UEQ+ nun eine validierte Möglichkeit, Vertrauen als UX-Dimension zu erfassen.

Benchmark und KPIs für den UEQ+

Artikel Benchmark UEQ+ Framework

Meiners, Anna-Lena; Schrepp, Martin; Hinderks, Andreas; Thomaschewski, Jörg (2024): A Benchmark for the UEQ+ Framework: Construction of a Simple Tool to Quickly Interpret UEQ+ KPIs. In: IJIMAI (International Journal of Interactive Multimedia and Artificial Intelligence) 9 (1), S. 104–111. DOI: 10.9781/ijimai.2023.05.003. || Download

Zusammenfassung

Der Artikel beschreibt die Entwicklung eines Benchmarks für das UEQ+ Framework, das eine modulare Methode zur Messung des Nutzererlebnisses (UX) bietet. Da bisher kein Benchmark für das UEQ+ existierte, war es schwierig, einzelne UX-Werte sinnvoll zu interpretieren. Die Autoren erstellten daher einen Benchmark-Datensatz aus 3.290 UX-Bewertungen für 26 erfolgreiche Softwareprodukte. Diese Daten ermöglichen es Forschern und Praktikern, die UX eines Produkts mit etablierten Referenzwerten zu vergleichen. Der Benchmark basiert auf dem UEQ+ KPI, einem gewichteten Gesamtwert, der verschiedene UX-Skalen kombiniert. Erste Analysen zeigen, dass ein UX-KPI zwischen +1 und +2 eine gute UX repräsentiert. Der Benchmark erlaubt eine schnelle Einordnung von UX-Ergebnissen und kann Unternehmen helfen, fundierte Entscheidungen zur Verbesserung ihrer Produkte zu treffen.

UX Faktoren für unterschiedliche Produktkategorien

Artikel UX Quality Aspects

Schrepp, Martin; Kollmorgen, Jessica; Meiners, Anna-Lena; Hinderks, Andreas; Winter, Dominique; Santoso, Harry B.; Thomaschewski, Jörg (2023): On the Importance of UX Quality Aspects for Different Product Categories. In: International Journal of Interactive Multimedia and Artificial Intelligence, Vol. 8, No. 2 || Download

Zusammenfassung

Die Autoren untersuchen, welche Faktoren der User Experience (UX-Faktoren) für verschiedene Produktarten besonders wichtig sind. In mehreren Studien mit 361 Teilnehmern wurde untersucht, welche dieser Faktoren je nach Produktkategorie eine größere Rolle spielen. Die Ergebnisse zeigen, dass nicht alle UX-Faktoren für jedes Produkt gleich wichtig sind. Beispielsweise sind für Videokonferenz-Software Verlässlichkeit, Effizienz und Vertrauenswürdigkeit besonders relevant, während bei Online-Shops Vertrauen, visuelle Ästhetik und die Qualität der Inhalte eine entscheidende Rolle spielen.

Die Studie stellt außerdem eine Methode vor, mit der sich die UX präzise und zuverlässig messen lässt. Die Autoren fanden heraus, dass die Bedeutung einzelner UX-Faktoren je Produktkategorie stabil und gut vorhersagbar ist. Dies ermöglicht eine präzisere Bewertung von UX-Messungen, da Fragebögen gezielt an die jeweilige Produktkategorie angepasst werden können.

Im direkten Vergleich schneidet der UEQ-S bestens ab

Artikel Vergleich SUS, UMUX-LITE, UEQ-S

Schrepp, Martin; Kollmorgen, Jessica; Thomaschewski, Jörg (2023): A Comparison of SUS, UMUX-LITE, and UEQ-S. In: Journal of User Experience, Vol. 18, Issue 2, February 2023, pp. 86-104 || Download

Zusammenfassung

Der Artikel untersucht drei verbreitete Fragebögen zur Messung des Nutzererlebnisses: SUS (System Usability Scale), UMUX-LITE (Usability Metric for User Experience - Lite) und UEQ-S (User Experience Questionnaire - Short Version). Ziel ist es, herauszufinden, inwiefern sich die Ergebnisse dieser Methoden unterscheiden oder ähneln. In einer Online-Studie mit 435 Teilnehmern wurden die Fragebögen für vier bekannte Produkte (Netflix, PowerPoint, Zoom und BigBlueButton) angewendet und verglichen. Die Ergebnisse zeigen, dass SUS und UMUX-LITE nahezu identische Bewertungen liefern und sich daher gegenseitig ersetzen können, während der UEQ-S weitere Ergebnisse liefert, da er zusätzlich zur Usability auch die hedonische Qualität misst. Die Autoren kommen zu dem Schluss, dass der UEQ-S die Pragmatische Qualität sehr gut vorhersagt und außerdem noch Aussagen über die Hedonische Qualität macht.