Moderierte Remote-Tests: 50% effizienter als Inhouse-Tests

Zusammenfassung: Anfang 2020 launchen wir unser neues Tool für moderierte Remote-Tests! Warum diese Usability-Test-Methode Inhouse-Tests und Remote-Interviews über Videokonferenz-Tools deutlich überlegen sein wird, erfährst du hier. Spoiler: Keine aufwendige Probanden-Rekrutierung mehr!

Jeder $1, der in UX investiert wird, führt zu einer Rendite zwischen $2 und $100 (The American Genius). Trotzdem führen nur 55% der Unternehmen UX-Testing durch (Skyhook). Seit jeher versuchen wir diese Zahl mit effizienten und agilen Crowd-Usability-Tests zu steigern.

Unmoderierte Crowd-Usability-Tests sind jedoch nicht für jeden Testcase geeignet. So zum Beispiel bei Testobjekten, die eine ausführlichere Instruktion und Führung erfordern, als schriftliche Aufgabenstellungen es ermöglichen (z. B. low-fidelity Prototypen oder sehr erklärungsbedürftige Produkte) oder wenn der Usability-Test mit Research-Interviews verbunden werden soll.

In diesen Situationen greifen einige Unternehmen auf Inhouse-Tests oder Telefon-Interviews zurück, laden also Tester ins Büro / in angemietete Labor-Räume ein oder befragen Teilnehmer per Telefon / Videokonzerenz. Solche Tests sind jedoch deutlich aufwendiger als Crowd-Usability-Tests und werden daher seltener durchgeführt, was im Gegenzug der Usability und UX der Produkte schadet.

Die Schwächen von Inhouse-Tests

Inhouse-Tests sind nicht nur aufwendig und langsam, sie haben auch noch diverse weitere Schwächen:

• Aufwendige Rekrutierung: Anzeigen erstellen und verwalten oder eine Rekrutierungsagentur beauftragen – Probanden zu finden ist zeitaufwendig und teuer.
• Fehleranfällige Technik: Der Ton oder die Übertragung funktionieren nicht, mitten im Gespräch bricht die Verbindung zusammen und am Ende hat die Aufzeichnung auch nicht funktioniert. Bei der Technik von Inhouse-Tests gibt es viele Störquellen.
• Geeignete Räumlichkeiten werden benötigt: Einen Raum für den Test, einen Wartebereich für die Probanden, einen Raum, in den der Test für Kollegen und andere Stakeholder übertragen wird… Für Inhouse-Tests müssen entweder mehrere Räume im Büro blockiert oder externe Räumlichkeiten angemietet werden.
• Zeitintensives Probandenmanagement: Terminorganisation, Probanden in Empfang nehmen und mit Getränken versorgen, die Incentivierung besorgen… Und dann muss man auch noch mit No-Shows, Absagen und Verspätungen rechnen.
• Großer Zeitaufwand am Testtag: Am Testtag zwischendurch noch etwas anderes machen als Testdurchführung und Probandenmanagement? Quasi unmöglich.
• Kostenintensiv: Für die Einrichtung eines Labors muss Technik angeschafft werden, Rekrutierungsagenturen wollen bezahlt werden und Probanden müssen incentiviert werden. Für einen Inhouse-Test kommen einige Kosten zusammen.
• Nicht agil genug, um sie regelmäßig durchzuführen: Developer verwenden 50% ihrer Zeit damit, Probleme zu beheben, die durch Tests hätten verhindert werden können (Vitamin T). Um eine exzellente UX und hohe Usability zu gewährleisten, sollte daher in jedem Sprint ein Usability-Test durchgeführt werden. Der hohe Zeitaufwand von Inhouse-Tests verhindert die feste Integration in die bestehenden Entwicklungsprozesse allerdings.

In unseren eigenen Labor-Usability-Tests stoßen wir selbst immer wieder auf diese Probleme. Wir entwickeln daher gerade ein neues Tool, das sehr schnelle und effiziente moderierte Remote-Usability-Tests ermöglicht. So kannst du live mit deinen Nutzern sprechen und zwar schneller, aber bei gleicher Qualität im Vergleich zu Inhouse-Tests.

Inhouse-Tests vs. moderierte Remote-Tests vs. unmoderierte Remote-Tests

Die Vorteile moderierter Remote-Tests

Mit unseren moderierten Remote-Usability-Tests kannst du live mit deinen Probanden sprechen und über Screensharing den UX-Test durchführen. Die Probanden befinden sich dabei jedoch zu Hause und müssen nicht zu dir ins Büro eingeladen werden.

Die Vorteile dieses Vorgehens:

• Zeitersparnis bei der Rekrutierung: Das technische Setup und das Probandenmanagement übernehmen wir. Testleiter und Proband müssen nichts installieren, die Übertragung lässt sich mit einem Klick starten.
• Hohe Panelqualität und über 30.000 Probanden: Die Probanden rekrutieren wir aus unserem eigenen Panel mit über 30.000 Probanden. Diese wurden einzeln von uns gescreent, sind ans laute Denken gewöhnt und kennen das Prinzip von Nutzertests, sind aber ganz normale Internetnutzer und keine „Profi-Tester“. Alternativ könnt ihr auch euer eigenes Panel nutzen.
• Keine Ortsgebundenheit: Stakeholder können von überall auf der Welt zugeschaltet werden und auch selbst im Tool mitschreiben.
• Zielgruppenspezifisch, überregional & international testen: Da die moderierten Remote-Tests nicht ortsgebunden sind, können Teilnehmer auch überregional oder sogar international rekrutiert werden. Auch die Testleiter und Zuhörer können über die ganze Welt verteilt sein.
• Realitätsnah: Während der Tests befinden sich die Probanden in ihrer vertrauten Umgebung und nutzen ihre eigenen Geräte. Dadurch verhalten sie sich natürlicher als in einer unvertrauten, sterilen Laborumgebung.
• Hohe technische Kompatibilität: Die Tests sind browserbasiert, benötigen keine Installation und sind daher sehr einfach durchzuführen. Falls doch etwas mit der Technik nicht passt, geben wir sowohl dem Testleiter als auch dem Tester technischen Support.
• Keine langfristige Planung nötig: Unsere moderierten Remote-Usability-Tests können viel kurzfristiger durchgeführt werden als Inhouse-Tests. Termine sind meist innerhalb weniger Stunden möglich.
• Keine Raumnot: Nur ein (kleiner) Raum wird benötigt. Stakeholder können dem Test per Online-Übertragung beiwohnen.
• Effizientere Auswertung – alles in einem Tool: Während der Tests kannst du direkt im Tool mitschreiben. So hast du alle Erkenntnisse an einem Ort und direkt mit der Videoaufzeichnung verknüpft. Die Erkenntnisse werden übersichtlich aufbereitet für eine testübergreifende Analyse.
• UX-Infrastruktur: Weitere Testarten wie unmoderierte Tests und kurze Feature-Tests kannst du ebenfalls mit RapidUsertests durchführen, also im gleichen Tool. So findest du für jede Fragestellung die passende Methode.
• Erkenntnisse mit Stakeholdern teilen: Die Tests werden aufgezeichnet und aus diesen Videos kannst du direkt im Tool ein Highlightvideo schneiden oder einzelne Ausschnitte per Link teilen.
• Einfache Integration in bestehende Prozesse: Durch die große Zeitersparnis sind unsere moderierten Remote-Usability-Tests schnell und agil und lassen sich viel besser in agile Prozesse integrieren als Inhouse-Tests.

Im Vergleich zu unmoderierten Tests können moderierte Remote-Tests auch für Research-Interviews genutzt werden oder mit diesen kombiniert werden.

Zwei unabhängige Studien zeigten, dass sogar die Ergebnisse unmoderierter Usability-Tests gleich viele oder sogar mehr Usability-Probleme aufdecken im Vergleich zu Inhouse-Tests. Durch den direkten Kontakt zu den Teilnehmern sind moderierte Remote-Tests jedoch besser geeignet, um Nachfragen zu stellen oder Anweisungen zu geben.

Moderierte RapidUsertests sind über 50% effizienter als Inhouse-Tests

Gib morgens deinen Test in Auftrag und während du das Testkonzept erstellt oder weiter am Prototyp feilst, kümmern wir uns um die Rekrutierung der Probanden und organisieren die Testtermine. Am nächsten Tag kannst du bereits die ersten Tests durchführen.

Hier eine beispielhafte Rechnung, die wir in eigenen Inhouse-Tests (15 Teilnehmer à 45 Minuten) erhoben haben:

Sammle neue Insights über das Verhalten deiner Nutzer

Viele unserer Kunden sind schon von moderierten Tests überzeugt. So sagt Bianca Schäb vom SRF zu ihren Erfahrungen mit unserem Tool:

Wir nutzen RapidUsertests schon länger, um unsere Website von Grund auf zu überarbeiten und zu verbessern. Die neuen, moderierten Sessions sind bis jetzt der Höhepunkt unserer Testing-Journey: Wir haben viel neuen Input erhalten und konnten noch mehr über das Verhalten unserer Nutzer erfahren!

Bianca Schäb, UI/UX Designerin, SRF

Starte auch du durch mit moderierten RapidUsertests:

Live-Session erstellen

Quellen:

• The American Genius
• Skyhook
• Vitamin T

Sophie Krüger Marketing-Managerin bei RapidUsertests

Sophie Krüger hat Medienkommunikation mit Schwerpunkt Medienpsychologie studiert. Sie verantwortet unsere Kundenkommunikation und schreibt über alles rund um die Agentur.