Durchführung

Experimentelle Evaluation

Die beiden Verfahren Heuristik und Evaluationsleitfaden beruhen fast vollständig auf Expertenurteilen. Benutzerbeteiligung findet nur im Rahmen der Benutzeranalyse statt. Wenn überhaupt, bildet sich der Entwickler ein Modell (vgl. [Rauterberg 95] S. 54ff.) vom Benutzer, welches dann stellvertretend eingesetzt wird. Um diese Lücke zu schließen, werde ich die experimentelle Methode, zum Beispiel des ,,lauten Denkens``, in Zusammenspiel mit einer Videobeobachtung einsetzen.

Die Bezeichnung ,,Experiment`` ist im fachlichen Umfeld der Psychologie schärfer definiert, nämlich als eine Reihe von Versuchen, bei denen eine unabhängige Variable variiert und die Auswirkungen der Veränderungen ausgewertet werden. In diesem Fallbeispiel aber wird die Bezeichnung Experiment nur in seiner umgangssprachlicheren Bedeutung als Synonym für ,,Ausprobieren`` bzw. hier ,,Ausprobieren lassen`` benutzt.

Holz auf der Heide schlägt vor, mit zwei Kameras zu arbeiten, die jeweils den Benutzer und die aktuelle Bildschirmausgabe abfilmen (vgl. [Holz 93]). Die Bilder sollten dann zusammengemischt werden. Ich habe dies umgangen, indem ich nur eine Kamera so geschickt plazierte (siehe Abbildung Seite ), daß sie beides aufnahm. Dies ist kein Verlust, wenn man berücksichtigt, daß ein Fernsehbild nur eine Auflösung von ca. 640 x 480 Punkten hat, aber der Computerdisplay mindestens 800 x 600 Punkte braucht, um BASS II brauchbar darzustellen. In praktischen Versuchen stellte sich heraus, daß der Display maximal auf 40% verkleinert werden konnte, so daß die Position der Maus und die verschiedenen Schichttypen wenigstens noch erahnt werden konnte. Eine parallele Aufzeichnung auf mehreren Geräten erschien mir auch in Hinblick auf die Probleme der manuellen Synchronisation zu aufwendig.

Andere experimentelle Verfahren wie zum Beispiel Interviews und Beobachtung fließen indirekt mit ein, da sich fast zwangsläufig Gespräche zwischen den Versuchspersonen und mir als Testleiter ergeben werden.

Geringer Bedarf an zu untersuchenden Testpersonen. Nach Holz auf der Heide ([Holz 93] S.169) werden bei mehr als sechs Personen kaum noch neue Hinweise gefunden. Mehr Benutzer sind für praxisrelevante Ergebnisse nicht erforderlich. Zu ähnlichen Ergebnissen kommt zum Beispiel auch Nielsen ([Nielsen 93]).

In einer Untersuchung von Holz auf der Heide ([Holz 93]) heißt es:

,,Insgesamt erwies sich bei unseren umfangreichen Untersuchungen eine geeignete Videobeobachtung als das leistungsfähigste Erhebungsmittel.`` ([Holz 93] S. 167)

Im Fallbeispiel weiche ich von der dort beschriebenen Aufzeichnungstechnik aus den oben genannten Gründen ab und verzichtete auf die Aufnahme der Eingabegeräte. Dies sollte durch die gleichzeitige persönliche Protokollierung aufgewogen werden.

Im SANUS-Handbuch ([Fähnrich 96]) wird diese Art der Untersuchung ,,Usability Test`` genannt. Die Bewertung ist sehr optimistisch:

,,Die gewonnenen qualitativen Daten wie Benutzerkommentare, Fehler, geplante und nicht geplante Handlungsstrategien, unerwartete Benutzerverhaltensweisen ermöglichen in der Regel schon ab 4 Benutzern das Aufdecken von 75% der Systemschwachstellen.

Die gewonnenen quantitativen Daten wie Effizienzmaße ... und Effektivitätsmaße (z.B. Anzahl der Fehler pro Aufgabenbearbeitung) ermöglichen bei wiederholten Untersuchungen klare Aussagen über erreichte Verbesserungen.`` ([Fähnrich 96] Abschnitt 6.3.3)

Ohne eine Benutzerbeteiligung besteht die Gefahr reine ,,Expert satisfaction`` ([Dzida 97]) zu erreichen, also einen Zustand, an dem die Experten mit dem Programm zufrieden sind, aber die Zufriedenheit der eigentlichen Betroffenen nicht sichergestellt ist.

Es entsteht Aufwand beim Benutzer, der dort unter Umständen unerwünscht ist (nach [Nielsen 93]).

Die Versuchspersonen können nicht beliebig oft eingesetzt werden, da sie ,,verschleißen``. D.h. sie werden zu vertraut mit der Software und/oder den Versuchsabläufen, als daß sie noch repräsentativ wären (vgl. [Nielsen 93]).

Konsequenz:

Das Verfahren wird hier eingesetzt.

Durchführung