Ziel dieser Experimente war es, den Benutzer in eine möglichst reale Anwendungssituation zu bringen und dann seine Arbeit mit dem Programm zu beobachten. Der Benutzer soll dabei laut mitdenken, damit aus den Aufzeichnungen dann mögliche Probleme der Software identifiziert werden können. Weiterhin soll aus den dabei entstandenen Ergebnissen eine erste Prognose über die mögliche spätere Gebrauchstauglichkeit des Programmes bzw. des Programmteils gewonnen werden.
Dieses Verfahren unterscheidet sich von dem weiter vorne beschriebenen Verfahren ,,Beobachtung`` insofern, als daß dort die Beobachtung des fertigen Programmes über einen längeren Zeitraum gemeint war. Hier wird aber für eine begrenzte Zeitdauer die Lösung einer speziell für die Evaluation ausgesuchten Musteraufgabe beobachtet.
Ein zentraler Punkt der Vorbereitungen war das Erstellen von
Übungsaufgaben, mit denen die Versuchspersonen später das Programm
testen sollen. Diese Übungsaufgaben wurden aufgrund der unter
bereits erhobenen Daten aus der Aufgaben- und
Benutzeranalyse erstellt. Außerdem wurde dabei berücksichtigt, daß die
Aufgaben mit einem geringeren Schwierigkeitsgrad beginnen
sollten. Dadurch sollte der Benutzer die Einarbeitung in das Programm
nicht durch Frustation erschwert werden. Die Übungsaufgabe sollte aber
auch ein mögliches Szenario aus seiner Anwendungssituation
darstellen.
Jedes Experiment fand mit jeweils nur einer Versuchsperson statt. Dies ergab sich schon aus technischen Gründen (Kamerasicht). Ein Experiment mit mehreren Personen gleichzeitig wäre auch mit Videounterstützung kaum noch dokumentierbar gewesen und hätte möglicherweise einzelne Personen in den Hintergrund gedrängt. Außerdem hätten sich einzelne Versuchspersonen dann auch unwohl gefühlt, da sie von bekannten Personen beobachtet würden. So aber konnte ich den Versuchspersonen zusichern, daß die Videoaufzeichnungen nur für diese Arbeit und nur von mir ausgewertet würden.