Auch der Zielwert der Effizienz kann im Vergleich zur papiergestützten manuellen Bewertung und Optimierung leicht bestimmt werden. Laut Aussagen der beteiligten Arbeitswissenschaftler benötigte man bei Versuchen, diese Pläne ohne BASS II o.ä. zu bewerten, Stunden und kam trotzdem nur bis zu einer Berücksichtigung von zwei Kriterien.
Es sei also festgelegt, daß BASS II dann effizient genug ist, wenn der Aufwand deutlich unter dem Aufwand für eine nicht computergestützte Bearbeitung liegt.
Eigentlich muß man verschiedene Bereiche der Software hinsichtlich ihrer Effizienz getrennt betrachten. Zum einen die Oberfläche: Ist diese ohne Umwege oder anderen unnötigen Aufwand zu bedienen? Zum anderen die interne Funktionalität: Ist die (Rechen-) Leistung des Programms ausreichend, so daß zum Beispiel vernünftige Antwortzeiten erzielt werden. Bei der Evaluation sind beide Aspekte von Bedeutung. Ein langsames Programm sollte in Punkto Usability ebenso auffallen, wie ein umständlich zu handhabendes. Ich habe deshalb in dieser Arbeit keine strenge Trennung dieser beiden Ebenen für die Effizienz (und sinngemäß auch die Effektivität) vorgenommen, auch um den Evaluationsauswertungsaufwand zu begrenzen. Verbesserungsvorschläge indes sind nur für die Oberflächengestaltung bzw. Dialoggestaltung zu erwarten.
,,Der relevante Aufwand kann psychische oder physische Beanspruchung, Zeit, Material oder monetäre Kosten enthalten.`` ([ISO9241-11 96] S.8)
Im Vergleich zur Papierlösung lassen sich Zeit, Material und monetäre Kosten gut vergleichen. Die Papierlösung braucht nur wenig Material (= Büromaterial) und ansonsten keine weitere Anschaffung. Der eigentliche monetäre Aufwand entsteht durch die lange Bearbeitungszeit. Eine neue effizientere Lösung wie zum Beispiel BASS II hat dagegen hohe Einstiegskosten (Softwareanschaffung, Hardware) und strebt dafür wesentlich geringere Bearbeitungszeiten an. Aus monetärer Sicht hängt der Aufwand damit direkt von der Anzahl der auszuwertenden Pläne ab, da so die hohen einmaligen Kosten durch die eingesparten Lohnkosten ausgeglichen werden. Ein Beispiel, wie Kosten und Nutzen verschiedener Lösungen abgeschätzt werden könnten, findet sich in [Viereck 95].
Physische Beanspruchungen im Sinne von Belastungen beim Bewegen oder durch Einschränkung der Bewegung war für mich nicht meßbar. Dazu hätte eine eingehende Vergleichsstudie zur Arbeit an einem Papierplan erstellt werden müssen, zum Beispiel ,,Kann sich der Planer an einem Blatt Papier besser und/oder mehr bewegen als an einer Tastatur? ``
,,Es ist möglich, die mentale Beanspruchung des Benutzers zu messen.`` ([ISO9241-11 96] S.17)Zur Messung der mentalen Beanspruchung schlägt die Norm zwei Verfahren vor:
An solchen Verfahren, die auf der subjektiven Beurteilung von Beanspruchung durch Betroffene basieren, wurden zum Beispiel in [Eilers, Nachreiner und Böning 90] Zweifel geäußert. Anscheinend tendierten die Versuchspersonen dazu, sich den Tests anzupassen, d.h. die Antworten wurden mit Blick auf die den Durchführenden zugesprochenen Erwartungshaltung gegeben. Ein brauchbares Maß konnte so höchstens unfreiwillig über den Test, nicht aber valide über das zu testende Subjekt gefunden werden.
Ähnliche Beobachtungen werden auch in [Nielsen 93], [Holz 93] (S.169) und anderen Quellen beschrieben, dort aber bezogen auf die Befragung von Benutzern bezüglich der Qualität der eben benutzten Software. Auch dort war zu beobachten, daß die Versuchspersonen aus verschiedenen Bewegründen heraus versuchten, die Erwartungen des Befragers zu erfüllen oder aber ihre persönliche allgemeine Einstellung gegenüber Computern einfließen ließen.
In Abschnitt
(Seite
ff.) wird
dies auch für dieses Falbeispiel dokumentiert, wenn die Benutzer
gebeten wurden, sich allgemein über das Programm oder speziell zu
vermuteten Problemen zu äußern. Vorwegnehmend kann hier schon gesagt
werden, daß diese Befragungen für die Bewertung des Fallbeispiel nur
wenig hilfreich waren, da die Benutzer dazu neigten, Probleme
herunterzuspielen oder im Verlaufe von wenigen Minuten widersprüchlich
zu bewerten.