|
|
Experimenteller Ansatz
Rein subjektive Vergabe von Noten! Es werden keine Hilfestellungen zur Vergabe der Noten gegeben. Stattdessen bekennt man sich in EVADIS II selber:
,,Die Bewertung durch den Evaluator kann nur zurückhaltend erfolgen, da zu vielen Schnittstelleneigenschaften noch kein gesichertes software-ergonomisches Wissen vorliegt und durch die oft nur geringe Operationalisierbarkeit ergonomischer Kriterien dem Evaluator ein großer Interpretationsspielraum bleibt`` ([Oppermann 92] S. 93)
Dies ist wahrlich kein Beitrag zu einer durchgängigen Methodik, mit der auch unterschiedliche Programme von unterschiedlichen Evaluatoren jemals brauchbar verglichen werden könnten. Eine Grundlage für eine vor Gericht einklagbare Mindestqualität ist so nicht definiert. EVADIS bietet so keine brauchbare Grundlage für ein rechtssicheres Gutachten.
Weitere Verwässerung der Ergebnisse durch doppelten Umsetzungs- und vor allem Einschätzungsaufwand: Zunächst muß der Evaluator selber entscheiden, mit welchen Fragen er sich wirklich beschäftigt, da die Vorgaben dazu viel zu umfassend sind. Dies wird in EVADIS auch ausdrücklich so vorgesehen.
Danach muß der Evaluator auch noch einen eigenen Bewertungsmaßstab finden und eigene Noten konstruieren. Diese resultieren auf der subjektiven Einschätzung der Schwere des Verletzung des genannten Kriteriums.
Es ist anschaulicherweise leichter und mit weniger ,,Leitungsverlusten`` verbunden, wenn man direkt am Programm die Einhaltung der Userwünsche und allgemeinen ergonomischen Forderungen prüft (Heuristik), als diese zunächst in Fragen zu verpacken und diese wieder zu beantworten. Denn in den von EVADIS II vorgegebenen Kommentaren zu den einzelnen Prüffragen spiegeln sich dann auch nur relativ spezielle Forderungen wieder, die man bei der Erstellung der Frage wohl im Hinterkopf hatte. Zur Umsetzungsproblematik verweise ich auch auf die Ausführungen zur ,,wissensbasierten Benutzungsoberflächengestaltung`` ([Qin 95] S. 46ff.).
Zusätzlich verfälscht wird das Ergebnis durch voneinander abhängige Fragen. Zum Beispiel ist unklar, ob wegen des Fehlens von Handbüchern (Eine Frage) alle Fragen bzgl. der Gestaltung der Handbücher weggelassen oder mit ,,5`` bewertet werden sollen. Für die Endnote ergäbe sich daraus ein erheblicher Unterschied.
Viele Fragen sind mehrdeutig bzw. passen nur ,,in etwa`` zur zu
prüfenden Software. Beispiel Frage 
auf Seite
: ,,Wird eine Überlagerung des aktuellen Feldes, zu
dem die Fehlermeldung Aufschluß geben soll, vermieden?``. Einerseits
ja, denn die Fehlermeldung an sich erscheint immer neben dem Feld,
andererseits nein, denn andere Fenster können das Feld längst
überdecken und die Meldung erscheint trotzdem. Hier hatten die
EVADIS-Entwickler offensichtlich eine konkrete (modale) Art der
Fehlermeldung im Hinterkopf, als sie diese Frage formulierten, die
aber hier gar nicht vorlag.
Nicht alle in EVADIS implizit enthaltenen Richtlinien sind
unumstritten. Zum Beispiel Frage auf Seite
,,Können bereits ausgeführte Operationen
storniert werden (UNDO-Funktion) ?`` kann im Fallbeispiel für das
Verschieben von Schichten in Frage gestellt werden, denn während der
Experimente kam der Wunsch danach nur einmal auf. Diese Unsicherheit wird
auch offen zugegeben:
,,An dieser Stelle soll nocheinmal auf die prinzipielle Bewertungsproblematik im Bereich der Softwareergonomie hingewiesen werden: Die Bewertung durch den Evaluator kann nur zurückhaltend erfolgen, da zu vielen Schnittstelleneigenschaften gesichertes software-ergonomisches Wissen noch nicht vorliegt oder weil einzelne Schnittstelleneigenschaften hinsichtlich ihrer Angemessenheit von der Zielgruppe der Benutzer bzw. von der Arbeitsaufgabe abhängen.`` ([Oppermann 92] S. 75)
Manche Fragen enthalten zwar scheinbar gute (neue) Ideen, wären aber eher als Vorschläge denn als Kriterium nützlich. Beispiel:
,,Prüffrage: Sind die Dialogabläufe als ,Maps` (karten-/netzähnliche Darstellungen) visualisierbar und können diese ,Maps`mit Hilfe eines ,Browser`(ohne an den Arbeitsdaten Veränderungen vornehmen zu können) durchlaufen werden?`` ([Oppermann 92])
Anhand der sogenannten ,,abstrakten Prüfaufgabe`` kommt man meist nur zu einer Benutzung und Bewertung von Dateneingaben, im Sinne klassischer Parametereingaben. Das für diesen Fall viel wichtigere Feld der Informationsdarstellung steht zunächst im Hintergrund. Man könnte zwar die Gewichtung ändern, doch trotzdem bezieht sich der Hauptteil der Fragen eher auf eine Text-/Ziffern-orientierte Eingabestrategie und weniger auf direkte Manipulation. Insgesamt gilt für EVADIS das gleiche wie für ,,echte`` Styleguides im Zusammenhang mit der Evaluation: Entweder zu speziell aber nichtzutreffend oder allgemein aber nichtssagend.
Ein Beispiel für eine sehr allgemeine Frage ist die folgende:
,,Prüffrage: Sind die im Anwendungssystem realisierten Funktionen für die Erfüllung der vorgesehenen Aufgaben angemessen?``,, Kommentar: Eine angemessene Funktionalität des Anwendungssystems ist eine wesentliche funktions-ergonomische Voraussetzung für die Erfüllung der Aufgabe(n). Unter der Voraussetzung, daß die Prüfaufgabe unter Berücksichtigung und Erfassung der realen Aufgabensituation erstellt worden ist, bietet sie eine gute Basis zur Beurteilung dieser Prüffrage.`` ([Oppermann 92])
Hier wäre eine detaillierte Fragestellung nützlicher gewesen, denn so wird auch nur wieder eine sehr subjektive Grobeinschätzung abgefragt. Denkbare Verfeinerungen wären zum Beispiel Fragen wie ,,Standen dem Benutzer die gewünschten Funktionen zur Verfügung?``, ,,Wurden für wichtige Aufgaben externen Hilfsmittel benötigt?``, ,,Wurden bestimmte Bereiche gar nicht berührt?``.
Ein Beispiel für eine sehr spezielle Frage ist die folgende:
,, Prüffrage: Kann man in die Zwischenablage mehr als nur ein Objekt einfügen und können einzelne Objekte der Zwischenablage gezielt angesteuert werden?`` ([Oppermann 92])Hier kommt noch hinzu, daß dieses Merkmal eher im Betriebssystem bzw. im Fensterverwaltungsprogramm (Window-Manager) anzusiedeln sein wird.
Der Sinn mancher sich wiederholender Fragen bleibt unklar. So
ist für mich der Unterschied bei der Frage 120.10.20 ,,Besteht die
Möglichkeit, alternativ zwischen vorhandenen Eingabemedien zu
wählen?`` (siehe Frage auf Seite
) einmal im Kontext Eingabe, dann unter Änderung
und dann unter Selektion nicht einsichtig. Die möglichen Antworten
bleiben gleich, die so zu gebende Bewertung also zunächst auch. Es ist
zwar denkbar, daß sich ein Programm bei Eingabe und Änderung
grundsätzlich anders verhält und bei der Änderung andere Eingabemittel
zur Verfügung stellt als bei der Eingabe, doch ich halte dies für
wenig wahrscheinlich.
So werden zwar im Endeffekt wieder sehr viele Fragen eingespart, aber prinzipiell muß für jede Frage im Einzelfall geprüft werden, ob sie im Bereich ,,Änderung`` anders als im Bereich ,,Eingabe`` bewertet werden müßte.
Größter Aufwand (ca. 9 Manntage). Dabei ist noch anzumerken, daß die Evaluation eigentlich hätte noch sorgfältiger durchgeführt werden können. Die Fragen hätten noch mehr angepaßt und die Antworten ausführlicher begründet werden können, doch es mußte aus praktischen Erwägungen eine Grenze gezogen werden. In einem realen Projekt müßte der Aufwand dem Gesamtaufwand des Projektes gegenübergestellt werden (siehe [Viereck 95] für eine solche Betrachtung), um die Angemessenheit eines solchen Aufwandes zu überprüfen. (Machbarkeit in einem Unternehmen!)
Positiv zu vermerken ist, daß durch EVADIS II noch einige weitere Standardforderungen an Anwendungssysteme, zum Beispiel automatische Datensicherung, explizit dargestellt wurden, die bei der vorhergehenden Heuristik nicht berücksichtigt worden waren.
Für Programme, die näher an den bei der Erstellung von EVADIS intendierten Anwendungen liegen (Textverarbeitung, Tabellenkalkulation oder Datenbanken), kann die ,,Trefferquote`` natürlich viel höher liegen, da dort die speziellen Forderungen aus EVADIS greifen und so viel mehr Standardprobleme erkennen können.
Zusammenfassend kann man sagen, daß EVADIS einen bestimmten (Oberflächen-)gestaltungsstil propagiert und dessen Einhaltung teilweise sehr detailliert abgeprüft wird. Auf die Erfordernisse der Aufgabe und der Benutzer wird zwar durch die Gewichtung etwas eingegangen, doch auch dann führen die schwerpunktmäßig auf bestimmte Aspekte konzentrierten Fragen zu einer Unterbewertung, wenn nicht gar Nichtberücksichtigung der eigentlichen Benutzeranforderungen an das Programm.
EVADIS ist schlicht ein Fragebogen zu einem in manchen Bereichen sehr detaillierten Styleguide.
Experimenteller Ansatz
