Evaluationsmethoden

Gebrauchstauglichkeit feststellen?

Holz auf der Heide ([Holz 93] S. 157f.) nennt drei Wege zu mehr Gebrauchstauglichkeit:

1. Gezielten Einkauf von Standardsoftware unter Berücksichtigung der Gebrauchstauglichkeit.
2. Normen und Richtlinien, die Anforderungen an bestimmte Eigenschaften des Systems stellen.
3. Neue Entwicklungsstrategien, die durch Prototyping und durch systematische empirische Bewertung in Testläufen die Gebrauchstauglichkeit in einem Zyklus (ähnlich Abbildung ) sicherstellen sollen.

Alle diese Punkte verlangen nach Verfahren zur Feststellung der Gebrauchstauglichkeit. Diese Bewertung wird hier mit ,,Evaluation`` gleichgesetzt, auch wenn Evaluation zunächst einmal nur allgemein Bewertung bedeutet.

Zur Bewertung von fertiger Software, wie für 1., oder Prototypen, wie für 3. und in diesem Fallbeispiel, müssen die Evaluationsverfahren selber gewisse Qualitätsmerkmale aufweisen. Sie sollen möglichst unabhängig von nicht betrachteten persönlichen Merkmalen wie zum Beispiel Tageslaune sein (Objektivität), sollen auch wirklich das gewünschte Merkmal messen (Reliabilität) und natürlich sollen die Ergebnisse auch bloße statistische Schwankungen herausfiltern (Validität) (nach [Holz 93] S. 159).

Weiterhin betont Holz auf der Heide (ebenda), daß ein Verfahren auch mit vertretbarem Aufwand durchzuführen sein muß, um in der Praxis auch wirklich eingesetzt zu werden. Anhaltspunkte, was unter ,,vertretbar`` im Einzelfall zu verstehen ist, kann zum Beispiel eine Nutzenanalyse wie in [Viereck 95] liefern.

Im Fallbeispiel war der mögliche Aufwand in verschiedene Richtungen begrenzt:

Zeit

Als Zeitraum standen für die gesamte Diplomarbeit ca. sechs Monate zur Verfügung, so daß nach Abzug der allgemeinen Tätigkeiten (Literaturrecherche usw.) noch ca. zwei Monate für die konkrete Evaluation blieben. Zu berücksichtigen ist dabei, daß ich für diese Arbeit mehrere Verfahren gleichzeitig anwende, die man in der Praxis eher alternativ verwenden würde. Dadurch war die Zeit noch weiter eingeschränkt. Dies steht meines Erachtens aber auch in einem vernünftigen Verhältnis zur bisherigen Entwicklungszeit von BASS II, nämlich brutto ein Jahr.

Versuchspersonen

Es standen, wie bereits erwähnt, drei Benutzerinnen, die bereits am Programm arbeiten und zwei weitere Benutzer, denen ich das Programm zum ersten Mal präsentiere zur Verfügung. Für letztere steht mir nach Rückfrage jeweils ein Termin zur Verfügung. Die Benutzerinnen können dagegen noch mehrfach befragt werden.

Eine weitere Einschränkung, die ich mit Hinblick auf die Machbarkeit vorgenommen habe, ist der Verzicht auf eine weitere Zerlegung der Gebrauchstauglichkeitsbetrachtungen in verschiedene Sichten oder Schichten, wie sie zum Beispiel in [Qin 95] vorgenommen wird. Meine persönliche Erfahrung aus der Betreuung von Softwarepraktika und der Wunsch, ein kompaktes Verfahren zu betrachten, ließen eine weitere ,,Verkomplizierung`` und damit auch die Gefahr von mehr Umsetzungsfehlern, die durch die dann notwendigen weiteren Diversifikationsentscheidungen entstehen könnten, nicht zu.

Inwieweit eine solche Aufteilung trotzdem sinnvoll, nützlich oder gar notwendig gewesen wäre, kann ich mangels Vergleich in diesem Fallbeispiel nicht sagen. Die späteren Auswertungen deuten nicht darauf hin, daß so eine Vereinfachung des Verfahrens oder eine deutliche Vergrößerung der Entdeckungsrate erreicht worden wäre.

Evaluationsmethoden