Humanzentrierte Evaluation
von Informationsartefakten mit TEDS

Während der Focus der IT-Forschung traditionell eine auf Technik, Organisation und Systeme zentrierte Perspektive verfolgt, hat Robert S. Taylor (Taylor 1982; 1986) zu Beginn der 80er Jahre eine Perspektive entwickelt, die den immer im Rahmen bestimmter Kontexte handelnden menschlichen Akteur und seine Bedürfnisse ins Zentrum rückt.

Taylors Arbeiten wurden in der Forschung zur Mensch-Computer-Interaktion (HCI) kaum zur Kenntnis genommen. Dies ist umso erstaunlicher, als es mit ihnen möglich wird, zu verstehen, warum technikzentrierte IT-Entwicklungen häufig nicht wie gewünscht funktionieren bzw. nicht die gewünschte Akzeptanz beim Nutzer finden. Genau hier setzt das TEDS System (Scholl et. al. 2011; Scholl 2012) an.

Hatte Taylor sechs Kriterien für die Bewertung menschlicher Bedürfnisse beim Umgang mit IT entwickelt, entwickelt TEDS diese Kategorien erheblich weiter und präsentiert damit ein analytisches Instrument für die akteurs- und verwendungsspezifische Evaluation von Informationsartefakten – mit anderen Worten: ein Werkzeug zur Formulierung von Designspezifikationen, das für kleine wie große IT-Projekte eine personalisierte Akzeptanzsicherung und ein benutzerorientiertes Qualitätsmanagement bereithält. Zuerst identifiziert man mit TEDS dabei exakt, welches Informationsartefakt bewertet werden soll. So ist es z.B. möglich innerhalb eines Kurses, einer Lernplattform, lediglich die Prüfungen oder nur die PDF Dokumente zu bewerten. Als nächstes erfolgt die Identifizierung der verschiedenen Persona die das Informationsartefakt bewerten.

Hier kann man ja nach Bedarf sowohl stark individualisierte Persona wie z.B. alle Linkshänder mit Hörschwäche betrachten als auch lediglich grobe Gruppen von Persona zusammenfassen. Außerdem unterscheidet das System die verschiedenen Nutzungsszenarien der Informationsartefakte durch die verschiedenen Persona. Auch hier kann wieder klar spezifiziert werden, dass nur gezielte Teilebereiche der Nutzung abgedeckt werden oder nur in grobe Nutzungsgruppen unterschieden werden.


Informationsartefakte

Das TEDS System nutzt als Basis das Modell von Robert S. Taylor welches sechs Bewertungskategorien unterscheidet

Durchsuchbarkeit / Suchfunktion

Formatierung und Darstellung der Informationen

Roter Faden / Führung durch die Information

Zugänglichkeit zu Informationen und Funktionen

Einfachheit

Problemnähe

Flexibilität

Einfachheit

Funktionsverfügbarkeit / Transaktion

Vertrauen auf Anpassbarkeit

Sozialfunktionalitäten

Persönliche Anpassung

Lokalisierung der Informationsdarstellung

Datenschutz

Identifizierbarkeit der Information

Auffindbarkeit von Informationen

Zusammenfassung der Informationen

Verbindung zu anderen Informationsquellen

Genauigkeit der Suche

Auswählbarkeit der Informationen

Aktualität der ausgewählten Informationen

Kosten / Zeit sparen

Verschlüsselung / Absicherung der Informationen

Richtigkeit / Fehlerfreiheit

Vollständigkeit der Information

Zuverlässigkeit

Vertrauen / Reputation der Quelle

Feedback

Ästektik des Designs

Unterhaltung

Attraktivität der Informationen und Elemente sowie Interaktion mit diesen

Stimulierung

Zufriedenheit


Funktionalität

Die eigentliche Anwendung des TEDS Systems läuft dabei in 13 Schritten ab:
  1. Das Bewertungsziel wird spezifiziert.
  2. Sog. Persona und Szenarien werden entsprechend der Bewertungsziele definiert.
  3. Die Persona und Szenarien werden durch Befragungen potentieller Bewerter präzisiert und verifiziert.
  4. Je nach Bewertungsziel wird ein Referenzinformationsartefakt gesucht und definiert um für die Bewertung einen “Anker”, dh. eine aussagekräftige Vergleichsbasis zu haben.
  5. Auf Basis der gewählten Personae und des Szenarios werden Bewerter identifiziert, die eine TEDS-Schulung erhalten.
  6. Der Anker (z.B. eine Einstiegsseite in eine Lernplattform) wird von den Bewertern unter Hilfestellung bewertet um eine Vergleichsbasis zu schaffen.
  7. Um Abweichungen und Fehler zu finden, werden alle Bewertungen statistisch analysiert.
  8. Die Bewerter diskutieren danach etwaige Abweichungen und konsolidierten damit die Vergleichsbasis.
  9. Durchführung der eigentlichen Bewertung des ausgewählten Artefaktes mit zusätzlichen Details um die Unterschiede zur Vergleichsbasis begründen zu können.
  10. Die Bewertungen werden statistisch analysiert und Abweichungen hervorgehoben.
  11. Erneute Diskussion der Abweichungen und gegebenenfalls Anpassungen der Bewertungen.
  12. Bewertung des Ankers und Bewertung des eigentlich im Focus stehenden Informationsartefaktes werden verglichen und statistisch gegenübergestellt.
  13. Stärken, Schwächen, Probleme und Empfehlungen die aufgrund der Bewertungen gefunden wurden, werden detailliert dokumentiert.

Technische Realisierung

Sobald ein Kursteilnehmer über die TEDS Erweiterung im Moodle System die Bewertung gestartet hat, wird er auf das Bewertungsmodul verwiesen. Hier durchläuft er alle definierten Bewertungskriterien. Zu jedem Bewertungskriterium wird eine kurze Erklärung und ein Erklärungsvideo bereitgestellt. So wird der Kursleiter entlastet und es gibt weniger Unklarheiten und Fehlbewertungen.

Über Moodle-Kurs via entsprechenden TEDS-Plugin, der mit Bewertunsmodul verknüpft ist.

Im Bewertungskorrekturmodul wird dem Bewerter seine durchgeführte Bewertung angezeigt und er bekommt die Möglichkeit einzelne Bewertungspunkte zu korrigieren. Dies erfolgt analog zu dem bereits bestehenden TEDS System und dessen Bewertungsmatrix:

Im Auswertungsmodul werden die Daten aller Bewertungen eines Szenarios eines Artefaktes zusammengefasst und verwertbar in einem übertragbarem Dateiformat zur Verfügung gestellt. Hier bietet sich z.B, das CSV Dateiformat an, da es ein offener Standard ist und von allen gängigen Büroapplikationen wie z.B. MS Excel oder OpenOffice Calc unterstützt wird.

Das Administrationsmodul wird ein einfaches Interface zur Verfügung stellen, in dem man die Bewertungskriterien global für alle Bewertungen ändern kann. Dies ist nur für die Dauer der Evaluationsphase notwendig bis die Bewertungskriterien für das Moodle System und seine Kurse zu 100% feststehen. Außerdem ist es hier möglich alle Bewertungen eines Szenarios eines Artefaktes vollständig zu löschen, falls bei der Bewertung grobe Fehler unterlaufen sind und ein Neustart erforderlich ist.



Kontakt

Technische Hochschule Wildau

Hochschulring 1

15745 Wildau

Haus 100, Büro 106 / Labor 122

03375 / 508 -917 oder -570

margit.scholl(at)th-wildau.de