Wir setzen auf dieser Website Cookies ein. Diese dienen dazu, Ihnen Servicefunktionen anbieten zu können sowie zu Statistik- und Analysezwecken (Web-Tracking). Weitere Informationen dazu und die Widerspruchsmöglichkeit zum Web-Tracking finden Sie in unserer Datenschutzerklärung.

Alphabetisches Verzeichnis

Foto eines Leuchtturms als Symbol für Orientierung

Seiteninhalt

Evaluation

Gina Haack, Wolfgang Haß

PDF-Volltext

(letzte Aktualisierung am 11.04.2016)

Aktuelle Version
doi:
10.17623/BZGA:224-i016-1.0


Begriffsbestimmung. -  Der Begriff Evaluation bedeutet „Bewertung“, „Beurteilung“ (aus dem lateinischen valere = „stark“ oder „wert sein“). In diesem allgemeinen Verständnis ist Evaluation Bestandteil unseres alltäglichen Handelns, indem dessen Ergebnisse bewertet oder beurteilt werden. Im wissenschaftlichen Sinn ist Evaluation ein Ansatz bzw. eine Untersuchung, mit dem/der relevante Informationen in einem definierten Kontext systematisch dokumentiert und unter Anwendung der verfügbaren Methoden der Sozialforschung kriteriengeleitet und nachvollziehbar bewertet werden. Ziel der Untersuchung ist die Bereitstellung und Interpretation von Daten, mit deren Hilfe entschieden werden kann, ob der Untersuchungsgegenstand den angestrebten Zweck erfüllt (Erfolgskontrolle).

Evaluationsgegenstand -  Gegenstand einer Evaluation können Strukturen, Prozesse oder Ergebnisse von zielorientierten Aktivitäten sein, zudem deren Planung sowie auch Kontextbedingungen. Eine umfassende (komplexe) Evaluation erstreckt sich i. d. R. auf mehrere Bereiche, die zumeist in einer Beziehung zueinander stehen bzw. zeitlich aufeinander folgen (Public Health Action Cycle).

Im Bereich der Prävention und Gesundheitsförderung (PGf) bezieht sich Evaluation zumeist auf Interventionen (Projekte, Maßnahmen, Programme, Kampagnen), die gesundheitsbezogene Effekte auf der individuellen Wissens-, Einstellungs- und Verhaltensebene oder auf der strukturellen Ebene bewirken sollen. Sie dient insbesondere dem Erkenntnisgewinn, der Reflektion und Legitimation einer gewählten Vorgehensweise, deren Transparenz und Nachvollziehbarkeit sowie der Qualitäts- und Ergebnissicherung. Im Falle noch unzureichender oder fehlender Evidenz zu einem Sachverhalt trägt Evaluation zur Evidenzbasierung bei. Idealerweise fließen die Erkenntnisse der Evaluation in die Planung weiterer oder die Verbesserung bereits erprobter Aktivitäten ein, so dass ein Kreislauf der ständigen Optimierung entsteht (Public Health Action Cycle, Qualität in Prävention und Gesundheitsförderung).

Das fortlaufende Generieren von Informationen durch die Evaluation ermöglicht den Durchführenden der Intervention zudem, die Bewertung wichtiger Parameter und damit die Steuerung der Intervention, indem ggf. diese Parameter nachjustiert werden können. Damit ist die Evaluation ein substantieller Bestandteil jeder gesundheitsbezogenen Intervention und sollte von Beginn an eingeplant werden.

Typische Fragen sind:

  • Sind die verfügbaren strukturellen Ressourcen zur Durchführung einer Intervention geeignet?
  • Ist die Planung realistisch?
  • Läuft die Durchführung planmäßig oder gibt es Schwachstellen?
  • Entspricht das Ergebnis den zuvor definierten Zielen?
  • Ist das Ergebnis in Bezug auf die eingesetzten Ressourcen effizient?

Es lassen sich verschiedene Formen der Evaluation im Bereich der PGf unterscheiden.

Planungs-, Konzept- oder Strategieevaluation (Assessment-Evaluation) - Zu Beginn einer geplanten gesundheitsbezogenen Intervention sollte eine Analyse und Bewertung der Ausgangssituation stehen (u. a. Epidemiologie eines Problems, Bedarfe und Bedürfnisse hinsichtlich dessen Lösung, vorhandene Ressourcen, theoretische Modelle und wissenschaftliche Evidenz bzw. Umsetzungserfahrungen als „best practice“). Eine substantielle Aufgabe der Evaluation in der Planungsphase ist die Erstellung eines Interventionskonzeptes (auch -plan, -modell oder -theorie). In diesem wird dokumentiert, auf welche Weise was, bei wem, von wem, bis wann, unter welchen Voraussetzungen und mit welchen Mitteln erreicht (u. a. Definition von Zielen und ggf. Zwischenzielen), welche Kriterien zur Überprüfung der Zielerreichung herangezogen werden sollen (Indikatoren, Operationalisierung) und mit welchen Methoden dies geschehen soll (Evaluationsdesign). Hypothesen zu angenommenen Wirkungszusammenhängen und deren Auswirkungen auf mögliche Ergebnisse sowie die einzelnen Phasen der Intervention lassen sich am besten in einem „logischen Modell“ bzw. in einem „Programmbaum“ veranschaulichen. Damit werden in der Phase der Planungsevaluation alle notwendigen Elemente einer Intervention festgelegt. Zudem wird geprüft, ob die getroffenen Annahmen realistisch hinsichtlich der Zielerreichung sind. Eine besondere Herausforderung im Feld der PGf ist es, sicherzustellen, dass die gemessenen Ergebnisse auf die Intervention zurückgeführt werden können.

Besondere Herangehensweisen und Abstimmungsprozesse erfordert die Evaluation einer Intervention in  Settings (Kindertagesstätte, Schule, Stadtteil, etc.) oder von bestimmten Zielgruppen, Multiplikatorinnen und Multiplikatoren (z. B. Kinder, Senioren). Hier sind regionalen oder lokalen Spezifitäten Rechnung zu tragen und ggf. partizipative Forschungsansätze zu prüfen.

Prozessevaluation (Formative Evaluation) -  Zum einen wird hier die Durchführungsgüte überprüft, d. h., ob der tatsächliche Verlauf der Intervention dem geplanten entspricht (Programmtreue). Zum anderen, ob die Intervention die Zielgruppe erreicht und akzeptiert wird (Programmreichweite und -akzeptanz). Im Falle von Abweichungen ist zu klären, worauf diese zurückzuführen sind, ob sie die Durchführungsgüte mindern - und damit u. U. auch die Wirksamkeit einer Intervention - und welche Maßnahmen ggf. dagegen zu treffen sind. Bei komplexen Interventionen kann durch Evaluation geprüft werden, ob die einzelnen Maßnahmen in die gleiche Richtung wirken und so gemeinsam einen Beitrag zur Zielerreichung der Gesamtintervention ermöglichen oder ob das Nicht-Funktionieren einer Komponente den intendierten Effekt verhindert oder schmälert und damit den Gesamterfolg gefährdet. Dabei sollte die Evaluation wesentliche Faktoren für den Erfolg und Misserfolg einzelner Interventionskomponenten identifizieren (z. B. wird mit Maßnahme x die vorgesehene Zielgruppe erreicht, werden die Absichten und wie diese vermittelt werden, verstanden?). Dies schafft die Möglichkeit, im Prozess der Durchführung zu entscheiden, ob durch gezielte Veränderungen der Interventionskomponente ihre Zielerreichung sichergestellt werden kann oder ob auf diese Maßnahme verzichtet werden sollte. Evaluation greift damit gestaltend (formativ) in den Ablauf von Interventionen ein. Wichtig ist zudem, mögliche nicht intendierte oder unerwartete Effekte der Intervention zu dokumentieren und zu bewerten. Prozessevaluation sollte kontinuierlich während der gesamten Durchführungsphase einer Intervention stattfinden und dient der Optimierung des Interventionsprozesses.

Ergebnisevaluation (Summative Evaluation) - Die Evaluation der Wirksamkeit einer Intervention oder ihrer einzelnen Komponenten leitet sich ab aus dem im Interventionskonzept dokumentierten Zielerreichungsmodell. Sie bezieht sich in erster Linie auf die kurz-, mittel- oder langfristigen Wirkungen, welche auf die Intervention zurückführbar sind (outcomes, impact). Von besonderem Interesse ist dabei oftmals die Nachhaltigkeit einer Intervention oder das Auftreten von Wirkungen, die über die ursprünglich intendierten Ziele hinausgehen oder andauern (z. B. Entwicklung von Kooperationsnetzwerken). Berücksichtigt werden sollten auch nicht intendierte Effekte bzw. unerwünschte Effekte, die im Evaluationskonzept nicht dokumentiert sind.
Ein wichtiger Output von Evaluation ist die Aufbereitung von Ergebnissen und Erfahrungen für die (Fach-) Öffentlichkeit (Transfer von Lernerfahrungen).

Methodische Aspekte der Evaluation in der Prävention und Gesundheitsförderung - Die bei einer Evaluation vorgesehenen methodischen Verfahren sind im Evaluationsdesign zu dokumentieren. Hierzu zählen zum einen die Auswahl eines dem Evaluationsgegenstand angemessenen Erhebungsverfahrens (RCT, prospektive Beobachtungsstudie, Fallkontrollstudie, etc.). Sind Interventionen komplex, umfassen sie also verschiedene Komponenten (Träger, Zielgruppen, Settings, Kommunikationskanäle etc.), ist das Evaluationsdesign entsprechend anzupassen. Zum anderen sind geeignete quantitative und/oder qualitative Methoden der empirischen Sozialwissenschaften zu verwenden. Letztere sind insbesondere bei der Planungs- und der Prozessevaluation von Bedeutung (z. B. Fokusgruppen zur Diskussion von Problemen und möglichen Lösungen). Für eine umfassende Bewertung des Evaluationsgegenstands können eine multiperspektivi(sti)sche Vorgehensweise (Triangulation) und/oder die Kombination von verschiedenen Methoden (Mixed Methods) hilfreich sein.

Varianten der Evaluation - In Abhängigkeit der materiellen und personellen Ressourcen, den Fragestellungen, dem erwarteten Nutzen sowie Evaluationsverantwortlichen kann die Durchführung einer Evaluation variieren. Die “beste” Untersuchungsart gibt es nicht. Es muss für jede Fragestellung unter den Beteiligten an einer Durchführung geprüft werden, wie man zu den gewünschten Informationen gelangt.

Bezüglich der Position zur durchführenden Institution (intern/extern) und zur fachlichen Position (fachvertraut/fachfremd) lassen sich vier Evaluationsarten unterscheiden, die zum Teil kombinierbar sind. Unterformen der internen Evaluation sind die Selbstevaluation (fachvertraut) und die Inhouse-Evaluation (fachfremd), Unterformen der externen Evaluation die Peer-Evaluation (fachvertraut) und Fremdevaluation (fachfremd).

Evaluation-Standards - Um die Güte von Evaluation zu sichern, hat das “Joint Committee on Standards for Educational Evaluation” 30 Standards festgelegt, die nach den Bewertungsdimensionen Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit untergliedert sind. Die Deutsche Gesellschaft für Evaluation (DeGEval) hat diese Standards für den deutschsprachigen Raum angepasst.

Literatur: Flick U, Qualitative Evaluationsforschung: Konzepte, Methoden, Umsetzung. Rowohlt Taschenbuch Verlag. Reinbek 2006
Loss J/Seibold C/Eichhorn C/Nagel E, Evaluation in der Gesundheitsförderung. Eine Schritt-für-Schritt Anleitung für Gesundheitsförderer. Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit (Hg.) in Kooperation mit dem Institut für Medizinmanagement und Gesundheitswissenschaften, Band 3 der Schriftenreihe Materialien zur Gesundheitsförderung. 2013
Naidoo J/Wills J, Lehrbuch der Gesundheitsförderung. Translated by G. Conrad. Überarbeitete, aktualisierte und erweiterte Auflage. BZgA (Hg.).Verlag f. Gesundheitsförderung, Hamburg 2010
Sanders J R, Handbuch der Evaluationssstandards: Die Standards des "Joint Committee on Standards for Educational Evaluation". 2. Auflage, Springer-Verlag. 2006
Widmer T/Beywl W/Fabian C (Hg.), Evaluation. Ein systematisches Handbuch. VS Verlag für Sozialwissenschaften, Wiesbaden 2009

Internetadressen:
http://eval-wiki.org/glossar/Kategorie:A_bis_Z
http://www.DeGEval.de
https://www.lzg.nrw.de/ges_foerd/qualitaet/evaluationstools/index.html
https://www.quint-essenz.ch/de

Verweise: Partizipative Gesundheitsforschung, Public Health Action Cycle / Gesundheitspolitischer Aktionszyklus, Qualitätssicherung, Qualitätsentwicklung, Qualitätsmanagement, Settingansatz / Lebensweltansatz, Zielgruppen, Multiplikatorinnen und Multiplikatoren

Die Autorin und der Autor danken Jürgen Töppich und Sabine Linden für ihre Vorarbeiten in den bisherigen Ausgaben der Leitbegriffe.


zurück zur Übersicht

Bundeszentrale für gesundheitliche Aufklärung / Maarweg 149 - 161 / 50825 Köln / Tel +49 221 8992-0 / Fax +49 221 8992-300 /
E-Mail:
poststelle(at)bzga.de / E-Mail für Bestellungen von Medien und Materialien: order(at)bzga.de

Die Bundeszentrale für gesundheitliche Aufklärung ist eine Fachbehörde im Geschäftsbereich des Bundesministeriums für Gesundheit.