Schritt 7: Erstellen Sie einen Erhebungsplan

An diesem Punkt angekommen, haben Sie bereits einige Entscheidungen getroffen: Sie haben festgelegt, welche Maßnahmen Ihrer Quartiersarbeit Sie evaluieren wollen, also Ihren Evaluationsgegenstand beschrieben, Sie haben Wirkungsziele formuliert, die Sie mit den zu evaluierenden Maßnahmen verfolgen, Sie haben auch schon Indikatoren entwickelt, mit deren Hilfe Sie Aussagen zu erzielten Wirkungen treffen können und sich für Methoden entschieden, mit Hilfe derer Sie Ihre Indikatoren erheben wollen.

Nun gilt es, all Ihre Überlegungen in einen Erhebungsplan zu überführen.

In einem Erhebungsplan legen Sie fest, wann und auch wie häufig Messungen, Beobachtungen, Interviews oder andere Erhebungsmethoden stattfinden sollen. Integrieren Sie Ihre Planungen zur Evaluation in den Zeitplan Ihrer Quartiersarbeit.

Das Ausarbeiten eines Erhebungsplans soll dazu beitragen, das eigene Vorgehen der Evaluation zu reflektieren und auch transparent für Dritte darzustellen.

In der Wissenschaft wird der Erhebungsplan auch Evaluationsdesign, Forschungsdesign oder Studiendesign genannt. In der Wirkungsforschung wird den sogenannten randomisiert-kontrollierten Studien (engl.: randomised controlled studies), oder auch RCTs, eine große Bedeutung zugesprochen, um nicht nur Wirkungen zu identifizieren, sondern auch um ermitteln zu können, welche Ursache den beobachteten Wirkungen zugrunde liegen. Mit diesem Studiendesign müsste es also möglich sein, Wirkungen, die Sie im Quartier beobachten/ermitteln, auf Ihre Quartiersarbeit zurückzuführen.

Was nutzen RCTs?

Dieser Studientyp basiert auf Prinzipien der Wirkungsmessung, die auch im Rahmen von Selbstevaluationen nicht ohne Weiteres von der Hand zu weisen sind und auch im Quartier eine Rolle spielen.

Prinzipien der Wirkungsmessung

  • Es gibt eine Kontrollgruppe. Für die Wirkungsanalyse werden zwei Gruppen gebildet. Eine Interventionsgruppe, die an den Maßnahmen teilnimmt oder die Angebote nutzt, und eine Kontrollgruppe. Diese Gruppe nutzt die Intervention nicht.

  • Die Einteilung in Kontroll- und Interventionsgruppe erfolgt randomisiert. Die Einteilung der Personen in die Interventions- oder Kontrollgruppe geschieht zufällig. So weisen beide Gruppen dieselben Merkmale auf und es kommt zu keinen Verzerrungen.

  • Es gibt mindestens einen Vorher-Nachher-Vergleich. Die Indikatoren werden mindestens vor Beginn der Maßnahme und nach Ende der Maßnahme erhoben. So können Sie Veränderungen erfassen, also die Wirkung Ihrer geleisteten Arbeit ermitteln. Je nach Laufzeit der Maßnahme bieten sich weitere Messzeitpunkte an. Überlegen Sie, inwiefern weitere Messzeitpunkte aussagekräftige Ergebnisse aufzeigen können.

    Kann/Muss ich eine RCT im Quartier umsetzen?

    Eine randomisiert-kontrollierte Studie ist aus verschiedenen Gründen nur bedingt in der Quartiersentwicklung realisierbar:

    • Ein Vorher-Nachher-Vergleich ist zwar bereits mit Aufwand verbunden, da Sie mindestens zwei Zeitpunkte haben, an denen Sie Daten erheben müssen (wenn diese nicht schon vorliegen). Dennoch ist der Vorher-Nachher-Vergleich unerlässlich, um eine Veränderung im Quartier aufzeigen zu können.

    • In der zufälligen Einteilung der Quartiersbewohner/-innen in Interventionsgruppe und Kontrollgruppe sowie in dem Aufbau einer Kontrollgruppe bestehen enorme Herausforderungen. Hier gilt es sorgfältig abzuwägen und Argumente für Ihre Entscheidungen zu sammeln. Überlegen Sie zunächst, inwiefern Ihnen diese beiden Schritte gelingen könnten. Beispielsweise gibt es ggf. Ältere in Ihrem Quartier, die an der Maßnahme nicht teilnehmen wollen, welche Sie als Kontrollgruppe nutzen könnten. Oder aber Sie sind in verschiedenen Quartieren aktiv und können Personen aus dem zweiten Quartier, in dem die Maßnahme nicht angeboten wird. Auch hieraus kann sich eine Kontrollgruppe ergeben… Wenn es keine realisierbare Möglichkeit gibt, eine Kontrollgruppe aufzubauen, notieren Sie die Argumente.

    Wenn Sie sich für ein Kontrollgruppendesign entscheiden, achten Sie darauf, dass die Interventionsgruppe und die Kontrollgruppe über dieselben Merkmale verfügen. Nur so ist eine Vergleichbarkeit der beiden Gruppen möglich. Merkmale sind einflussnehmende Faktoren auf die Wirkung, die Sie mit Ihrer Maßnahme erzielen wollen. Alter, Geschlecht, Bildungsstatus, Wohndauer im Quartier und/oder auch krankheitsbedingte Beeinträchtigungen können beispielsweise die Wirkung partizipativ ausgerichteter Angebote in Ihrem Quartier beeinflussen.

    Ist es nicht möglich, eine Kontrollgruppe aufzubauen, können Sie die Erhebung auch allein mit Ihrer Interventionsgruppe/Zielgruppe durchführen (also ohne Kontrollgruppe). Mit einer solchen Evaluation ohne Kontrollgruppe können Sie die beobachteten Wirkungen zwar nicht sauber Ihrer Quartiersarbeit zurechnen. Dennoch können Sie auch ohne eine Kontrollgruppe Wirkungen darstellen und plausibel begründen, welchen Zusammenhang Sie zwischen Ihren Beobachtungen und Ihrer Quartiersarbeit sehen. Stellen Sie in Ihrem Evaluationsbericht dar, welche Einflussfaktoren auf die von Ihnen gewünschte Wirkung vorhanden sein könnten und wie diese sich auf Ihre Zielgruppen im Quartier auswirken. Diskutieren Sie diese Faktoren in Ihrem Evaluationsbericht. 

    Umfassender Überblick über verschiedene Modelle der Wirkungsmessung

    Die Stiftung Zewo bietet einen umfassenden Überblick über Modelle der Wirkungsmessung, die Bezug nehmen auf Vorher-Nachher-Vergleiche sowie auf Messmethoden mit und ohne Vergleichsgruppe eingehen. Klicken Sie hier, um Vor- und Nachteile der verschiedenen Wirkungsmessmodelle zu erfahren.

    Darstellung des Erhebungsplans

    Wie Sie Ihren Erhebungsplan darstellen, ob als Tabelle, oder als visualisiertes Schema ist Ihnen überlassen. Entscheidend ist, dass Sie damit arbeiten können und einen Überblick über Ihre Evaluation behalten.

    Ein Beispiel für einen Erhebungsplan im Tabellenformat finden Sie hier.

    Zwei Beispiele für visualisierte Evaluationsdesigns für das Rollatortraining können Sie auf den nachfolgenden Bildern sehen (die Beispiele wurden mit PowerPoint erstellt):

    Hier angekommen sind alle Planungen abgeschlossen und es geht daran, die Datenerhebung vorzubereiten und umzusetzen (Schritt 8).