Schritt 6: Wählen Sie Ihre Methoden und Erhebungsinstrumente aus

Wie wollen Sie Ihre Indikatoren erheben? Diese Frage gilt es in Schritt 6 zu klären und geeignete Methoden zur Datenerhebung und -auswertung auszuwählen. Der Einsatz von Methoden ermöglicht Ihnen eine strukturierte Erhebung Ihrer Indikatoren, sodass Externe Ihr Vorgehen nachvollziehen können. Es gibt verschiedene Methoden und Instrumente zur Datenerhebung und -auswertung. Grundsätzlich können Sie quantitative und qualitative Methoden unterscheiden.

Was ist eine Methode? Was ist ein Instrument?

Eine Methode beschreibt, wie Sie die Daten erheben, z. B. mit einer schriftlichen Befragung, mit Interviews, mit Beobachtungen.

Ein Instrument ist dabei das konkrete Werkzeug: Zum Beispiels der konkrete Fragebogen oder der Interviewleitfadenfür Ihre qualitativen Interviews.

Überlegen Sie zunächst, ob Sie selbst eigene Daten erheben müssen oder ob bereits Daten zu Ihren Indikatoren an anderen Stellen vorliegen.

Liegen noch keine Daten für Ihre Indikatoren vor, geht es darum, Methoden auszuwählen und sogenannte Instrumente zu entwickeln, mit denen Sie die Indikatoren erheben wollen.

Bei der Entwicklung von Instrumenten gilt: Sie können verschiedene Indikatoren in ein Instrument integrieren, auch wenn die verschiedenen Indikatoren zu unterschiedlichen Wirkungszielen gehören.

Behalten Sie bei der Auswahl der Methoden stets im Hinterkopf, dass es nicht nur um die Datenerhebung geht, sondern auch die Datenauswertung berücksichtigt werden muss. Möchten Sie einen Fragebogen einsetzen, kommen Sie nicht um die statistische Auswertung Ihrer Fragebögen herum. Führen Sie Interviews benötigen Sie eine Idee, wie Sie mit ggf. Transkripten, Notizen und Interviewmitschriften umgehen wollen/können.

Unter Methoden stellen wir Ihnen qualitative und quantitative Erhebungsmethoden vor, die Sie im Rahmen einer wirkungsorientierten Selbstevaluation einsetzen können.

Wie suche ich eine Methode aus?

Bei der Auswahl der passenden Methode gehen Sie zunächst inhaltlich vor: Mit Blick auf Ihre Wirkungsziele und erarbeiteten Indikatoren entscheiden Sie sich für Methoden, mit deren Hilfe Sie die entsprechenden Daten erheben können. Schließlich verfolgen Sie ja ein bestimmtes Ziel, Sie wollen wissen, welche Wirkung Sie mit Ihrer Arbeit erzielt haben.

In dem WINQuartier-Baustein Methoden finden Sie eine Zusammenfassung wichtiger inhaltlicher Fragen, die Sie dazu leiten, die für Sie und Ihr Evaluationsvorhaben passenden Evaluationsmethoden auszuwählen.

Neben den inhaltlichen Überlegungen zur passenden Methode gibt es bei Selbstevaluationen noch weitere Punkte, die Sie bei der Methodenauswahl berücksichtigen sollten (ausführlich dazu: Merchel, 2015, S. 78):

Wenn sich die Datenlieferanten gegen die Methode oder das Instrument, welches Sie zur Datenerhebung einsetzen wollen, sperren, ist es ratsam nach Ursachen für das Misstrauen zu suchen bzw. eine andere Methode zu nutzen.

Die Methoden müssen sich an Ihren Kompetenzen orientieren und auch von Ihren Kooperationspartnern akzeptiert werden. Zugleich müssen Sie bei der Auswahl von Methoden die Fähigkeiten der Zielgruppe berücksichtigen. So sollten Sie beispielsweise von einer schriftlichen Befragung bei gering Alphabetisierten Abstand nehmen. Auch Krankheiten und altersbedingte Beeinträchtigungen können dazu führen, dass Personen nicht (eigenständig) an schriftlichen Befragungen teilnehmen können. Gleiches gilt auch für mündliche Befragungen.

Diejenigen, die später Ihren Evaluationsbericht lesen, müssen auf die ausgewählte Methode vertrauen können, um Ihre Evaluationsergebnisse ernst zu nehmen. Eine Befragung, die als tendenziös eingestuft wird, hat zur Folge, dass ggf. Ihr Evaluationsvorhaben in Gänze in Frage gestellt wird. "Zielpublikum" meint hier verschiedene Personen, die Ihre Evaluationsergebnisse zur Kenntnis nehmen oder auch bewerten sollen. Das können z. B. Kolleginnen und Kollegen ebenso wie Vorgesetzte oder Fördermittelgeber sein.

Wenn eine Erhebungsmethode zwar gute Daten produzieren könnte, Sie allerdings im Vorfeld schon wissen, zumindest begründet erahnen können, dass der zeitliche Aufwand oder auch die benötigten finanziellen Mittel Ihr Ressourcenbudget übersteigt, gilt es nach Alternativen zu suchen. Es kann sinnvoll sein, erneut zu diskutieren, wie groß die Stichprobe Ihrer Befragung sein soll bzw. inwiefern die Stichprobengröße reduziert werden kann. Hier gilt es also arbeitspragmatisch vorzugehen, Richtwerte für Befragungen, Interviews oder auch Beobachtungen können nicht pauschal ausgesprochen werden.

Wann sollen welche Daten, wie erhoben werden? Erstellen Sie einen Erhebungsplan für Ihre wirkungsorientierte Selbstevaluation (Schritt 7).