Klärungsbedarf!

Wie wähle ich eine passende Methode aus? - 8 inhaltliche Fragen

Welche Erhebungsmethoden am besten geeignet sind, um Daten im Rahmen einer wirkungsorientierten Selbstevaluation zu gewinnen, entscheidet sich nach der Beantwortung der folgenden Fragen.

Diese acht inhaltlichen Fragen sollten immer vor Beginn einer Datenerhebung gestellt und beantwortet werden:

Die Bestimmung der Zielsetzung, die einer wirkungsorientierten Selbstevaluation zugrunde liegt, hilft sich nochmals Klarheit zu verschaffen, was mit der vorgesehenen Erhebung erreicht werden soll. Es können dabei durchaus mehrere Zielsetzungen gleichzeitig verfolgt werden. Eine klar formulierte Zielsetzung erleichtert die Entscheidung über die einzusetzende Erhebungsmethode und die Festlegung, welche Personengruppen berücksichtig werden sollen.

Grundsätzlich lassen sich die folgenden drei Zielbereiche unterscheiden, wobei sich der nachfolgende Text mit dem Ziel der Wirkungserfassung beschäftigt:

  • Eine Bestandserhebung (Ist- Analyse) z.B. über die Sozialstruktur im Quartier oder das Maßnahmenangebot im Quartier.
  • Eine Bedarfserhebung (Soll-Analyse) z.B. zur Festlegung anzustrebender Entwicklungsziele oder zur Ermittlung des Veränderungsbedarfs sowohl aus Sicht der Bewohnerinnen und Bewohner als auch  von Experten im Quartier.
  • Eine Erfassung von Wirkungen einzelner Angebote durch Dokumentation von Veränderungen, die durch diese erreicht wurden wie z.B. die Zunahme kleinerer wechselseitiger Nachbarschaftshilfen als Ergebnis eines Nachbarschaftsfestes.

Bestands- und Bedarfserhebungen gehen oftmals der Konzeption und Einführung einer Maßnahme voraus. So kann z. B. durch Sozialraumanalysen, Bürgerbefragungen oder Workshops ermittelt werden, welche Ausgangssituation im Quartier besteht und welche Bedarfslagen von Bewohnern und Bewohnerinnen geäußert werden. Im Unterschied hierzu kommen Wirkungsanalysen dann zum Einsatz, wenn die durch einzelne Quartiersmaßnahmen angestoßenen Veränderungen systematisch und strukturiert dokumentiert werden sollen. Sie helfen dadurch, sich der mit der Maßnahmeneinführung verbundenen Ziele bewusst zu werden, die Ergebnisse der eigenen Arbeit zu dokumentieren und den damit verbundenen Aufwand zu legitimieren.

Die Formulierung einer oder mehrerer Fragestellungen, die unter der jeweiligen Zielsetzung formuliert werden legt fest, was genau erfasst werden soll. Die Fragestellung dient als „roter Faden“ und Prüfstein, ob alle wesentlichen Bereiche berücksichtigt werden.


Beispiel

Bezogen auf die Zielsetzung einer Erfassung von Wirkungen könnten folgende Fragestellungen formuliert werden:

Hat das in Zusammenarbeit mit der lokalen Kirchengemeinde organisierte Nachbarschaftsfest dazu beigetragen, dass mehr Hilfeleistungen unter den Nachbarn geleistet werden?

Haben diese Aktivitäten der Quartiersarbeit dazu beigetragen, dass sich ältere Erwachsene neue stabile soziale Netzwerke zu ihren Nachbarn aufgebaut haben?

Diese Frage umfasst zwei Bereiche:

  • Die Festlegung, anhand welcher Informationen die Fragestellung beantwortet werden kann.
  • Die Bestimmung, anhand welcher Kriterien der zu erhebende Sachverhalt erfasst werden soll.


Beispiel

Es muss festgelegt werden, anhand welcher Indikatoren ermittelt werden soll, ob sich „neue stabile soziale Netzwerke“ gebildet haben z. B. ob es zu mehr Hilfeleistungen unter Nachbarn gekommen ist oder ob bei den Älteren das Gefühl vorherrscht, sich auf Nachbarn besser verlassen zu können und sie im Notfall um Hilfe bitten können. Weiterhin ist zu klären, ob z. B. nur Selbstberichte erhoben werden sollen oder auch Beobachtungen über den Austausch von Hilfeleistungen durchgeführt werden. 

Anhand welcher Kriterien könnte das erfolgen?

Es muss überlegt werden, wie die „neue stabile soziale Netzwerke“ beschrieben und ob gegebenenfalls differenzierte Abstufungen / Intensitäten dargestellt werden können. Werden neue stabile soziale Netzwerke durch die Häufigkeit eines Austauschs von Hilfeleistungen angemessen beschrieben oder durch das Gefühl, jemanden zu haben, der im Notfall verfügbar ist und auf dem man sich verlassen kann. Gleichzeitig sind Überlegungen anzustellen, was unter einem Austausch von Hilfeleistungen verstanden werden soll und wie dies erfassbar ist. Bedeutet das Annehmen von Paketen bereits einen Austausch von Hilfeleistungen

Mit dieser Frage, die eng mit der nachfolgenden Frage 5 verbunden ist, soll(en) die Zielgruppe(n) festgelegt werden, die die benötigten Daten liefert(liefern). Dabei ist zu klären:

  • Über welche Merkmale müssen die Personen verfügen, um die Fragestellung beantworten zu können, z.B. wer ist der Experte, der die angestrebten Veränderungen im Quartier einschätzen kann?
  • Ist ein Zugang zur interessierenden Personengruppe überhaupt möglich und welche Zugangsbarrieren sind zu berücksichtigen? Sozial zurückgezogenen ältere Menschen, Menschen, die der deutschen Sprache nicht mächtig sind, Demenzerkrankte oder Menschen mit Sinnesbehinderungen sind Beispiele für wichtige, aber schwer erreichbare Zielgruppen. Der Zugang zu ihnen ist ggf. nur über sogenannte „Türöffner“ d.h. bekannte Personen, die Vertrauen genießen, oder durch bestimmte barrierearme Erhebungsverfahren möglich.

Zu berücksichtigen ist jedoch, dass insbesondere sozial zurückgezogene ältere Menschen, in Befragungen u.U. über eine hohe Zufriedenheit berichten, da sie es nicht gewohnt sind, ihre Anliegen mitzuteilen. Derartige Antworten sind deshalb eher als subjektive Anpassungsreaktionen auf ungünstige Lebensumstände zu bewerten und spiegeln den faktischen Bedarf nur zum Teil wieder. Sie sind deshalb durch weitere Informationen wie Experteneinschätzungen zu ergänzen.

Beispiel

Bezogen auf unter 2. formulierte Fragestellung ist zu klären, wer verlässliche Aussagen zu Veränderungen im nachbarschaftlichen Hilfeverhalten und den Aufbau neuer stabiler Netzwerke zu Nachbarn treffen kann. Soll hierzu die Einschätzungen der Nachbarn selbst herangezogen werden und/oder die von Betreuungs- und Bezugspersonen und Dienstleistern oder von beiden?

Nicht immer müssen eigene zeit- und kostenaufwändige Erhebungen durchgeführt werden, sondern es kann auf bereits vorliegende Daten zurückgegriffen werden. Dies gilt vor allem für quantitative Erhebungen zur Bestandserhebung. Es ist deshalb zu prüfen,

  • ob die benötigten Informationen in der gewünschten Differenziertheit und Vollständigkeit z. B. bei statistischen Ämtern, Krankenkassen etc. vorliegen und auch zugänglich sind,
  • ob bereits in der Vergangenheit zur gleichen oder ähnlichen Fragestellung Erhebungen durchgeführt worden sind, auf die zurückgegriffen werden kann.

Beispiel

Bezogen auf die Beispielfragestellung wird ein Rückgriff auf bereits vorliegende Daten schwierig sein. Denkbar wäre jedoch, dass die kooperierende Kirchengemeinde unter ihren aktiven Mitgliedern in der Vergangenheit eine Befragung zu einer vergleichbaren Fragestellung durchgeführt hat, auf die Bezug genommen werden könnte. 

Diese Fragen beziehen sich auf den eigentlichen Prozess der Datenerhebung und beinhalten die folgenden Entscheidungen:

Wer erhebt?

In Abhängigkeit von Fragestellung und Zielsetzung und der eigenen verfügbaren zeitlichen und personellen Ressourcen können Informationen entweder als

  • Selbstaufzeichnungen, z. B. in Form von Tagebuchaufzeichnungen oder Protokollen z. B. von Bewohnerinnen und Bewohnern eines Quartiers oder von professionellen Akteuren oder als
  • Fremderhebung, durch den Quartiersmanager oder andere in der Quartiersarbeit Beschäftigte häufig als mündliche oder schriftliche Befragung durchgeführt werden.

Wann werden Daten erhoben?
Diese Frage beschäftigt sich mit dem Zeitpunkt, an dem eine Datenerhebung am sinnvollsten durchzuführen ist. Dieser ist abhängig von Zielsetzung und Fragestellung, die der Erhebung zugrunde liegen.

Zu berücksichtigen ist dabei, dass sich Antworten z. B. dahingehend unterscheiden, ob ein Nutzer unmittelbar nach dem Besuch einer Veranstaltung wie dem Nachbarschaftsfest oder aus der Distanz nach mehreren Wochen befragt wird. Zwar können unmittelbar nach einer Veranstaltung Nutzer leichter erreicht werden, stehen allerdings noch unter dem positiven oder negativen Eindruck des dort Erlebten. Nach einer längeren Zwischenzeit sind Befragte schwerer zu erreichen, können aber die Nützlichkeit oder Wirkungen besser beurteilen, haben aber vielleicht auch Erinnerungsschwierigkeiten. Auch können Jahreszeiten Einfluss auf die Bereitschaft zur Beteiligung und die Beurteilung nehmen. Vielleicht werden die Begegnungsmöglichkeiten im Quartier an einem schönen Sommertag besser beurteilt als an einem grauen und kalten Herbsttag.

Bei wem soll die Erhebung durchgeführt werden?
Diese Frage bezieht sich auf die Stichprobenfestlegung und stellt eine Konkretisierung von Frage 4 dar. Mit ihrer Beantwortung wird bestimmt, wer und wie viel Personen an der Erhebung teilnehmen sollen.

Als Erstes ist zu klären, wer von den grundsätzlich in Frage kommenden Personen am besten die benötigten Informationen liefern kann, z. B. wer als Experte anzusehen ist, der Einschätzungen zum Veränderungsbedarf im Quartier machen kann.

Danach ist zu prüfen, ob ein Zugang zu dieser Personengruppe möglich ist, wie dieser zu gestalten ist (mündliche oder schriftliche Informationen, Empfehlungen …) und welche Bedingungen, z. B. datenschutzrechtliche Anforderungen, zu erfüllen sind.

Die dritte Entscheidung bezieht sich auf Art und Anzahl der in eine Erhebung einzubeziehenden Personen und wird auch von der gewählten Erhebungsmethode mitbestimmt. Zu unterscheiden sind sogenannte Vollerhebungen und Stichprobenerhebungen.

Bei einer Vollerhebung werden alle Personen, die an einer Maßnahme teilgenommen haben, einbezogen wie z. B. alle Bewohner im Quartier, in dem das Nachbarschaftsfest stattgefunden hat. Dabei ist zu berücksichtigen, dass qualitative Erhebungsmethoden, wie Interviews, in der Regel nur bei einer geringeren Gruppengröße anwendbar sind, während Fragebogenerhebungen auch bei einer größeren Personenanzahl durchführbar sind.

Ist die Personenzahl für eine Vollerhebung zu groß, wird eine Stichprobenerhebung mit einer nach bestimmten Kriterien ausgewählten Anzahl von Personen durchgeführt. Es gibt es verschiedene Vorgehensweisen zur Stichprobenbestimmung. Zum einen kann eine Auswahl per Zufall z. B. durch Losverfahren vorgenommen werden (Zufallsstichprobe). Oder es kann eine Auswahl nach bestimmten Merkmalen wie Alter oder Geschlecht erfolgen. Die Art der Stichprobengewinnung hat wiederum Einfluss auf die Aussagekraft der Ergebnisse. Werden z. B. ältere Nutzer von Angeboten um eine Bewertung der Begegnungsmöglichkeiten im Quartier gefragt, so sind deren Einschätzungen nicht repräsentativ für die Gesamtgruppe der Älteren, da es sich um eine Gruppe besonders aktiver Älterer handelt.

Welche Methode soll eingesetzt werden?
Es gibt eine Vielzahl unterschiedlicher Erhebungsmethoden, die zur Durchführung wirkungsorientierter Selbstevaluation zum Einsatz kommen können. Eine Übersicht zu häufig genutzten Evaluationsmethoden finden Sie auf dem Internetportal unter: Was ist eine Methode? Die Entscheidung für eine bestimmte Methode ist von der zugrunde liegenden Fragestellung und den gewünschten Informationen, aber auch von den eigenen zeitlichen und personellen Ressourcen und den Merkmalen der Befragten abhängig (siehe Einsatzmöglichkeiten und Voraussetzungen der einzelnen Erhebungsmethoden). Grob lassen sich zwei verschiedene Arten von Erhebungsmethoden unterscheiden:

  • quantitative Methoden wie Fragebögen mit der Möglichkeit einer statistischen Auswertung und
  • qualitative Methoden wie Interviews oder Gruppendiskussionen mit zusammenfassenden und beschreibenden Auswertungsmöglichkeiten.

Es ist zu empfehlen, sich bereits bei der Auswahl der Erhebungsmethode Gedanken über die Datenauswertung zu machen. Es gilt abzuwägen, welche Erhebungs- und Auswertungsmethoden für Sie realisierbar ist.

  • Quantitative Auswertung: Quantitative Daten setzen in jedem Falle eine Auswertung mittels statistischer Auswertungsmethoden voraus. Es gibt verschiedene Computerprogramme, die Sie bei der Auswertung unterstützen (Excel, SPSS u. a.).
  • Qualitative Auswertung: Meist liegen qualitative Daten in Form von Interview-, Beobachtungs- oder Tagebuchprotokollen vor. Die Auswertung erfolgt durch Zusammenfassung und Kategorisierung der für die Fragestellung relevanten Daten, die als Bericht zusammengestellt werden. Insbesondere bei kleinen Stichproben findet keine quantitative Auswertung statt. 

An die Datenerhebung und -auswertung schließt sich als letzter Schritt die Interpretation und ggf. die Veröffentlichung der Ergebnisse an. Hierbei stellen sich folgende weitere Fragen:

  • Können mithilfe der erhobenen Daten die eingangs gestellte(n) Fragestellung(en) beantwortet werden? Wenn nein, was sind mögliche Gründe? wenn ja wie können die Ergebnisse für die weitere Quartiersarbeit genutzt werden?
  • Wie können die an der Erhebung Beteiligten unter Wahrung von Anonymität und Datenschutz über die Ergebnisse informiert werden?
  • Wie können die Ergebnisse unter Wahrung von Anonymität und Datenschutz veröffentlicht werden?

Was neben inhaltlichen Argumenten bei der Methodenauswahl wichtig ist:

  • Akzeptanz der Erhebungsmethode bei den "Datenlieferanten". Wenn sich diejenigen gegen die Methode oder das Instrument, welches Sie zur Datenerhebung einsetzen wollen, sperren, ist es ratsam nach Ursachen für das Misstrauen zu suchen bzw. eine andere Methode zu nutzen.

  • Kompetenz und Umgang mit der Erhebungsmethode - auf Seiten der Evaluationsakteure und auf Seiten der "Datenlieferanten". Die Methoden müssen sich an Ihren Kompetenzen orientieren und von Ihren Kooperationspartnern ebenfalls als angemessen für die Evaluationsfrage gelten. Zugleich müssen Sie bei der Auswahl von Methoden die Fähigkeiten der Zielgruppe berücksichtigen. So sollten Sie beispielsweise von einer schriftlichen Befragung bei gering Alphabetisierten Abstand nehmen.

  • Glaubwürdigkeit der mit der Erhebungsmethode erzeugten Ergebnisse beim Zielpublikum. Diejenigen, die später Ihren Evaluationsbericht lesen, müssen auf die ausgewählte Methode vertrauen können, um Ihre Evaluationsergebnisse ernst zu nehmen. Eine Befragung, die als tendenziös eingestuft wird, hat zur Folge, dass ggf. Ihr Evaluationsvorhaben in Gänze in Frage gestellt wird. "Zielpublikum" meint hier verschiedene Personen, die Ihre Evaluationsergebnisse zur Kenntnis nehmen oder auch bewerten sollen. Das können z. B. Kolleginnen und Kollegen ebenso wie Vorgesetzte oder Fördermittelgeber sein.

  • Aufwand, zeitliche Perspektiven und vorhandene Ressourcen. Wenn eine Erhebungsmethode zwar gute Daten produzieren könnte, Sie allerdings im Vorfeld schon wissen, zumindest begründet erahnen können, dass der zeitliche Aufwand oder auch die benötigten finanziellen Mittel Ihr Ressourcenbudget übersteigt, gilt es nach Alternativen zu suchen. Es kann sinnvoll sein, erneut zu diskutieren, wie groß die Stichprobe Ihrer Befragung sein soll bzw. wie sehr sie reduziert werden kann, um dennoch ausreichend viele Daten für die Analyse zu erhalten. Hier gilt es also auch arbeitspragmatisch vorzugehen, daher können Richtwerte für Befragungen, Interviews oder auch Beobachtungen nicht pauschal ausgesprochen werden.

Quelle: 
Merchel, J. (2015). Evaluation in der Sozialen Arbeit. München: Ernst Reinhardt Verlag.