Autorin: Prof. Dr. Monika Burmester

Wirkung(sanalyse) - Was (noch) beachtet werden sollte

Ein Wirkungsmodell aufzustellen, die benötigten Daten zu erheben und sie auszuwerten, ist aufwändig. Doch wie aussagefähig sind die Ergebnisse? Wie gut sind sie geeignet, um die eigene Arbeit zu bewerten? Wie fundiert kann mit diesen Ergebnissen gegenüber anderen argumentiert werden?

Um bei der Präsentation der mühsam ermittelten Ergebnisse keine negativen Überraschungen zu erfahren, sollten Sie auf die üblichen Kritikpunkte an solchen Ergebnissen vorbereitet sein. Es ist ratsam, sich für die Ergebnispräsentation zu wappnen, und das bedeutet, das eigene Vorgehen bei der Wirkungsanalyse kritisch zu reflektieren und die Ergebnisse entsprechend zu relativieren.

Schwer fassbar und kaum eindeutig: Wirkungsanalysen im Quartier

Wirkungen (als gewünschte Veränderungen im Quartier) können Resultat von Quartiersaktivitäten sein oder sie sind unbeabsichtigt eingetreten: Nicht alles, was als Veränderung im Quartier wahrgenommen wird, ist auf die Quartiersarbeit zurückzuführen. Für Veränderungen in einem Quartier (Wirkungen) gibt es vielfältige Ursachen. Das können neben dem Quartiersmanagement z.B. Neueröffnungen oder Schließungen von Geschäften oder Arztpraxen sein, Sanierungen im Wohnungsbestand oder Eigentümerwechsel, Zuzug oder Wegzug bestimmter Bevölkerungsgruppen.

Die Effekte solcher Auslöser können sich überlagern, und es können Veränderungen im Quartier eintreten, die nur anscheinend (bzw. angenommen oder behauptet) auf einen bestimmten Auslöser zurückzuführen sind.

Wenn sich ein Quartier positiv verändert hat, ist das folglich nicht zwingend Resultat eines erfolgreichen Quartiersmanagements. Daher ist es streng genommen nicht zulässig, eine festgestellte Veränderung oder das Erreichen eines angestrebten Zustands als eindeutigen Beleg für den behaupteten Wirkungszusammenhang zu deuten.

Vorsicht bei der Interpretation von Daten und bei der Formulierung von Ergebnissen. Auf Rahmenbedingungen, die sich positiv oder negativ verändert haben, sollte hingewiesen werden, auch wenn sie nicht im Wirkungsmodell berücksichtigt wurden.

Siehe hierzu: SWOT-Analyse

Wirkungen, die auch ohne Quartiersarbeit eingetreten wären

Um solche Veränderungen, die ohnehin eingetreten wären, nicht der Leistung der Quartiersarbeit zuzuschreiben, gelten in verschiedenen Forschungsrichtungen nur statistisch aufwändige Methoden als empirische Wirkungsbelege, in denen mit Kontrollgruppen (bzw. Kontrollquartieren) gearbeitet wird (siehe auch Tutorial zur wirkungsorientierten Selbstevaluation). In solchen Studien werden die Ergebnisse einer Intervention (hier: Quartiersmanagement) für die Zielgruppe und das Quartier mit Ergebnissen von Personen und Quartieren verglichen, für die es keine Intervention gab (Kontrollgruppe). Die Vergleichsgruppen müssen dabei so gewählt werden, dass es sich um „statistische Zwillinge“ handelt, damit Unterschiede in den Ergebnissen nicht auf Unterschiede in den betrachteten Personengruppen oder Quartieren zurückzuführen sind.

In der Praxis lassen sich solch aufwändigen Untersuchungen für Quartiersmanager und -managerinnen nicht umsetzen. Dennoch sollten sich auch Praktiker/-innen im Rahmen der Selbstevaluation ihrer Arbeit Gedanken darüber machen (und ggf. auch Aussagen dazu treffen), welche (positiven) Veränderungen im Quartier wahrscheinlich auch ohne ihre Aktivität eingetreten wären. Aus der Perspektive der Wirkungsforschung geht es darum, nur solche Wirkungen zu identifizieren, die auf die Aktivität (hier der Quartiersmanager/-innen) zurückgeführt werden können. Der Teil der Wirkung, der anderen Aktivitäten zugerechnet wird, wird als deadweight  (Mitnahmeeffekt) bezeichnet (Rauscher, Schober & Millner, 2012).

Aktivitäten Dritter, die einen positiven Einfluss auf das Quartier haben (z.B. Eröffnung/Schließung von Geschäften) nicht ignorieren, weil sie die eigene Leistung schmälern, sondern deren vermutete Wirkung auf die Quartiersentwicklung benennen. Ebenso ist im Fall negativer Einflüsse zu verfahren. Bei negativen (fremden) Einflüssen erhöht sich die eigene Wirksamkeit.

Adressaten der Wirkungsanalysen

Wirkungen können erwünscht oder unerwünscht sein. Ob eine Wirkung im Sinne einer Zustands- oder Verhaltensänderung als positiv oder negativ wahrgenommen und bewertet wird, hängt unter Umständen auch vom Betrachtenden ab. Das verweist nicht nur auf unterschiedliche Interpretation, sondern auch auf unterschiedliche Interessen verschiedener Akteure. Auf der Ebene der Bewohner/-innen eines Quartiers sind unterschiedliche Interessen und Blickwinkel auf Erwünschtes und Unerwünschtes anzunehmen. Wird der Kreis der Akteure erweitert, dann nimmt die Perspektivenvielfalt zu. Wohnungsbauunternehmen favorisieren u. U. andere Wirkungen als Kommunalpolitiker oder ein freier Träger.

Mit diesen Hinweisen sollte deutlich werden, dass die Auswahl der angestrebten Wirkungen gut begründet sein muss. Weil nicht jeder mögliche Adressat alle Wirkungsziele gleich gut finden wird, ist die Begründung für die getroffene Auswahl umso wichtiger. In dem Zusammenhang kann auch die Frage eine Rolle spielen, für wen bzw. für welchen Zweck die Wirkungsanalyse angefertigt wird.

Verschaffen Sie sich Klarheit über das Ziel bzw. den Adressaten der Wirkungsanalyse. Bei der Selbstevaluation geht es einerseits um fachliche und qualitative Aspekte (Habe ich die fachlichen Ziele erreicht?), andererseits aber zu einem gewissen Grad auch um Öffentlichkeitsarbeit und/oder Legitimation vor denjenigen, die ggf. die Projektziele festgelegt haben und dafür finanzielle Mittel zur Verfügung stellen (Woran beurteilen der eigene Träger und die Kommune den Erfolg von Quartiersarbeit? Welche Wirkungen wollen sie nachgewiesen haben?).

Wie kann es weitergehen?

Den Text Wirkungsanalyse - Was (noch) beachtet werden sollte können Sie hier herunterladen.

Außerdem können Anregungen und Beschreibungen allgemeiner Arbeitsschritte sowie konkrete Arbeitsfragen einer wirkungsorientierten Selbstevaluation im Tutorial zur wirkungsorientierten Selbstevaluation finden.

Wenn Sie bereits eine Idee haben, wie Sie Ihre Daten erheben möchten, können Sie unter Methoden Anleitungen zum Vorgehen finden. Klicken Sie hier.


Quellenangaben und weiterführende Literatur