Diese Seite wird bearbeitet!

Autor: Dieter Zisenis

Method for Impact Assessment of Programs and Projects (MAPP)

Auf den Punkt – was ist MAPP?

MAPP ist im Kontext von entwicklungspolitischen Maßnahmen von Susanne Neubert entwickelt worden. Für das Instrumentarium zur wirkungsorientierten Selbstevaluation ist dieses Verfahren für das Arbeitsfeld Quartiersentwicklung angepasst worden. Wir stellen deshalb hier nur dieses angepasste Verfahren vor. Hinweise zu  weiterführenden Informationen zum Ursprungsmodell finden Sie unten.

Wesentliche Charakteristika von MAPP:

MAPP ist ein systematischer Vorher-Nachher-Vergleich, bei dem die Vergangenheit rückblickend für mehrere Zeitpunkte analysiert wird. MAPP erfordert keine Datenerhebung und Analyse der Ausgangssituation (baseline) zum Start des Quartiersentwicklungsprozesses, da sie retroperspektiv vorgeht. Stattdessen kann zu einem selbst gewählten Zeitpunkt durchgeführt werden. Allerdings sollte ein längerer Zeitraum nach Projektstart in den Blick genommen werden, so dass erwartet werden kann, dass tatsächlich Wirkungen durch die Maßnahmen im Quartier realistisch sind.  Natürlich kann MAPP dann in Abständen wiederholt und mit den Vorerhebungen verglichen werden. Vor dem Hintergrund der nach wie vor häufigen Projektstruktur der Quartiersarbeit können in der Regel nur relativ kurze Zeiträume in den Blick genommen werden. Sie sollten aber mindestens eine zwei- oder dreijährige Zeitspanne als Beobachtungszeitraum wählen können.

MAPP ist ein partizipatives Verfahren, d.h. von Anfang an werden unterschiedliche Akteure im Quartier und insbesondere auch Nutzerinnen und Nutzer in das gesamte Verfahren einbezogen.

Mit MAPP erfassen Sie zunächst die Veränderungen des Lebenskontextes der Menschen und ordnen anschließend mögliche Ursachen diesen Veränderungen zu (externe Rahmenbedingungen, Interventionen und Maßnahmen der Quartiersarbeit und/oder weitere Faktoren). In einem partizipativen Verfahren werden in Bezug auf bestimmte Zieldimensionen (im Kontext Quartier etwa „Wohlergehen“, „Autonomie / Selbstbestimmung“, „Versorgungssicherheit“ oder „Soziale Teilhabe“) zunächst wesentliche Veränderungen des Lebenskontextes der Menschen im Quartier identifiziert. In einem zweiten Schritt werden dann ebenfalls partizipativ Unterkriterien bzw. Indikatoren bestimmt, die eine detailliertere Beschreibung von Entwicklungstrends und mögliche Wirkungszusammenhänge zu einzelnen Interventionen und Maßnahmen erlauben.

MAPP ist ein kontextorientierter Ansatz. Das bedeutet, dass Sie die Projektwirkungen im Kontext aller Einflüsse bewerten, die gemeinsam die Lebensrealität in Ihrem Quartier ausmachen. Sie betrachten also erst die Gesamtsituation vor Ort und bewerten dann in einem zweiten Schritt die Quartiersmaßnahmen und ihren Einfluss auf diese Gesamtsituation. Für die Veränderung der Gesamtsituation im Quartier werden von Anfang an immer auch externe Faktoren (s. Reflexionstext Mehrebenenmodell) aber auch Einflüsse weiterer Akteure und Interventionen im Quartier in Rechnung gestellt. Es werden also nicht nur Ihre projekteigenen Interventionen und Maßnahmen berücksichtigt und gefragt „was haben wir mit unseren Maßnahmen erreicht?“, sondern es wird immer schon davon ausgegangen, dass selbstverständlich auch andere Einflüsse im Quartier wirken.

Mit Hilfe von MAPP können komplexe Ziele und Konzepte evaluiert werden, die vor allem anhand mehrerer qualitativer Kriterien beschrieben werden können. Deren Veränderungen werden mit Hilfe eines Punktsystems vergleichbar gemacht. Gleichwohl werden zur Überprüfung der Selbsteinschätzungen der Verfahrensbeteiligten auch zusätzliche Daten herangezogen.

MAPP ist ein neutrales Verfahren, bei dem auch negative Wirkungen von Projekten erhoben werden. Es trägt damit der Realität Rechnung, dass fast alle Maßnahmen neben Vor- auch Nachteile oder Kosten mit sich bringen. Sie sollen in die Abwägung einbezogen werden, auch wenn alternative Interventionen in Frage kommen oder kompensatorische Maßnahmen etwa Nachteile abfedern könnten. 

Das MAPP-Verfahren im Arbeitsfeld Quartiersentwicklung umfasst sieben Arbeitsschritte.

Wofür eignet sich MAPP und welche Voraussetzungen sind zu berücksichtigen?

MAPP eignet sich insbesondere für eine wirkungsorientierte Selbstevaluation, um Wirkungen bzw. Veränderungen in einem komplexen Umfeld, in unserem Kontext: im Quartier, zu analysieren. MAPP bezieht sich nicht auf eine einzelne Maßnahme (das Reparatur-Café, den Kochtreff für behinderte und nichtbehinderte Quartiersbewohner/-innen, den Kaffeeklatsch für Bewohner/-innen einer Siedlung einer Wohnungsbaugenossenschaft etc.), sondern blickt auf alle Interventionen und Maßnahmenbündel im Quartier, die Sie über einen längeren Zeitpunkt hinweg entwickelt und umgesetzt haben, um grundsätzliche, umfassende Zieldimensionen zu bearbeiten.

MAPP ist ein partizipatives Verfahren, so dass es besonders gut geeignet ist, veschiedene Akteure, einschließlich Nutzerinnen und Nutzer, zu beteiligen.

MAPP nutzt im Wesentlichen Selbsteinschätzungen, wobei mit dem Instrument des „Cross-Checking“ auch ein Verfahrensschritt eingebunden ist, mit dem auch empirisch abgesicherte Daten berücksichtigt werden. Die in den Gruppendiskussionen gewonnenen Ergebnisse werden zunächst kommunikativ und dann mit Hilfe eines mehrperspektivischen Verfahrens validiert (Mehraugenprinzip, Cross-Checking mit Daten aus anderen Quellen und Dokumenten).

Fachliche Voraussetzungen für die Durchführung

Das MAPP-Verfahren kann prinzipiell von den professionellen Mitarbeitenden in der Quartiersarbeit ohne eine besondere Zusatzqualifikation durchgeführt werden. Hilfreich sind Kompetenzen im Hinblick auf die Moderation von zielführenden Diskussionsprozessen und gegebenenfalls eine Einführung in die Methodik durch eine erfahrene Trainerin oder einen erfahrenen Trainer (ein- bis dreitägige Fortbildung).

Vorbereitungszeit: Zwei bis drei Arbeitstage zur Vorbereitung der MAPP-Workshops, Zusammenstellung und Einladung bzw. Gewinnung der Teilnehmenden der Evaluationsgruppe.

Durchführung: in der Regel zwei bis drei ganztägige kurz hintereinander folgende Workshops (bei halbtägigen Workshops entsprechend mehr Termine), zusätzlich zeitliche Ressourcen für Dokumentationsaufwand, Beschaffung zusätzlicher Daten und Materialien, Berichterstellung.

Wie generell bei allen Verfahren der wirkungsorientierten Selbstevaluation sind die jeweiligen Quartiersentwickler/-innen, Quartiermanager/-innen, Projektverantwortlichen im Quartier für die Durchführung des MAPP-Verfahrens verantwortlich. Dies setzt die Abstimmung mit den jeweiligen Leitungsverantwortlichen in der Trägerorganisation voraus, insbesondere im Hinblick auf notwendige Ressourcen für die Durchführung und den Umgang mit den Ergebnissen der Analyse. Gleichzeitig bietet es sich an, gemeinsam mit Kollegen und Kolleginnen und/oder anderen Aktiven aus der Quartiersarbeit ein kleines Team zu bilden (max. drei bis vier Personen).

Verfahrensschritte im Rahmen einer Selbstevaluation in einem Quartiersprojekt

Ausgehend von den idealtypischen Instrumenten des MAPP-Verfahrens (s. o.) könnte eine Übertragung auf ein Quartiersprojekt wie folgt gestaltet werden. Als Referenzmodell für dieses MAPP-Verfahren im Quartierskontext dient ein von Susanne Neubert entwickelter Leitfaden (aus: Susanne Neubert, Akteurszentrierte Wirkungsanalyse in der Entwicklungszusammenarbeit, Deutsches Institut für Entwicklungspolitik, Bonn (Kurzfassung veröffentlicht im DED-Brief 2004).

Vorbereitungsphase

  1. Einholen von grundlegenden Vorinformationen zum Projekt, das evaluiert werden soll. Als Ausgangspunkt für die Durchführung des MAPP-Verfahrens sichten Sie noch einmal alle relevanten Dokumente zur Ausgangssituation des Projektes (z. B. Sozialraumanalyse), zu den Projektzielen und dem Projektkonzept sowie zu den Rahmenbedingungen (Förderbedingungen, Budget, Verantwortlichkeiten, Kooperationspartner, Maßnahmenplan etc.)

  2. Definition der zu untersuchenden Zieldimensionen. Überprüfen Sie, ob Ihre Leitziele sich z.B. durch die Zieldimensionen „Autonomie und Wohlergehen“, „Selbstbestimmung und Versorgungssicherheit“ und/oder „Soziale Teilhabe“ abbilden lassen und ob Sie gegebenenfalls weitere konkrete Zieldimensionen für Ihre Quartiersarbeit definiert haben. Häufig orientieren sich diese Zieldimensionen z. B. an den vier Handlungsfeldern des Masterplan Quartier.NRW (Gemeinschaft erleben, Sich versorgen ,Wohnen, Sich einbringen) oder an den sechs Zieldimensionen des Kuratoriums Deutsche Altershilfe (wertschätzendes gesellschaftliches Umfeld, tragende soziale  Infrastruktur, generationsgerechte räumliche Infrastruktur, bedarfsgerechte Wohnangebote, bedarfsgerechte Dienstleistungen und Angebote, wohnortnahe Beratung und Begleitung) oder ähnlichen Modellen.

  3. Bestimmung des Kontextes, in dem MAPP durchgeführt werden soll (je nach Größe des Quartiers und der Projektziele kann es das Quartier insgesamt, gegebenenfalls aber auch ein bestimmter Quartiersausschnitt sein), Bestimmung der Zusammensetzung der Evaluations- bzw. Diskussionsgruppe mit Hilfe der Projektmitarbeitenden. Sie können in die Diskussionsgruppe beruflich und/oder freiwillig Aktive aus Ihrem Quartiersprojekt, Mitarbeitende von relevanten Akteuren und Kooperationspartnern im Quartier, insbesondere aber auch Bürgerinnen und Bürger einladen. Gruppengröße: rund 15 - 30 Teilnehmer/-innen. Legen Sie einen Termin für die Durchführung des MAPP-Verfahrens fest, in der Regel zwei bis drei ganztägige kurz hintereinander folgende Workshops (bei halbtägigen Workshops entsprechend mehr Termine - hier werden Sie pragmatische Entscheidungen treffen müssen, die die zeitlichen Möglichkeiten der Teilnehmenden berücksichtigen).

1. Lebenslinie

In der Evaluations- bzw. Diskussionsgruppe werden gemeinsam Einschätzungen zur Gesamtentwicklung im Quartier (inkl. externe Rahmenbedingungen und Krisen) gesammelt und Bewertungen in einer einfachen Fünf-Punkte-Skala vorgenommen. Dabei geht es nicht um eine messgenaue Bestimmung von einzelnen Punktzahlen, sondern hauptsächlich um die Diskussion während des Evaluationsworkshops. Die Diskussion wird stichwortartig protokolliert

Ein Beispiel, wie eine Lebenslinie aussehen kann, finden Sie hier.


2. Trendanalyse

Im Wesentlichen beinhaltet die Trendanalyse

  1. die Definition von Unterkriterien und 
  2. die Ermittlung der Trends.

Die Trendanalyse bezieht sich ebenfalls auf die Projektumgebung, also die Gesamtentwicklung im Quartier, wobei jetzt die bisher ausgewählten Schlüsselkriterien bzw. Zieldimensionen gemeinsam mit allen Beteiligten in der Evaluations- bzw. Diskussionsgruppe konkretisiert und präzisiert werden. Auch hier wird in der Gruppendiskussion eine Bewertung gemäß einer Punkteskala über den gewählten Zeitraum hinweg vorgenommen und so jeweils ein Gesamttrend ermittelt. Auch hier geht es nicht um eine messgenaue Bestimmung von einzelnen Punktzahlen, sondern hauptsächlich um die Diskussion während des Evaluationsworkshops. In der Diskussion werden die Selbsteinschätzungen der Gruppenmitglieder zusammengetragen und zu einer möglichst konsensualen Aussage verdichtet. Die Diskussion wird stichwortartig protokolliert. Gleichzeitig müssen in der Diskussion gegebenenfalls wichtige Differenzierungen festgehalten werden, da sich möglicherweise die Lebenssituation einzelner bestimmter Gruppen und Milieus deutlich voneinander unterscheiden.

Ein Beispiel, wie die Ergebnisse einer Trendanalyse festgehalten werden können finden Sie hier.


3. Cross-Checking

Gemeinsam mit der Evaluations- bzw. Diskussionsgruppe entscheiden Sie, zu welchen Einschätzungen Ihnen zusätzliche Informationen und Daten zur Verfügung stehen bzw. wie und wo Sie sich solche zusätzlichen Informationen relativ leicht beschaffen können. Das können Statistiken, Berichte von unterschiedlichen Expertiseträgern (Kommune, Kreis, Landesinstitutionen wie z. B. das Landeszentrum Gesundheit Nordrhein-Westfalen, Pflege- bzw. Krankenkassen, Forschungsinstitute, die Studien zum Stadtteil erstellt haben, etc.) und weitere Projektunterlagen sein. So können die Einschätzungen der Diskussionsgruppe bestätigt oder auch kontrastiert werden. Ergeben sich direkte Widersprüche, wird versucht, diese gemeinsam mit den Diskussionsteilnehmenden zu klären. Zumeist diesen die Informationen aus dem Cross Checking jedoch der Ergänzung der schon ermittelten Informationen. Eine Überprüfung der Einschätzung der Diskussionsgruppe zu den „Unterstützungsangeboten für eine selbständige Lebensführung auch bei gesundheitlichen Einschränkungen“ könnte z. B. ergeben, dass es faktisch deutlich mehr solcher Angebote gibt, die aber nur ungenügend bekannt oder schwer zugänglich sind.


4. Maßnahmen- bzw. Aktivitätenliste

Es werden sämtliche Programm- und Projektaktivitäten im Beobachtungszeitraum notiert. Dabei werden sowohl Maßnahmen und Interventionen aufgenommen, für die selbst verantwortlich sind, als Initiator und/oder auch durchführender Akteur, als auch Aktivitäten anderer Akteure im Stadtteil. Gemeinsam wird die Relevanz jeder Aktivität bewertet und auch eine Einschätzung zu den „Eigenleistungen“ der Nutzerinnen und Nutzer ermittelt. „Eigenleistungen“ meint im WINQuartier-Kontext vor allem das bürgerschaftliche Engagement im Stadtteil und die selbst organisierten nachbarschaftlichen Initiativen oder sozialen Netzwerke. Gegebenenfalls spielen aber auch materielle Eigenleistungen der Bürgerinnen und Bürger eine Rolle. Die Informationen aus diesem Verfahrensschritt sind interventions- bzw. projektbezogen und stellen Momentaufnahmen dar. Die Bewertung der Relevanz ist eine Selbsteinschätzung der Beteiligten und keine empirisch gesicherte Messgröße. Trotzdem sind in diesem Schritt Rückschlüsse zur Bedeutung einzelner Maßnahmen möglich.

Ein Bespiel für eine Maßnahmen- bzw. Aktivitätenliste finden Sie hier.


5. Einflussmatrix

Mit Hilfe der Einflussmatrix erfolgt nun eine Wirkungszuschreibung einzelner Maßnahmen und Aktivitäten auf die Entwicklung der gemeinsam festgelegten Unterkriterien zu den übergreifenden Zieldimensionen. Dabei werden sowohl positive als auch mögliche negative Einflüsse ermittelt. Dabei werden Passiv- und aktivsummen gebildet, so dass schließlich jeweils das am meisten und das am geringsten beeinflusste Kriterium sowie die einflussreichsten Projektaktivitäten identifiziert werden können. Die Aktivsummen zeigen, welche Maßnahmen Schlüsselwirkungen auf alle Unterkriterien zusammengenommen haben, die Passivsummen geben an, welche Kriterien sich über den Projektzeitraum am stärksten verändert haben. Positive und negative Werte werden nicht addiert, da sie sich nicht gegenseitig aufheben können, sondern getrennt dargestellt. Im nachfolgenden Beispiel für eine Einflussmatrix anhand der bisher gewählten Kriterien und Aktivitäten und Maßnahmen lassen sich keine „negativen Einflüsse“ konstruieren. Es könnten aber beispielsweise Aktivitäten und Maßnahmen beschrieben werden, die etwa große materielle Eigenleistungen voraussetzen und damit durchaus auch negative Wirkungen auf das Kriterium „Wirksame Strategien, um Benachteiligungen durch den sozioökonomischen Status, insbesondere Armut, zu vermeiden“ haben können, z. B. Schaffung von alternativen Wohnformen in einem ausschließlich hochpreisigen Mietsegment.

Ein Beispiel für eine Einflussmatrix finden Sie hier.


6. Entwicklungs- und Wirkungsprofil

Dieser Verfahrensschritt dient dazu, die wichtigsten Informationen aus den bisherigen Arbeitsschritten und Matrices zusammenzufassen und damit Stärken und Schwächen des Projekts darzustellen. Das auf Grundlage der Trendanalyse erstellte Entwicklungsprofil dient der Vergleichbarkeit, ist aber auch geeignet, um festzustellen, ob die Gesamtentwicklung eher gleichmäßig, nachhaltig und „robust“ oder eher ungleichmäßig, schwankend und „vulnerabel / verletzlich“ ist. Es ist zudem erkennbar, welche Hauptfaktoren (Interventionen, Aktivitäten, Maßnahmen, Träger, Organisation) welche Entwicklung gefördert haben und welche Rolle externe Einflüsse haben.

Die Profillinie im Beispiel ist eine ausschließlich konstruierte Linie, um das Prinzip verdeutlichen zu können.


7. Partizipative Entwicklungsplanung

Aus den Ergebnissen der bisherigen Arbeitsschritte werden die Kriterien identifiziert, zu denen bisher am wenigsten Wirkungen und Veränderungen festgestellt werden konnten. Es wird gemeinsam festgelegt, welche neuen Strategien hierfür entwickelt werden können und in welchen Arbeitsstrukturen hierfür konkrete Ziele und Maßnahmen vereinbart werden sollen und welche Akteure im Quartier für die Umsetzung Verantwortung übernehmen können oder sollen.


Auswertungsphase und Kontextualisierung

  1. Gegenüberstellung der Ergebnisse mit solchen aus den anderen MAPP-Durchgängen (gilt für den Fall, dass das MAPP-Verfahren in regelmäßigen Abständen wiederholt wird), weiteren Projektunterlagen (Berichte, Monitoring- bzw. Controllingdaten etc.), Statistiken und zusätzlichen Informationen aus parallel durchgeführten Einzelinterviews mit weiteren Experten und Expertinnen. 
  2. Verfassen des MAPP-Evaluationsberichts vor dem Hintergrund der Zieldimensionen des Quartiersentwicklungsprozesses.
  3. Je nach Entscheidung im Evaluationsteam bzw. je nachdem, ob es sich um eine Selbstevaluation in Eigenaktivität der Projektmitarbeitenden oder als Delegation bzw. Auftrag durch die Leitungsebene der Trägerorganisation handelt: Rückmeldung der Ergebnisse, Diskussion und u. U. Überarbeitung des MAPP-Evaluierungsberichts.

Arbeitshilfen im Überblick

Die Beschreibung des MAPP-Verfahrens können Sie hier herunterladen.

Das Beispiel


Quellenangaben und weiterführende Literatur

Auf der Homepage des Deutschen Instituts für Entwicklungspolitik finden Sie eine Beschreibung des MAPP-Ursprungsmodells.

Neubert, S. (1999). Die soziale Wirkungsanalyse in armutsorientierten Projekten. Ein Beitrag zur Methodendiskussion in der Evaluationspraxis der Entwicklungszusammenarbeit. Köln: Weltforum Verlag (Schriftenreihe des Deutschen Instituts für Entwicklungspolitik, Band 116).

Neubert, S. (2004). Akteurszentrierte Wirkungsanalyse in der Entwicklungszusammenarbeit. Bonn: (Kurzfassung veröffentlicht im DED-Brief 2004).

Neubert, S. & Müller, R. (2010). Method for Impact Assessment of Programmes and Projects (MAPP). In: Arbeitskreis “Evaluation von Entwicklungspolitik” DeGEval – Deutsche Gesellschaft für Evaluation (Hrsg.). Verfahren der Wirkungsanalyse. Ein Handbuch für die entwicklungspolitische Praxis. S. 88 - 96. Freiburg i. Br.: Arnold-Bergstraesser-Institut.