Autor: Dieter Zisenis

Method for Impact Assessment of Programs and Projects (MAPP)

Stand: 15.03.2019

Wer hat's erfunden?

MAPP ist im Kontext von entwicklungspolitischen Maßnahmen von Susanne Neubert entwickelt worden. Für das Instrumentarium zur wirkungsorientierten Selbstevaluation ist dieses Verfahren für das Arbeitsfeld Quartiersentwicklung angepasst worden. Wir stellen deshalb hier nur dieses angepasste Verfahren vor. Hinweise zu  weiterführenden Informationen zum Ursprungsmodell finden Sie unten.

Auf den Punkt – was ist MAPP?

Wesentliche Charakteristika von MAPP:

MAPP ist ein systematischer Vorher-Nachher-Vergleich, bei dem die Vergangenheit rückblickend für mehrere Zeitpunkte analysiert wird. MAPP erfordert keine Datenerhebung und Analyse der Ausgangssituation (baseline) zum Start des Quartiersentwicklungsprozesses, da sie retroperspektiv vorgeht. Stattdessen kann zu einem selbst gewählten Zeitpunkt durchgeführt werden. Allerdings sollte ein längerer Zeitraum nach Projektstart in den Blick genommen werden, so dass erwartet werden kann, dass tatsächlich Wirkungen durch die Maßnahmen im Quartier realistisch sind.  Natürlich kann MAPP dann in Abständen wiederholt und mit den Vorerhebungen verglichen werden. Vor dem Hintergrund der nach wie vor häufigen Projektstruktur der Quartiersarbeit können in der Regel nur relativ kurze Zeiträume in den Blick genommen werden. Sie sollten aber mindestens eine zwei- oder dreijährige Zeitspanne als Beobachtungszeitraum wählen können.

MAPP ist ein partizipatives Verfahren, d.h. von Anfang an werden unterschiedliche Akteure im Quartier und insbesondere auch Nutzerinnen und Nutzer in das gesamte Verfahren einbezogen.

Mit MAPP erfassen Sie zunächst die Veränderungen des Lebenskontextes der Menschen und ordnen anschließend mögliche Ursachen diesen Veränderungen zu (externe Rahmenbedingungen, Interventionen und Maßnahmen der Quartiersarbeit und/oder weitere Faktoren). In einem partizipativen Verfahren werden in Bezug auf bestimmte Zieldimensionen (im Kontext Quartier etwa „Wohlergehen“, „Autonomie / Selbstbestimmung“, „Versorgungssicherheit“ oder „Soziale Teilhabe“) zunächst wesentliche Veränderungen des Lebenskontextes der Menschen im Quartier identifiziert. In einem zweiten Schritt werden dann ebenfalls partizipativ Unterkriterien bzw. Indikatoren bestimmt, die eine detailliertere Beschreibung von Entwicklungstrends und mögliche Wirkungszusammenhänge zu einzelnen Interventionen und Maßnahmen erlauben.

MAPP ist ein kontextorientierter Ansatz. Das bedeutet, dass Sie die Projektwirkungen im Kontext aller Einflüsse bewerten, die gemeinsam die Lebensrealität in Ihrem Quartier ausmachen. Sie betrachten also erst die Gesamtsituation vor Ort und bewerten dann in einem zweiten Schritt die Quartiersmaßnahmen und ihren Einfluss auf diese Gesamtsituation. Für die Veränderung der Gesamtsituation im Quartier werden von Anfang an immer auch externe Faktoren (s. Reflexionstext Mehrebenenmodell) aber auch Einflüsse weiterer Akteure und Interventionen im Quartier in Rechnung gestellt. Es werden also nicht nur Ihre projekteigenen Interventionen und Maßnahmen berücksichtigt und gefragt „was haben wir mit unseren Maßnahmen erreicht?“, sondern es wird immer schon davon ausgegangen, dass selbstverständlich auch andere Einflüsse im Quartier wirken.

Mit Hilfe von MAPP können komplexe Ziele und Konzepte evaluiert werden, die vor allem anhand mehrerer qualitativer Kriterien beschrieben werden können. Deren Veränderungen werden mit Hilfe eines Punktsystems vergleichbar gemacht. Gleichwohl werden zur Überprüfung der Selbsteinschätzungen der Verfahrensbeteiligten auch zusätzliche Daten herangezogen.

MAPP ist ein neutrales Verfahren, bei dem auch negative Wirkungen von Projekten erhoben werden. Es trägt damit der Realität Rechnung, dass fast alle Maßnahmen neben Vor- auch Nachteile oder Kosten mit sich bringen. Sie sollen in die Abwägung einbezogen werden, auch wenn alternative Interventionen in Frage kommen oder kompensatorische Maßnahmen etwa Nachteile abfedern könnten. 

Das MAPP-Verfahren im Arbeitsfeld Quartiersentwicklung umfasst sieben Arbeitsschritte.

Wofür eignet sich MAPP und welche Voraussetzungen sind zu berücksichtigen?

MAPP eignet sich insbesondere für eine wirkungsorientierte Selbstevaluation, um Wirkungen bzw. Veränderungen in einem komplexen Umfeld, in unserem Kontext: im Quartier, zu analysieren. MAPP bezieht sich nicht auf eine einzelne Maßnahme (das Reparatur-Café, den Kochtreff für behinderte und nichtbehinderte Quartiersbewohner/-innen, den Kaffeeklatsch für Bewohner/-innen einer Siedlung einer Wohnungsbaugenossenschaft etc.), sondern blickt auf alle Interventionen und Maßnahmenbündel im Quartier, die Sie über einen längeren Zeitpunkt hinweg entwickelt und umgesetzt haben, um grundsätzliche, umfassende Zieldimensionen zu bearbeiten.

MAPP ist ein partizipatives Verfahren, so dass es besonders gut geeignet ist, veschiedene Akteure, einschließlich Nutzerinnen und Nutzer, zu beteiligen.

MAPP nutzt im Wesentlichen Selbsteinschätzungen, wobei mit dem Instrument des „Cross-Checking“ auch ein Verfahrensschritt eingebunden ist, mit dem auch empirisch abgesicherte Daten berücksichtigt werden. Die in den Gruppendiskussionen gewonnenen Ergebnisse werden zunächst kommunikativ und dann mit Hilfe eines mehrperspektivischen Verfahrens validiert (Mehraugenprinzip, Cross-Checking mit Daten aus anderen Quellen und Dokumenten).

Fachliche Voraussetzungen für die Durchführung

Das MAPP-Verfahren kann prinzipiell von den professionellen Mitarbeitenden in der Quartiersarbeit ohne eine besondere Zusatzqualifikation durchgeführt werden. Hilfreich sind Kompetenzen im Hinblick auf die Moderation von zielführenden Diskussionsprozessen und gegebenenfalls eine Einführung in die Methodik durch eine erfahrene Trainerin oder einen erfahrenen Trainer (ein- bis dreitägige Fortbildung).

Vorbereitungszeit: Zwei bis drei Arbeitstage zur Vorbereitung der MAPP-Workshops, Zusammenstellung und Einladung bzw. Gewinnung der Teilnehmenden der Evaluationsgruppe.

Durchführung: in der Regel zwei bis drei ganztägige kurz hintereinander folgende Workshops (bei halbtägigen Workshops entsprechend mehr Termine), zusätzlich zeitliche Ressourcen für Dokumentationsaufwand, Beschaffung zusätzlicher Daten und Materialien, Berichterstellung.

Wie generell bei allen Verfahren der wirkungsorientierten Selbstevaluation sind die jeweiligen Quartiersentwickler/-innen, Quartiermanager/-innen, Projektverantwortlichen im Quartier für die Durchführung des MAPP-Verfahrens verantwortlich. Dies setzt die Abstimmung mit den jeweiligen Leitungsverantwortlichen in der Trägerorganisation voraus, insbesondere im Hinblick auf notwendige Ressourcen für die Durchführung und den Umgang mit den Ergebnissen der Analyse. Gleichzeitig bietet es sich an, gemeinsam mit Kollegen und Kolleginnen und/oder anderen Aktiven aus der Quartiersarbeit ein kleines Team zu bilden (max. drei bis vier Personen).

Verfahrensschritte im Rahmen einer Selbstevaluation in einem Quartiersprojekt


Quellenangaben und weiterführende Literatur

Auf der Homepage des Deutschen Instituts für Entwicklungspolitik finden Sie eine Beschreibung des MAPP-Ursprungsmodells.

Neubert, S. (1999). Die soziale Wirkungsanalyse in armutsorientierten Projekten. Ein Beitrag zur Methodendiskussion in der Evaluationspraxis der Entwicklungszusammenarbeit. Köln: Weltforum Verlag (Schriftenreihe des Deutschen Instituts für Entwicklungspolitik, Band 116).

Neubert, S. (2004). Akteurszentrierte Wirkungsanalyse in der Entwicklungszusammenarbeit. Bonn: (Kurzfassung veröffentlicht im DED-Brief 2004).

Neubert, S. & Müller, R. (2010). Method for Impact Assessment of Programmes and Projects (MAPP). In: Arbeitskreis “Evaluation von Entwicklungspolitik” DeGEval – Deutsche Gesellschaft für Evaluation (Hrsg.). Verfahren der Wirkungsanalyse. Ein Handbuch für die entwicklungspolitische Praxis. S. 88 - 96. Freiburg i. Br.: Arnold-Bergstraesser-Institut.