Glossar

Effektivität und Wirksamkeit: Wo liegen die Unterschiede?

Effektivität gibt an, in welchem Umfang eine Maßnahme unter Alltagsbedingungen die beabsichtigte Wirkung erzielt (Razum et al., 2009, S. 328).

Dagegen bedeutet Wirksamkeit, ob und in welchem Umfang eine Maßnahme unter idealen Bedingungen einer Studie die beabsichtige Wirkung erzielt (ebd.). "ideale Bedingungen" meinen stets ein experimentelles und kontrollierbares Umfeld der Studie.

Quelle:
Razum, O., Breckenkamp, J. & Brzoska, P. (2009). Epidemiologie für Dummies. Weinheim: Wiley-VCH Verlag.

Effizienz ist ein Maß für die Wirtschaftlichkeit des Vorgehens und berücksichtigt folglich den Aufwand, der zur Erreichung des Ziels erforderlich ist, also das Verhältnis von Kosten und Nutzen (Razum et al., 2009, S. 328).

Quelle 
Razum, O., Breckenkamp, J. & Brzoska, P. (2009). Epidemiologie für Dummies. Weinheim: Wiley-VCH Verlag.

In einem Evaluationsdesign beschreiben Sie, welche Indikatoren Sie mit welchen Methoden zu welchem Zeitpunkt erheben. Es wird also sowohl ein inhaltlicher Überblick über die Evaluation gegeben als auch der zeitliche Verlauf deutlich.

Mit dem Begriff Evaluationsgegenstand wird die Frage Ihrer Evaluation beschrieben. Welche Maßnahme, welche Aktivität steht bei Ihrer Evaluation im Mittelpunkt? Das ist der Evaluationsgegenstand. 

So können Sie allgemein sagen, dass Ihre Quartiersarbeit der Evaluationsgegenstand ist.

Um Wirkungen, also Veränderungen, ermitteln zu können, müssen Sie mindestens vor Beginn Ihrer Quartiersmaßnahme/Intervention sowie zum Ende dieser Ihre Indikatoren erheben. Dieses Vorgehen wird als Vorher-Nachher Vergleich bezeichnet. Um zu ermitteln, ob die Wirkungen Ihrer Quartiersarbeit auch über die einzelne Maßnahme hinaus erhalten bleiben, benötigen Sie eine sogenannte Follow-up Messung. Das bedeutet, dass Sie z. B. 6 Monate nach Ende der Maßnahme Ihre Erhebung (dieselben Indikatoren mit denselben Teilnehmenden aus Ihrer Quartiersmaßnahme) noch einmal wiederholen und ebenfalls auswerten. Anschließend vergleichen Sie Ihre Ergebnisse aus der Follow-up Messung mit den Ergebnissen aus der Vorher-Nachher Messung.

Ein Indikator ist ein Hinweis, ein Anzeiger, ob bzw. inwiefern Sie Ihre Wirkungsziele erreicht haben.

Es gibt unterschiedliche Arten von Indikatoren, denn nicht immer können Sie Veränderungen auf direktem Wege beobachten. Wenn Sie beispielsweise ermitteln wollen, ob durch Ihre Quartiersarbeit das soziale Miteinander im Quartier gefördert wird, müssen Sie "Umwege" gehen, um das herauszufinden. So können Sie z. B. beobachten, ob sich die Teilnehmenden an Ihren Quartiersangeboten auch zu anderen Aktivitäten verabreden.

Daher wird zwischen direkten und indirekten Indikatoren unterschieden.

Im Gegensatz zu der Wirkung Ihrer Quartiersarbeit beschreibt der Nutzen die subjektive Wahrnehmung der Zielgruppe.

Damit Quartiersentwicklung effektiv sein kann, bedarf es neben objektiv feststellbarer Wirkungen auch einer positiven Bewertung dieser Wirkungen durch die Zielgruppe, es braucht also auch einen Nutzen für die Zielgruppe, die diese selbst wahrnimmt und beschreiben kann.

Wenn nach Einstellungen oder Meinungen gefragt wird, werden häufig sogenannte Likertskalen genutzt.

Sie kommen aus dem Urlaub zurück nach Hause und haben im Mail-Postfach eine Mail des Hotels, in der Sie gebeten werden, ein Feedback z. B. wie Ihnen Ihr Hotelzimmer gefallen hat, zu geben. Für die Antwort werden Ihnen Auswahlmöglichkeiten gegeben, wie "sehr gut", "gut", "mittel", "schlecht", "sehr schlecht". Diese Feedbackfrage stellt ein kleines Beispiel für eine Likertskala dar.

Weitere Anregungen zur Arbeit mit Likertskala finden Sie auf der Website von SurveyMonkey.

Vor allem die vergangene Landesregierung nutzte diesen Begriff, um eine Erwartungshaltung an die altengerechte Quartiersentwicklung zu formulieren. 

Der Begriff Präventionsrendite zielt auf Kosteneinsparungen ab, die zustande kommen, wenn ältere Menschen zunächst (so lange wie möglich, da es entsprechende Maßnahmen in den Quartieren gibt, die das ermöglichen) in ihrem bisherigen Wohnumfeld verbleiben und nicht in stationäre Pflege gehen.

Lesen Sie hier mehr zum Kontext.

Jedes Merkmal, das Sie mit Ihrem Fragebogen erheben, hat verschiedene Ausprägungen. Anders ausgedrückt: Zu jeder Frage in Ihrem Fragebogen gibt es mindestens zwei Antwortmöglichkeiten.

Wenn Sie z. B. nach dem Geschlecht (Merkmal) einer Person fragen, sind mögliche Ausprägungen (Antworten) "männlich" oder "weiblich".

Die verschiedenen Ausprägungen können auf einer Skala angeordnet werden. Dabei gibt es verschiedene Arten von Skalen, in der Statistik wird hierbei von sogenannten Skalenniveaus gesprochen.

Insbesondere drei Skalenniveaus werden häufig verwendet:

  • Nominalskala. Merkmale haben zwei oder mehrere Ausprägungen. Eine Rangfolge der verschiedenen Ausprägungen gibt es nicht.
    Beispiel: Das Merkmal Geschlecht hat die Ausprägungen "männlich" und "weiblich".
    Das Merkmal Augenfarbe kann die Ausprägungen "blau", "braun", "grün" oder auch "blau-grün" haben.
    Das Merkmal Herkunftsland kann z. B. die Ausprägungen "Deutschland", "Türkei" oder "Russland" haben.
  • Ordinalskala. Merkmale haben Ausprägungen, die in Kategorien dargestellt werden. Eine Rangfolge der Kategorien ist erkennbar, allerdings sind die Abstände zwischen den Kategorien nicht quantifizierbar/messbar.
    Beispiel: Das Merkmal Schweregrad einer Erkrankung kann die Ausprägungen "leicht", "mittel", "schwer".
    Das Merkmal Erreichbarkeit von Hausärzten im Quartier kann die Ausprägungen "sehr gut", "gut", "teils, teils", "schlecht", "sehr schlecht" haben.
  • Intervallskala (u. a. metrische Skalen). Die Ausprägungen der Merkmale auf dieser Skala weisen nicht nur eine Rangfolge auf, die Abstände (Differenzen) zwischen den verschiedenen Ausprägungen sind messbar/zählbar.
    Beispiel: Das Merkmal Alter. Eine Person im Alter von 77 Jahren ist 7 Jahre älter als eine Person im Alter von 70 Jahren.

Weiterführende Literatur

  • Hollenberg, S. (2016). Fragebögen. Fundierte Konstruktiion, sachgerechte Anwendung und aussagekräftige Auswertung. Wiesbaden: Springer VS.
  • Razum, O., Breckenkamp, J. & Brzoska, P. (2009). Epidemiologie für DUMMIES. Weinheim: Wiley-VCH Verlag.

 

 

Social Return on Investment (kurz: SROI)

Der SROI-Ansatz zählt zu den ökonomischen Evaluationsformen und ist eine sogenannte Cost-Benefit-Analyse. "Cost" steht allgemein für die Kosten (Ihrer Quartiersarbeit), "benefit" beschreibt den Nutzen der geleisteten Arbeit.

Im Rahmen des SROI-Ansatzes werden Kosten als "Investition" betrachtet, statt des Nutzens wird die soziale Rendite ermittelt. Die Rendite entspricht hierbei allerdings den monetär bewerteten Wirkungen einer Intervention, für die Gelder investiert werden." (Rauscher et al., 2012, S. 10)

Siehe hierzu auch: Ökonomische Evaluationen im Quartier

Quelle und weiterführende Lektüre:
Rauscher, O., Schober, C. & Millner, R. (2012). Social Impact Measurement und Social Return on Investment (SROI)-Analyse. Online verfügbar.

Stakeholder sind Schlüsselpersonen

Stakeholder können einzelne Personen, Organisationen und Institutionen sein. Ihnen ist gemeinsam, dass ihre Interessen mit Ihrem Quartiersansatz und somit mit Ihrer Quartiersarbeit in Verbindung stehen. "Sie verbinden mit dem Projekt Erwartungen und Befürchtungen, organisieren Widerstand oder Unterstützung und möchten auf die Konzeption und den Verlauf Einfluss nehmen können." (Mehnert & Kremer-Preiß, 2016, S. 77)

Quelle:
Mehnert, T. & Kremer-Preiß, U., 2016. Handreichung Quartiersentwicklung. Praktische Umsetzung sozialraumorientierter Ansätze in der Altenhilfe. Köln: Kuratorium Deutsche Altershilfe.

Siehe Beschreibung bei "Effektivität".

Wirkungen "sind Veränderungen, die Sie mit Ihrer Arbeit bei Ihren Zielgruppen, deren Lebensumfeld oder der Gesellschaft erreichen." (Kurz & Kubek, 2015, S. 5).

Wirkungen sind objektiv feststellbare Effekte Ihrer Quartiersarbeit. Im Gegensatz dazu stellt der Nutzen Ihrer Arbeit eine subjektive Bewertung durch die Befragten dar.

In einer wirkungsorientierten Selbstevaluation können Sie differenzieren nach

  • auf Ebene der Zielgruppe (Veränderungen hinsichtlich Einstellungen, Meinungen, Verhalten, Fähigkeiten, Fertigkeiten, Kompetenzen, Wissen) und
  • auf Ebene des Quartiers (Strukturen und Akteure).

Mit Wirkungszielen beschreiben Sie, was sich auf Ebene der Zielgruppe (Wissen, Fähigkeiten, Fertigkeiten, Einstellungen, Meinungen) oder auf Ebene des Quartiers (z. B. Strukturen und Akteure) durch Ihre Quartiersarbeit verändern soll.

Welche Wirkungen Sie in den Blick nehmen können, können Sie unter dem Begriff Wirkung nachlesen.