Lernen aus Erfahrungen

Die eigene Wirkung zu bestimmen, ist ein kniffliges Unterfangen für gemeinnützige Organisationen. Es trägt jedoch wesentlich zur Weiterentwicklung bei.

«Bei unseren Förderungen legen wir grossen Wert darauf, besonders wirksame Projekte und Organisationen zu finanzieren. Wir wollen auch unsere eigene Wirksamkeit immer weiter steigern. Dazu möchten wir wissen, wo unsere Förderung schon gut funktioniert und in welchen Bereichen wir besser werden können.»

«Aus meinem Business bin ich es gewohnt, genau hinzuschauen: Was machen meine Mitarbeiterinnen und Mitarbeiter? Lohnt sich eine Investition? Wie gut performen unsere Lieferanten und Geschäftspartner? Auch bei meinem philanthropischen Engagement möchte ich sichergehen, dass meine Mittel sinnvoll und effizient eingesetzt werden.»

Aus Evaluation und Wirkungsmessung lernen

Vielen Philanthropen ist es wichtig, mit ihren Mitteln eine möglichst grosse positive Wirkung zu erzielen – und zu wissen, ob ihnen das auch tatsächlich gelingt. Aber: Echte Evaluation Ich bin eine kurze Erklärung.
Mehr erfahren und Wirkungsmessung kosten viel Zeit und Geld – Ressourcen, die dann nicht mehr für die eigentlichen Förder- oder Projektaktivitäten zur Verfügung stehen.

Eine einfache Faustregel dafür, welche Mittel für die Evaluation (etwa als Prozentsatz der Fördersumme) angemessen sind, gibt es nicht. Deshalb müssen Spender und Stiftungen abwägen: Wie viel ist es ihnen wert, genau(er) zu wissen, ob und wie ihre Unterstützung wirkt?

Massgeblich für die Entscheidung ist dabei in vielen Fällen die Frage: Was möchte der Spender, was möchte die Stiftung aus der Evaluation lernen?

«Es ist nicht sinnvoll, eine ambitionierte Evaluation mit zu knappen Mitteln zu versuchen. Aus einer einmaligen Selbsteinschätzung von 15 Teilnehmenden eines Kurses auf eine nachhaltige Verhaltensänderung zu schliessen – das hat einfach keine belastbare Grundlage.»

Wirkung auf mehreren Ebenen

Evaluation Ich bin eine kurze Erklärung.
Mehr erfahren und Wirkungsmessung beantworten vor allem zwei Fragenkomplexe: Funktioniert der gewählte Ansatz überhaupt – wie effektiv sind die Massnahmen? Und wie gut funktioniert er – wie effizient werden die Mittel im Verhältnis zu den erzielten Wirkungen verwendet?

Gerade bei Förderungen von Organisationen ist es sinnvoll, mehrere Ebenen zu unterscheiden, auf denen Wirkungen eintreten. Am Beispiel eines Programms, bei dem Eltern lernen, ihre Kinder besser beim Lernen zu unterstützen, lässt sich das veranschaulichen:

Das eigentliche Ziel betrifft die Kinder: Ihre Bildungschancen sollen verbessert werden.
Dafür richtet sich das Programm der Nonprofit-Organisation aber an die Eltern: Diese sollen ihr Verhalten gegenüber den Kindern ändern.
Die Stiftung fördert die Organisation: Diese soll die nötigen Ressourcen erhalten, die Programme durchzuführen.

Lässt sich Wirkung messen?

Im Beitrag zur Strategieentwicklung steht als Antwort auf diese Frage: «Ja und nein.» Was bedeutet das?

Die erste Frage lautet: Was möchten wir wissen?

In unserem Beispiel könnte dies so aussehen:

Bei den Kindern: Ist das Programm erfolgreich – steigen ihre Bildungschancen?
Bei den Eltern: Wirkt das Programm – ändern die Eltern ihr Erziehungsverhalten?
Bei der Organisation: Ist die Förderung hilfreich – kann die Organisation die erhoffte Zahl von Eltern aus der Zielgruppe mit dem Programm erreichen?

Abhängig von diesem Erkenntnisinteresse geht es dann darum, aussagekräftige Daten zu gewinnen. Das stellt sich in der Praxis häufig sehr anspruchsvoll und aufwändig dar.

Bei den Kindern könnte man systematisch erheben, wie gut sie in der Schule zurechtkommen, ob sie altersgemäss in die nächste Jahrgangsstufe versetzt werden und wie sich ihr Lernstand entwickelt – idealerweise im Vergleich mit einer Vergleichsgruppe, deren Eltern nicht an dem Programm teilgenommen haben.
Bei den Eltern könnte man mit Fragebögen Selbsteinschätzungen erheben oder über Beobachtungen durch Dritte in bestimmten Situationen eine Einschätzung gewinnen, ob sich ihr Erziehungsverhalten in bestimmten Situationen ändert.
Auf der Ebene der Organisation lässt sich fragen, wie viele Eltern erreicht werden, wie sich die Kosten pro Kurs entwickeln, welche Auswirkungen der Erfolg des Programms auf die Bekanntheit der Organisation hat oder welche Mittel von weiteren Förderern für das Programm eingeworben werden konnten.

Allerdings sind solche Daten häufig mit Unsicherheit behaftet. Und: Es stellt sich immer die Frage, ob die beobachteten Veränderungen auch tatsächlich auf das Wirken der Organisation oder des Förderers zurückgehen oder ganz andere Ursachen haben.

Exkurs: Versuche mit randomisierten Kontrollgruppen – der Goldstandard der Wirkungsmessung?

Wenn man mit grossen Gruppen zu tun hat, dann wird in der Sozialforschung, aber auch zum Beispiel in der Medizin mit «randomisierten Kontrollgruppen» (randomised controlled trial, RCT) gearbeitet. Dabei wird eine Gruppe, die im Grossen und Ganzen vergleichbare Merkmale aufweist, durch zufällige Auswahl in eine Interventions- und eine Kontrollgruppe unterteilt. Die Interventionsgruppe nimmt am Projekt teil (oder erhält das zu testende Medikament), die Kontrollgruppe nicht (bzw. erhält ein wirkungsloses Placebo).

Lassen sich dann bei der Interventionsgruppe Wirkungen zeigen, die in der anderen Gruppe nicht auftreten, kann man annehmen, dass diese auf das Projekt (respektive das Medikament) zurückzuführen sind, weil die Gruppen ansonsten keine Unterschiede aufweisen, die die Wirkung erklären könnten.

Solche Versuche mit randomisierten Kontrollgruppen setzen grosse, einigermassen homogene Gruppen voraus, um die Bedingung «im Wesentlichen gleich» zu erfüllen und statistisch relevante Aussagen zu erlauben. In der Praxis ist das äusserst schwierig und ressourcenintensiv.

Zum Teil wird es auch als ethisch bedenklich angesehen, einem zufällig ausgewählten Teil einer bedürftigen Gruppe eine Hilfe vorzuenthalten. Deswegen arbeitet man zum Teil mit «Warte-Kontrollgruppen», die die Hilfe zwar auch, aber eben später erhalten. Dann fallen die Unterschiede – wenn sich überhaupt welche feststellen lassen – aber in der Regel auch weniger gross aus.

RCTs sind unter bestimmten Bedingungen eine zuverlässige Methode, Wirkungen zu überprüfen. Aber sie eignen sich nur in ausgewählten Fällen, bei denen viele Daten vorliegen. Im Normalfall und bei kleineren Projekten sind sie weder sinnvoll noch vom Aufwand her vertretbar.

«In meinem philanthropischen Engagement hat Wirkungsmessung keinen so hohen Stellenwert. Ich möchte nicht so viele Mittel darauf verwenden. Mir ist es wichtiger, dass die Hilfe bei den Menschen ankommt. Mit der Unsicherheit, ob das wirklich gelingt, kann ich leben – da vertraue ich darauf, dass die Wirkung den Partnern, die ich fördere, genau so am Herzen liegt wie mir.»

Auf Wirkung vertrauen

Jeder Philanthrop, jede Stiftung muss selbst entscheiden, welchen Anteil der eigenen Mittel sie in die Wirkungsmessung oder Evaluation investiert werden soll. Einige entscheiden sich dafür, nur Projekte oder Programme zu fördern, die zuvor schon von anderen begutachtet wurden. Anderen wiederum genügt es, dass die Förderpartner schlüssig darlegen, wie ein Projekt wirken soll und warum diese Annahmen realistisch sind.

«Ich bin fest davon überzeugt: Es gibt kein Projekt oder Programm, das nicht noch effizienter, wirksamer und nachhaltiger gestaltet werden kann. Deshalb stelle ich erhebliche Mittel für die Evaluation bereit. Von Verbesserungen profitieren alle – die evaluierten Organisationen, aber auch andere, die von ihnen lernen, und natürlich die jeweiligen Zielgruppen der Programme.»

Kontinuierliche Verbesserungen

Aus der japanischen Wirtschaftswelt kennen wir den Begriff des Kaizen – das kontinuierliche Streben nach Verbesserung und das stetige Hinterfragen von Annahmen. Auch Nonprofit-Organisationen können bei ihrer Arbeit ständig dazulernen. Eine wichtige Voraussetzung dafür sind belastbare Daten zur Wirksamkeit und Effizienz ihrer Arbeit.

Dafür fehlen den meisten Organisationen die nötigen Ressourcen. Für sie ist es ein Glücksfall, wenn Förderer bereit sind, Wirkungsforschung, Evaluation und Datenerhebungen zu finanzieren – und auch die Konsequenzen daraus mitzutragen. Sie können von kleineren Anpassungen eines Projekts bis zur völligen Neuausrichtung von Programmen oder Strategien reichen.

«Uns interessiert im Augenblick vor allem, wie sich unsere Förderungen bei den Partnerorganisationen auswirken. Binden wir mit unseren Anforderungen Ressourcen, die für etwas Wichtigeres zur Verfügung stehen sollten? Führen unsere Vorgaben oder Erwartungen dazu, dass die Organisation bestimmte Aktivitäten nur unseretwegen durchführt? Und schaffen wir mit unserer Förderung Abhängigkeiten, die die Organisation in schwierige Zwangslagen bringen?»

Wirkungen bei den geförderten Organisationen

Keine Förderung bleibt für die geförderte Organisation ohne Folgen. Je grösser die Förderung und je höher der Anteil am Budget, umso einschneidender können diese Auswirkungen sein. Im besten Fall hilft die Förderung der Organisation, zu lernen, zu wachsen und ihre Aufgaben immer besser zu erfüllen. Es kann jedoch auch zu hohem administrativem Aufwand kommen, manchmal auch noch verbunden mit Konzessionen an den Förderer, die die Organisation von ihrem eigentlichen Ziel eher entfernen («mission drift»).

Gibt es zum Beispiel nur Projektmittel für die Arbeit mit einer bestimmten Zielgruppe, dann kann die Versuchung gross sein, passende Projekte zu gestalten – auch wenn die Organisation eigentlich andere strategische Schwerpunkte setzen möchte.

Das Machtgefälle im Blick behalten

Das Verhältnis von Förderern und Geförderten ist unweigerlich durch ein Machtgefälle gekennzeichnet. Denn auch wenn beide aufeinander angewiesen sind, liegt die Entscheidungshoheit auf der Seite der Stiftung oder des Philanthropen. Dies stellt auch für diese ein Problem dar: Für Förderer ist es schwierig, ehrliche Rückmeldungen zur Qualität ihrer Fördertätigkeit zu erhalten. Kaum eine Organisation traut sich, die Hand zu beissen, die sie füttert, und nach dem Projektantrag ist vor dem Projektantrag.

Ein Instrument, das zunehmend von Stiftungen geschätzt wird, sind anonyme Befragungen der geförderten Organisationen, etwa in Form des Grantee Perception Report des Center for Effective Philanthropy. Hier erfahren Stiftungen, wie viel Aufwand ihre Antragsprozesse und Berichtserwartungen verursachen, ob die geförderten Organisationen sich gut verstanden fühlen und wie sie die Zusammenarbeit weiter verbessern könnten.

Manche Philanthropen und Stiftungen beziehen die Community der im Feld tätigen Organisationen direkt in ihre Strategie- und Planungsprozesse mit ein – und einzelne sogar in ihre Entscheidungsverfahren.

Lernen aus Erfahrungen

Philanthropisches Handeln bleibt nicht ohne Folgen – auch wenn nicht immer (nur) die gewünschten Wirkungen eintreten. Regelmässige Reflexion hilft, Wirkungen besser zu verstehen und das eigene Engagement immer wieder zielgerichtet weiterzuentwickeln.