Charity-Check:
Brot für die Welt

Eine Bewertung des Levels der Wirkungsnachweise bei Brot für die Welt anhand der öffentlich zugänglichen Informationen gestaltet sich schwierig. Die Recherchen deuten darauf hin, dass sowohl eine große Anzahl von Einzelprojektevaluationen als auch projektübergreifende und Meta-Evaluationen durchgeführt werden, die jedoch überwiegend nicht öffentlich zugänglich sind. Laut dem Jahresbericht 2022 zeigte die letzte Meta-Evaluation, dass die Evaluationen in ihrer Mehrheit die Evaluationskriterien der OECD DAC berücksichtigen. Zu welchen Ergebnissen sie im Hinblick auf die Wirksamkeit gekommen ist, bleibt allerdings unklar. Einige Förderbereichsevaluationen weisen darauf hin, dass bei den untersuchten Einzelprojektevaluationen häufig keine klaren Wirkungsmodelle vorlagen. Die Wirkungsnachweise beruhen insgesamt meist auf einer Use-of-Output- oder Outcome-Ebene. Daraus lassen sich Wirkungen der Maßnahmen plausibel ableiten, jedoch nicht kausal nachweisen. Hinweise auf Studien mit starken kausalen Nachweisen, etwa mit quasi-experimentellen Designs, wurden nicht gefunden. Positiv ist, dass im Rahmen der Förderbereichsevaluationen Wirkungsgefüge und Theories of Change für zentrale Programmansätze entwickelt und anschließend teilweise in organisationsinterne Policies überführt wurden. Insgesamt ist zu berücksichtigen, dass Brot für die Welt in Themenfeldern arbeitet, in denen streng kausale Wirkungsnachweise aufgrund langer Wirkungsketten kaum realistisch sind, etwa in der Friedensförderung oder bei Menschenrechten. Zudem legt die Organisation besonderen Wert auf Geschlechtergerechtigkeit und Inklusion, weshalb Daten in Evaluationen auch nach diesen Kriterien erhoben werden sollten.

Im Rahmen des Effektiv Spenden Charity-Check vergeben wir im Bereich Wirkungsnachweis 3 von 5 möglichen Sternen (trägt 40% zur Gesamtbewertung bei).

Brot für die Welt verfügt über eine sehr gut verankerte Evaluationskultur mit festgelegten und öffentlich zugänglichen Richtlinien, Konzepten und Verfahren. Nach eigenen Angaben erfolgen neben internen und Selbstevaluationen jährlich mehr als 100 externe Projektevaluationen statt, die von den jeweiligen Partnerorganisationen vor Ort geplant, beauftragt und begleitet werden. Besonders hervorzuheben ist, dass neben den Einzelprojektevaluationen regelmäßig projektübergreifende Evaluationen durchgeführt werden, die zentrale Programmansätze und Förderbereiche wie Menschenrechte oder Friedensförderung systematisch überprüfen. Ergänzend dazu führen externe Gutachtende Meta-Evaluationen durch, die auch die internen Strukturen, Instrumente und Evaluationsprozesse von Brot für die Welt selbst bewerten. Die Zuständigkeiten für Qualitätssicherung sind institutionell getrennt: Projektverantwortung, die Entwicklung von Standards und Verfahren sowie deren Überprüfung liegen in unterschiedlichen Einheiten. Die Qualität der begutachteten Projektevaluationen lässt sich jedoch nicht abschließend beurteilen, da der jüngste Meta-Evaluationsbericht nicht öffentlich zugänglich ist. Nach Angaben der Organisation dienen Evaluationsergebnisse dazu, Entscheidungen zu verbessern, aus Erfahrungen zu lernen und Folgeprojekte wirkungsorientiert weiterzuentwickeln; öffentliche Nachweise zur tatsächlichen Umsetzung von Empfehlungen liegen jedoch nicht vor.

Im Rahmen des Effektiv Spenden Charity-Check vergeben wir im Bereich Evaluationskultur 5 von 5 möglichen Sternen (trägt 30% zur Gesamtbewertung bei).

Brot für die Welt orientiert sich bei Evaluationen an den OECD-Kriterien, zu denen auch Effizienz gehört. Es gibt Hinweise darauf, dass Kosteneffektivität bei Prüfungen eine Rolle spielt: In den veröffentlichten Standardfragen für Evaluationen werden entsprechende Aspekte abgefragt, und einige Ausschreibungen externer Evaluationen verlangen explizit Kosten-Nutzen-Analysen. Wie genau diese Kriterien in der Praxis geprüft werden und welche Ergebnisse dabei erzielt wurden, ist anhand der öffentlich verfügbaren Dokumente jedoch nicht nachvollziehbar, da meist nur zusammenfassende Kurzberichte veröffentlicht werden. Vollständige Evaluationsberichte oder Meta-Evaluationsberichte sind nicht zugänglich, und auch weitergehende Vergleiche zur Kosteneffektivität zwischen Projekten wurden nicht gefunden. Gleichzeitig ist zu berücksichtigen, dass klassische Kosten-Nutzen-Analysen bei bestimmten Programmansätzen – beispielsweise im Bereich Menschenrechte – nur eingeschränkt anwendbar sind.

Im Rahmen des Effektiv Spenden Charity-Check vergeben wir im Bereich Kosteneffektivität 2 von 5 möglichen Sternen (trägt 20% zur Gesamtbewertung bei).

Auf der Website von Brot für die Welt finden sich im Haupt- und Untermenü keine leicht zugänglichen Informationen zur Wirkung der Projekte oder zu den zahlreichen durchgeführten Evaluationen. Wirkungsorientierung und Evaluation werden zwar im Jahresbericht aufgegriffen und grundlegende Begriffe erläutert, jedoch veröffentlicht die Organisation keine eigenen Wirkungsberichte. Positiv ist, dass Evaluationskonzept, Leitfäden, Standardfragen sowie ausgewählte Projekt- und Förderbereichsevaluationen online zur Verfügung stehen. Eine vollständige Übersicht aller Evaluationen, inklusive vollständiger Berichte und Meta-Evaluationen, fehlt jedoch. Zudem werden zwar negative Ergebnisse und Verbesserungsvorschläge in veröffentlichten Zusammenfassungen erwähnt, aber eine klare und zentrale Kommunikation über methodische Einschränkungen der verwendeten Evaluationsansätze ist nicht erkennbar.

Im Rahmen des Effektiv Spenden Charity-Check vergeben wir im Bereich Transparenz 3 von 5 möglichen Sternen (trägt 10% zur Gesamtbewertung bei).