Werkwijze IOB

Onderzoeksproces

Voor de meeste evaluaties kent het onderzoeksproces bij IOB de volgende stappen:

1. Verkenningsfase
   Het vooronderzoek naar het (beleids)onderwerp, de hiervoor beschikbare gegevens, de onderzoeksvragen, de afbakening van het onderzoek, de meest geschikte methodologie en de op te leveren producten. Het onderzoeksteam legt dit alles vast in de zogenoemde Terms of Reference (ToR).
2. Vaststelling ToR
   Nadat deze in conceptversie zijn besproken met de interne klankbordgroep en de externe referentiegroep, worden de ToR vastgesteld en gepubliceerd op de IOB-website. De ToR zijn sturend voor het hele onderzoekstraject, en kunnen tussentijds – indien nodig – worden bijgesteld.
3. Uitvoering van het onderzoek
   IOB beoordeelt het gevoerde beleid aan de hand een aantal criteria, namelijk relevantie, doeltreffendheid (effectiviteit) en doelmatigheid (efficiëntie) en – indien mogelijk – ook de coherentie en duurzaamheid van de bereikte resultaten.
   Veelal levert de uitvoeringsfase meerdere tussenproducten op. Zo houden we op deelthema’s regelmatig een workshop. Ook kunnen deelthema’s worden afgesloten met een deelrapport. Zo’n rapport bespreken we met de direct betrokken beleidsafdelingen en eventuele externe deskundigen.
4. Vaststelling rapport
   Het onderzoek wordt afgesloten met een eindrapport waarin alle thema’s samenkomen. De directeur IOB stelt dit rapport vast.
5. Opstellen beleidsreactie
   De betrokken directies stellen een beleidsreactie op. In de regel gebeurt dit binnen drie maanden nadat het rapport aan hen is toegestuurd.
6. Publicatie rapport
   Uiterlijk drie maanden nadat het rapport is vastgesteld, wordt het gepubliceerd op de IOB-website en gestuurd aan het parlement, vergezeld van de beleidsreactie.
   Na twaalf maanden volgt een opvolgingsgesprek tussen de directeur IOB, de directeur Financieel-Economische Zaken en de meest betrokken directeuren-generaal en directeuren. In dit gesprek bespreken we hoe de directies uitvoering geven of hebben gegeven aan de beleidsaanbevelingen die zijn overgenomen in de beleidsreactie aan het parlement. Het verslag van dit gesprek wordt gedeeld met de bestuursraad van het ministerie.

Kwaliteitsbewaking

Om de kwaliteit van het onderzoek te bewaken stelt IOB voor elke evaluatie/beleidsdoorlichting een interne klankbordgroep en een externe referentiegroep samen. De klankbordgroep leest en denkt mee met het onderzoeksteam. De referentiegroep komt bijeen om te bespreken hoe het onderzoek verloopt en geeft feedback op het werk van de onderzoekers. Leden van de referentiegroep zijn in elk geval medewerkers van het ministerie van Buitenlandse Zaken die betrokken zijn bij het beleidsthema en ten minste één maar meestal twee of meer onafhankelijke externe deskundigen.

Samenwerking

IOB onderhoudt contacten en werkt samen met verschillende departementale directies op het terrein van onderzoek, kennismanagement en beleidsleren. Denk aan de Eenheid Strategie en Analyse (ESA), de directie Financieel-Economische Zaken (FEZ), de programmadirectie Werk in Uitvoering (WiU) en de Academie voor Internationale Betrekkingen (AIB). IOB is ook nauw betrokken bij de rijksbrede operatie Inzicht in Kwaliteit, die is bedoeld om de kwaliteit van evaluaties te verhogen en het beleidsleren te versterken.

Hiernaast onderhouden we samenwerkingsrelaties met nationale en internationale organisaties op het terrein van de effectmeting van buitenlandbeleid. Enkele voorbeelden van organisaties waarmee IOB samenwerkt:

3ie – International Initiative for Impact Evaluation

AfrEA – African Evaluation Association

Algemene Rekenkamer

BMZ – Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung

CLEAR – Centers for Learning on Evaluation and Results

DAC Network on Development Evaluation – Organisation for Economic Cooperation and Development (OECD DAC EvalNet)

DBE – Dienst Bijzondere Evaluatie, evaluatie van de Belgische Ontwikkelingssamenwerking

DEval – Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit

DFID – Department for International Development, UK

EES – European Evaluation Society

GEI - Global Evaluation Initiative

IDEAS – International Development Evaluation Association

IEG – Independent Evaluation Group, World Bank Group

International Cooperation and Development, European Commission

Vide, de beroepsvereniging voor toezichthouders, handhavers, inspecteurs en evaluatoren