De toetsing op basis van vijftien criteria laat zien dat de kwaliteit tussen leden kan verschillen. Deze verschillen zijn de basis voor verdere kwaliteitsbevordering, zie ook de reacties van de getoetste leden als onderdeel van verbeterplannen.
De uitkomsten van de toetsing en eventuele verbeterplannen komen alleen anoniem naar buiten. Anonimiteit van beoordelingen is belangrijk voor de huidige (en gekoesterde) constructieve en collegiale sfeer binnen het Netwerk. Leden, de werkgroep 'Toetsing' en het bestuur zien alleen informatie over de toetsing die niet herleidbaar is tot individuele bureaus. De individuele beoordelaars zien elkaars beoordelingen niet. Alleen het secretariaat heeft kennis van alle beoordelingen van de individuele bureaus en gaat daar strikt vertrouwelijk mee om.
Als de toetsing en een eventueel verbeterplan aanleiding zijn tot twijfels over de (ontwikkeling van de) kwaliteit van het bureau, kan na overleg met het bureau de anonimiteit in de richting van het bestuur worden opgeheven om een gesprek tussen bestuur en bureau mogelijk te maken.
Uitkomsten toetsing in recente jaren
De toetsing leidt per criterium tot een uitkomst: de rapportages kunnen aan het criterium voldoen, dan wel versterking vragen of voldoen niet aan het criterium. Het overzicht laat zien voor hoeveel procent de rapportages voldoen aan de criteria.
| bureau |
voldoet (%) |
vraagt versterking (%) |
voldoet niet (%) |
||
| a. | 98 | 2 | 0 | ||
| b. | 97 | 3 | 0 | ||
| c. | 88 | 12 | 0 | ||
| d. | 84 | 16 | 0 | ||
| e. | 83 | 17 | 0 | ||
| f. | 78 | 22 | 0 | ||
| g. | 78 | 22 | 0 | ||
| h. | 89 | 10 | 1 | ||
| i. | 93 | 6 | 2 | ||
| j. | 90 | 8 | 2 | ||
| k. | 90 | 8 | 2 | ||
| l. | 85 | 12 | 2 | ||
| m. | 85 | 13 | 2 | ||
| n. | 83 | 16 | 2 | ||
| o. | 85 | 12 | 3 | ||
| p. | 81 | 15 | 3 | ||
| q. | 91 | 5 | 4 | ||
| r. | 87 | 9 | 4 | ||
| s. | 78 | 18 | 4 | ||
| t. | 75 | 21 | 4 | ||
| u. | 76 | 19 | 5 | ||
| v. | 67 | 28 | 5 | ||
| w. | 75 | 20 | 6 | ||
| x. | 66 | 28 | 6 | ||
| y. | 74 | 19 | 7 | ||
| z. | 55 | 37 | 7 | ||
| aa. | 75 | 16 | 9 | ||
| bb. | 72 | 19 | 9 | ||
| cc. | 64 | 27 | 9 | ||
| dd. | 63 | 23 | 14 | ||
| ee. | 69 | 15 | 15 | ||
| ff. | 67 | 15 | 18 | ||
| gg. | 60 | 20 | 19 | ||
| hh. | 41 | 35 | 24 |
Reacties van getoetste leden als onderdeel van hun verbeterplannen
Een aantal reacties van getoetste leden op hun toetsing en onderdelen van hun verbeterplannen geven een beeld van de doorwerking van de toetsing.
- Het beoordeelde rapport is wellicht niet volledig genoeg (te kort door de bocht) waardoor, wanneer het document op zich wordt gelezen/beoordeeld, geen goed beeld geeft van de situatie.
- Met huidig inzicht wordt erkend dat door het niet aanvragen van een ontheffing er mogelijk geen juridisch geldige instemming/afwijzing is op de boogde werkwijze (overtreding van verbodsbepalingen). Met de huidige inzichten zal een ontheffingsaanvraag derhalve bij soortgelijke projecten worden geadviseerd.
- We hadden inderdaad moeten vermelden dat we hier van het protocol zijn afgeweken.
- Gebruikelijk is dat we bij bewoners navragen of zij meer afweten van de aanwezigheid of afwezigheid van de steenmarter. Dit staat niet in ons rapport vermeld.
- De veldmedewerkers kennen op basis van de NDFF de (bijzondere) soorten die voorkwamen en voorkomen in het gebied. Dit is inderdaad niet beschreven in het rapport. Om dit wel in de rapportage te vermelden en waar mogelijk ook uitspraken te kunnen doen over een bepaalde soort is zeker zinvol. We nemen dit advies te harte.
- De aanbevelingen en opmerkingen zijn voor ons heel erg nuttig. Het betreffen opbouwende punten die wij herkennen in de rapportages en meegenomen hebben in de nieuwe formats voor rapporten en onderzoeken.
- Eerlijkheidshalve moeten wij zeggen dat we beetje teleurgesteld zijn in de uitkomst – we hadden een beter resultaat verwacht.
- Per soortgroep wordt in de standaardrapportage een tekst toegevoegd met een bondige uiteenzetting van de beschermde soorten die niet aanwezig kunnen zijn en waarom die niet zijn te verwachten.
- In de kop ‘toekomstige situatie’ moet de toekomstige situatie zo concreet mogelijk uitgewerkt worden. Als de toekomstige situatie nog niet helemaal vastligt, of nog kan wijzigen, dan moet dit duidelijk aangegeven worden. Er moet dan beschreven worden dat van een worstcasescenario wordt uitgegaan en wat dit worstcasescenario dan is.
- In het hoofdstuk ‘conclusie en advies’ gaat extra gelet worden op een effectenanalyse: Welke effecten kunnen wanneer voorkomen en wat zijn de consequenties voor de opdrachtgever.
- Vanwege een misinterpretatie van het vleermuisprotocol werden veldbezoeken te vroeg afgekapt terwijl dit conform het protocol niet altijd mogelijk was. Afwijking van het protocol mag, maar soms was dit ecologisch niet goed te verantwoorden. Vanaf nu houden we ons standaard aan de minimale onderzoekstijd.
- De gebruikte methode moet herschreven worden. De methode moet beter worden onderbouwd en beargumenteerd.
- Er is nu extra ruimte in het wekelijkse overleg opgenomen om projecten met het hele team inhoudelijk te bespreken. Hierbij wordt vooral gediscussieerd over vragen waar men tegenaan loopt zodat zoveel mogelijk van elkaar geleerd wordt.
- Medewerkers zijn op cursus geweest om met name de laatste stand van zaken omtrent de wetgeving zo scherp mogelijk te houden en te krijgen.
- Collegiale toetsing wordt nu opgepakt door meerdere personen in plaats van één persoon zodat medewerkers van elkaar de rapporten zien en van opmerkingen voorzien. Hiermee willen we het lerend vermogen van het gehele team verbeteren.
- Elke medewerker stelt een opleidingsplan op waarbij kwaliteit van advisering en onderzoek voorop staat. Hiervoor staan (en stonden) elk jaar enkele dagen opleiding/scholing op het programma maar nu is er meer structuur aan gegeven.
- Dit jaar is de ambitie van ons bureau om ook ecologie onderdeel te laten zijn van het ISO certificaat. Dat geeft ons handvatten om, los van de collegiale toetsing en de gebruikte sjablonen, periodieke audits uit te voeren. De checklist die door de ledentoetsing wordt gehanteerd zullen we, denk ik, bij de audits gaan hanteren.