Agendapunt 4B3 Eindnotitie Pilot Monitoring van grote ICT-projecten

Vergadering: Forum Standaardisatie 14 juni 2023

Agendapunt: 4B3

Documentnummer: FS-20230614.4B3

Download hier de PDF versie van dit vergaderstuk. Wij kunnen de digitale toegankelijkheid van het PDF bestand niet garanderen.

Rechten: CC0 publieke domein verklaring

Auteurs: Anne Graas en Piet Hein Minnecré

Datum 2 september 2022

Op verzoek van het Bureau Forum Standaardisatie hebben we onderzocht of het mogelijk en zinvol is om te toetsen in hoeverre grote ICT-projecten het pas-toe-of-leg-uit beleid toe passen.

Voorzieningen hebben de afgelopen jaren het gebruik van standaarden steeds beter op orde en er is de wens om te onderzoeken of dat ook geldt voor overige ICT-trajecten binnen de overheid. Vorig jaar is daarom in het kader van de monitor gesproken met een drietal ICT-projecten. De resultaten van dat onderzoek waren zeer verschillend. Dat was de aanleiding om dit jaar in een korte verkenning te onderzoeken of de methodiek (het daadwerkelijk toetsen van voorzieningen, aangevuld met een aantal interviews) die gehanteerd wordt bij het voorzieningenonderzoek ook bij andere ICT-projecten kan werken.

Deze notitie start met de belangrijkste conclusies en aanbevelingen uit de verkenning, waarna we de bevindingen verder toelichten.

Conclusie en aanbevelingen

Op de vraag of het mogelijk is om te toetsen of grote ICT-projecten het pas-toe-of-leg-uit beleid toepassen is het antwoord: ja, maar het vergt een stevige inspanning om geschikte projecten te identificeren en de juiste informatie te achterhalen. Ondanks de beschikbaarheid van het Rijks ICT- dashboard en de Jaarrapportage Bedrijfsvoering Rijk blijkt het lastig te komen tot een selectie van projecten die zich lenen voor toetsing conform de werkwijze die we hanteren bij de voorzieningen. Dat heeft enerzijds te maken met de aard van de projecten, anderzijds met de beschikbaarheid van informatie per project en het vinden van de juiste contactpersonen. Daarnaast is de methodiek die we hanteren voor de toetsing van voorzieningen lastig toepasbaar op veel ICT projecten. Veel lopende projecten hebben nog geen voorzieningen opgeleverd die live zijn en standaarden zijn dus vaak nog niet geïmplementeerd, of de voorziening heeft geen publiek toegankelijke component waardoor er van buitenaf weinig te toetsen valt.

Het is dus mogelijk om grote ICT projecten te toetsen maar het vergt een andere aanpak dan het toetsen van de voorzieningen. Op basis van onze ervaringen vorig jaar en dit jaar doen we de volgende suggesties indien het Forum in de toekomst ook ICT projecten wil onderzoeken:

• Onderzoek projecten die een publieke component kennen (zoals een openbare website) en/of interactie vergen met meerdere partijen (burgers, ondernemers, overige overheden). De standaarden van de lijst zijn immers met name gericht op het borgen van interoperabiliteit tussen Bepaal daarbij van te voren ook of je breder wil richten dan projecten die binnen het rijk worden uitgevoerd.
• Hou rekening met voldoende inzet/tijd voor de selectie van projecten. De methodiek met het opstellen van een longlist en een shortlist werkt Mogelijke input voor de lijsten zijn het Rijks ICT-dashboard en de Jaarrapportage Bedrijfsvoering Rijk, openbare bronnen via internetresearch en het aanbestedingenonderzoek. Daarnaast denken we dat het nuttig kan zijn om de netwerken van het Forum en de onderzoekers in te zetten in deze fase en te verkennen of er via het CIO-netwerk relevante projecten te inventariseren zijn.
• Het toetsen conform de werkwijze die we hanteren bij voorzieningen is maar beperkt "We zijn van mening dat het zinvol kan zijn te toetsen of projecten een heldere project start architectuur (PSA) hebben (of een ander kaderstellend document) en of daarin de relevante standaarden danwel redenen voor afwijken staan benoemd. Een dergelijk onderzoek kan gepaard gaan met gesprekken met bijvoorbeeld de architect of de project-/programmamanager om met elkaar de afwegingen, drempels en kansen door te nemen."
• Definieer van te voren helder wat het doel is van een dergelijk onderzoek en wat er met de resultaten Zo is er een verschil in de huidige monitor tussen de daadwerkelijke toetsing en de wat meer informele gesprekken. Die laatste waren vooral gericht op het opdoen van nieuwe inzichten, waardoor programmamanagers en architecten wat meer vrij uitspraken.

Aanpak van de verkenning

Voor deze korte verkenning hebben we de volgende aanpak gehanteerd:

• Op basis van het Rijks ICT-dashboard en de Jaarrapportage Bedrijfsvoering Rijk waarin gerapporteerd wordt over de grote ICT-projecten van de Rijksoverheid hebben we een longlist van projecten opgesteld die mogelijk voor nader onderzoek in aanmerking kwamen.
• Er is een gesprek gevoerd met een medewerker van AcICT over de mate waarin zij kijken naar standaarden in hun onderzoeken, en naar de vraag hoe zij voor hen relevante trajecten
• In overleg met het Bureau Forum Standaardisatie is een selectie gemaakt van mogelijk interessante en aansprekende Daarbij is besloten het STAP programma te gebruiken als casus voor deze verkenning.
• Voor STAP is een eerste scan gemaakt via nl naar het gebruik van de standaarden van de pas-toe-of-leg-uit lijst. Daarnaast is een gesprek gevoerd met de programmamanager van STAP over het gebruik van standaarden binnen zijn programma. Daarnaast is een quickscan uitgevoerd naar publieke architectuurbeschrijvingenvan ICT-projecten. Daarbij hebben we een zevental PSA’s geïdentificeerd en nader doorgenomen of en zo ja, hoe standaarden daar een plek in hebben.

Bevindingen

Lastig om relevante trajecten te vinden

Het is tijdens dit onderzoek niet eenvoudig gebleken te achterhalen welke projecten zich lenen voor nader onderzoek. Daarvoor zijn een aantal redenen:

• Het is lastig een goed overzicht te vinden van ICT-projecten binnen de overheid. Het Rijks-ICT dashboard bevat een groot aantal trajecten maar het is lastig te achterhalen in welke fase van ontwikkeling ze zich Daarnaast geldt dat voor veel van de projecten op het dashboard de standaarden op de PTOLU-lijst niet of nauwelijks relevant zijn. Denk bijvoorbeeld aan de vervanging van software voor tunnelbeheer, of trajecten die eigenlijk gaan over de inhuur van personeel.
• Uit een gesprek met het adviescollege ICT blijkt dat het ook voor hen lastig is om te achterhalen welke trajecten zich lenen voor toetsing. Idealiter weet je in een vroeg stadium welke trajecten gaan

In het kader van het reguliere onderzoek naar de toepassing van standaarden bij voorzieningen zetten we verschillende onderzoeksmiddelen in. We spreken met beheerders, toetsen zelf – voor

zover mogelijk binnen de scope van het onderzoek - de voorziening op het gebruik van een aantal standaarden, en maken gebruik van eventueel beschikbare documentatie. In de verkenning hebben we onderzocht of dit ook mogelijk is voor ICT-projecten. Dit levert de volgende inzichten op:

• Waar voor het onderzoek naar de voorzieningen zowel bij de onderzoekers als bij de voorzieningen veel ervaring is met het onderzoek - en er ook een draagvlak ligt vanuit de tijd dat het PTOLU veel aandacht kreeg – is dit bij de ICT-projecten minder het geval.
• Voor veel van de projecten is maar heel beperkt publieke informatie (zoals een project start architectuur of een andere beschrijvend document) te vinden. PSA’s worden niet openbaar gedeeld via het Rijks-ICT dashboard. Ook heeft maar een beperkt aantal projecten een resultaat dat publiek beschikbaar is (zoals een website).
• Doordat projecten zich in verschillende fases bevinden is het daadwerkelijk toetsen van de implementatie van de standaarden, via de toetsen op internet.nl, vaak nog niet mogelijk.

Bevindingen op hoofdlijnen voor de pilot uit verkenning STAP

In het kader van dit onderzoek is een gesprek gevoerd met de programmamanager van STAP. STAP staat voor Stimulering Arbeidsmarkt Positie. In het kader van STAP is een voorziening gecreëerd waarmee burgers zich kunnen oriënteren op een aanvraag voor opleidingsbudget, de aanvraag kunnen indienen, en waarmee aan een opleidingsinstelling een opdracht verstrekt kan worden.

Uit het gesprek en een eerste scan naar het gebruik van standaarden kwamen de volgende punten naar voren:

• STAP voldoet aan de standaarden van PTOLU-
• De programmamanager geeft de aandacht voor standaarden vanaf de start van het traject als reden voor het voldoen, onder meer door zijn eigen ervaring met het onderwerp.
• De programmamanager geeft aan dat zowel het beleid a.v. standaardisatie als de monitor als nuttige middelen gezien worden om zowel intern als richting leveranciers het belang te duiden.
• Daarnaast geeft hij aan dat hij merkt dat er maar beperkt kennis is over de toepassing van open standaarden en de wijze waarop je standaarden goed integreert in een project. Zijn suggestie is om te kijken of standaardteksten voor bijvoorbeeld het opnemen van een standaard in een PSA hierbij helpen.

Standaarden in PSA’s

In dit onderzoek is nader gekeken naar een zevental PSA’s die publiek beschikbaar waren.

• Op één na wordt in alle PSA’s verwezen naar het belang van het gebruik van open
• In net iets meer dan de helft wordt daarbij expliciet verwezen naar het Forum Standaardisatie of naar de lijsten van het Forum.
• Op één na worden in alle PSA’s specifieke standaarden die relevant zijn voor het project benoemd. Dit betreft de standaarden van de lijsten van het Forum, maar bevat soms ook standaarden die niet op de lijsten staan, zoals de Europese INSPIRE standaard.
• Vanwege de beperkte beschikbare tijd in dit onderzoek en vanwege het feit dat een deel van de PSA’s al geruime tijd geleden opgesteld zijn, hebben we geen verder onderzoek gedaan of inderdaad ook alle relevante standaarden benoemd zijn.