Modelvalidatie bij automatisering
15 maart 2023, Inge Lodder
Leestijd: 5 min.
This article is also available in English (scroll down).
In de voorsortering naar het nieuwe pensioenstelsel zijn er binnen veel organisaties grote veranderingen bezig. Eén van die veranderingen is het automatiseren van processen en berekeningen. Het liefst wordt een nieuwe oplossing hierbij zo snel mogelijk geïmplementeerd, aangezien de doorvoering van de Wet Toekomst Pensioenen niet zal wachten op de modellen. Daarnaast zal er in cruciale besluitvormingsonderdelen worden geleund op de uitkomsten en advisering voortkomend uit deze oplossingen. Dit kan uitdagend zijn, aangezien deze oplossingen binnen een beperkte tijdlijn zijn opgezet. Om deze reden is het erg belangrijk om aandacht te besteden aan de betrouwbaarheid van deze oplossingen, wat onder andere kan worden bereikt met behulp van het valideren van de oplossing.
Het valideren van een model kan op veel verschillende manieren worden uitgevoerd en is sterk afhankelijk van het model, gebruik en bijbehorende (wettelijke) vereisten. Daarnaast kan validatie worden gezien als een continu proces: wanneer je diep genoeg in een model duikt, zullen er vrijwel altijd aandachtspunten naar bovenkomen. Dat gezegd hebbende, om groen licht te bereiken tijdens een validatieproces, is het vinden van alle kleine onzuiverheden minder belangrijk. Het is belangrijker dat een model “fit for purpose” is. “Fit for purpose” betekent dat het model wordt beoordeeld te doen wat het zou moeten doen. Uiteindelijk is valideren een continu proces van het bewaken van de functionaliteit en aannames van de modellen door middel van de wijzigingen en de reacties op deze wijzigingen. Het valideren van een model kan hierdoor in twee fases worden gesplitst: de oplevering en de toekomst.
De oplevering
Om een goed validatieproces te doorlopen bij het opleveren van het model adviseren wij om voorafgaand aan een project goed na te denken over de modelvereisten en hoe de validatie van het project zal worden opgezet.
Bij een digitale transformatie van een bestaand model of proces, kan er bij de verificatie van uitkomsten geleund worden op de bestaande uitkomsten. Bij grote modellen met veel invoermogelijkheden kunnen dit misschien wel duizenden verschillende combinaties van invoermogelijkheden zijn. Dit kan een organisatie doen besluiten om een apart validatiemodel op te zetten met als doel om de resultaten van alle verschillende combinaties bij elkaar aan te sluiten. Een andere aanpak is om het model met praktijkcases te testen of een geselecteerde set van invoermogelijkheden te vergelijken. Daarnaast is het belangrijk om goed na te denken over het “uiterste gebruik” (een onverwachte combinatie van instellingen). Wat gebeurt er bijvoorbeeld wanneer je een negatieve leeftijd invoert en is dit een functionaliteit die u wilt afvangen of kiest u ervoor om te steunen op het gezonde verstand van de gebruikers?
Bij nieuwe modellen wordt er bij het opstellen doorgaans gesteund op de theoretische kennis van de modelontwikkelaars. Afhankelijk van de indeling en doelen van een organisatie kan de validatie worden ingevuld met behulp van tweedelijns reviews, het 4-ogen-principe of een validatie van een externe partij. Indien dit nieuw model in een programmeeromgeving is opgezet kan dit extra onduidelijkheden meebrengen, gezien er beperkte programmeerkennis in huis kan zijn binnen de organisatie. Hierbij kunnen technische documenten, wegschrijven van tussentijdse resultaten of een vertaalslag door een externe partij extra ondersteuning bieden.
De toekomst
Wanneer een model in gebruik is, dient deze periodiek te worden gemonitord. Wij adviseren om nieuwe functionaliteiten en wijzigingen (met bijbehorende consequenties) te documenteren en te verifiëren volgens gelijke processen als bij de oplevering van het model.
Daarnaast biedt het opstellen van een continuïteitsplan aan het begin van het project ondersteuning bij het introduceren van een toekomstbestendig model. Dit kan worden gezien als een dynamisch plan dat kan wijzigen naar aanleiding van nieuwe ontwikkelingen. Hierbij adviseren wij om de het plan te updaten in lijn met de nieuwste ontwikkelingen.
Kortom
Het valideren van nieuwe modellen is een belangrijke factor bij het opzetten van een nieuw project. Bij het toepassen van nieuwe technologieën ontstaan hier nieuwe uitdagingen. Wij nodigen u daarom uit om goed na te denken over de vereisten en het validatieproces voordat u met een project begint. Denk hierbij aan de modelvereisten, de controle van resultaten en de continuïteit van het model.
Dit artikel is geschreven door Inge Lodder, Oprichter en Consultant bij ELAVV, voor vragen kunt u haar bereiken op inge.lodder@elavv.nl.
Interesse in meer artikelen? Ga hier naar het overzicht.
Model validation for digital transitions
15 March 2023, Inge Lodder
5 min. read
Major changes are taking place within many organizations in the preparation for the new Dutch pension system. One of those changes is the automation of processes and/or calculations. Ideally, new technical solutions should be implemented as soon as possible, since the implementation of the Future Pensions Act (Wet Toekomst Pensioenen) will not wait for the models. In addition, crucial decision-making components will rely on the outcomes and advice arising from these solutions. This can be challenging as these solutions are set up within a limited timeline. For this reason, it is very important to pay attention to the reliability of these solutions, which can be achieved, among other things, by validating the new solution.
Validating a model (and/or process) can be done in many ways and is highly dependent on the project and its (regulatory) requirements. In addition, validation can be seen as an ongoing project: if you search thoroughly enough, you will always finds improvements. That said, getting the green light for your model is not about finding all small errors but reaching a model that is “fit for purpose”. This means that models are judged on how well they perform for their given purpose. In the end, validating is a continuous process of monitoring the models’ functionality and assumptions through its changes and responses to these changes. The validation of a model can therefore be split into two phases: the delivery and the future.
The delivery
With a digital transformation of an existing model or process, one can rely on the existing outcomes to verify new results. For large models with many input options, there may be thousands of different combinations of input options. This is an incentive for organization to set up a separate validation model with the aim of reconciling the results of all the different combinations. Another approach is to test the model with real-world cases or compare a selected set of input options. In addition, it is important to think carefully about the outliers (unlikely set of settings in the model). For example, what happens when you enter a negative age? Is this a functionality you want the model to capture, or do you choose to rely on the common sense of the users?
New models are usually based on the theoretical knowledge available to the model developers. Depending on the organizational structure and goals, the validation can be completed using second-line reviews, the 4-eyes principle or validation by an external party. If this new model is set up in a programming environment, additional challenges arise when technical knowledge (in this language) is limited within the organization. As such, technical documentation, providing preliminary results and translation from an external party can provide extra support here.
The future
When a model is used in production, it still requires monitoring and maintenance. We recommend documenting and verifying new applications and changes (with corresponding implications) according to the same processes as for the delivery of the model.
In addition, defining a continuity plan at the start of the project can support the introduction of a future-proof model. This can be seen as a dynamic plan that can change in response to new developments. We advise updating the plan in line with the latest developments.
To summarize
Validating new models is an important factor to consider when setting up a new project. Therefore, we encourage to ponder carefully about the requirements and the validation process before starting a project. Think of the model requirements, quality control and the continuity of the model.
This article was written by Inge Lodder, founder and consultant at ELAVV, for questions you can reach her at inge.lodder@elavv.nl.
Interested in more articles? Click here for the overview.