Volgens Bas van Hateren dwingen kandidaten de verandering in recruitment af. Zij laten AI op grote schaal vragenlijsten en sollicitaties invullen, waardoor klassieke persoonlijkheids- en intelligentietesten minder betrouwbaar worden. Zijn advies aan iedereen die assessments inkoopt is eenvoudig. Vraag eerst naar de test-hertestbetrouwbaarheid, en zit die onder de 0,7, ren dan weg.
Bas van Hateren is oprichter en eigenaar van Digitaal Werven, de jaarlijkse evenementen over digitaal werven, en eigenaar van TA Audit. Hij spreekt veel op congressen, staat bekend als man met een mening en schreef samen met Kevin Wheeler een boek over recruitment. In deze aflevering van Selection Talks bespreekt hij de belangrijkste trends in assessments, het verschil tussen Europese en Amerikaanse regels en hoe solliciteren er over vijf jaar uitziet.
V: Welke trends ziet Bas van Hateren in assessments sinds de opkomst van AI?
A: Drie. De eerste is dat kandidaten AI massaal inzetten om assessments in te vullen. Verschillende wetenschappers hebben aangetoond dat een AI bij een vragenlijstgebaseerde assessment bijna altijd de cut-off haalt. Van Hateren noemt Patrick Dunlop uit Australië, wiens agent ongeveer 85 procent overeenkwam met het profiel dat je voor een functie zoekt. Ook bij intelligentietesten scoren de nieuwste modellen inmiddels op hbo-plusniveau, zien ze in hun eigen oefeningen. De tweede trend is een golf aan startups met AI-gebaseerde testen. De derde, waar hij wel enthousiast over is, zijn laagdrempelige chatbots die bij een sollicitatie skills uitvragen.
V: Waarom worden persoonlijkheids- en intelligentietesten minder betrouwbaar volgens Bas van Hateren?
A: Niet door de test, maar door de kandidaat. De betrouwbaarheid van de test zelf is niet veranderd, de vraag is alleen of de kandidaat hem nog zelf invult. Alles wat niet actief bestuurd hoeft te worden, kan een AI overnemen. Omdat AI tegenwoordig ook je computer kan bedienen, moeten aanbieders failsafes inbouwen voor wat niet overgenomen mag worden. Van Hateren verwacht daarom een verschuiving naar visuele testen die je echt zelf moet besturen, zoals games en game-based assessments. Dat is iets wat AI op afstand nog minder goed kan.
V: Welke vraag moet je volgens Bas van Hateren als eerste stellen aan een assessmentaanbieder?
A: Wat is de test-hertestbetrouwbaarheid? Als je één ding onthoudt van deze aflevering, zegt hij, neem dan dit mee. Onder de 0,7 moet je er niets mee te maken hebben, eigenlijk wil je boven de 0,8 zitten. Het getal beantwoordt een eenvoudige vraag. Als iemand dezelfde test twee keer binnen een maand maakt, komt de tweede score dan in de buurt van de eerste? Scoort een kandidaat bij werkgever A en een week later bij werkgever B ineens 20 procent hoger omdat hij de test doorheeft, dan meet de test precies wat je er niet in wilt hebben.
V: Hoe kijkt Bas van Hateren naar nieuwe AI-gebaseerde testaanbieders?
A: Positief, met een harde ondergrens. Hij staat op voorhand positief tegenover alles wat nieuw is, omdat selectie volgens hem naar een nieuw paradigma moet. Maar zodra hij nieuwe partijen vraagt naar een onderbouwing van betrouwbaarheid of validiteit, stoppen veel van hen met communiceren. Hij noemt een Israëlische aanbieder van work sample-testen voor onder meer magazijnwerk, die nooit had onderzocht of de scores samenhingen met prestaties op de werkvloer. Magazijnwerk op een computer is niet hetzelfde als magazijnwerk in een magazijn. Een test moet betrouwbaar zijn, meten wat hij zegt te meten en dat ergens kunnen bewijzen. Die oude waarheden staan voor Van Hateren buiten kijf.
V: Hoe betrouwbaar zijn chatbots die skills uitvragen volgens Bas van Hateren?
A: Redelijk betrouwbaar, verwacht hij, al moet ook dat getest worden. Zulke chatbots vragen door op wat niet in een cv staat, bijvoorbeeld wanneer iemand iets heeft gedaan en hoe goed, soms met de STARR-methode. Gezien wat bekend is over gestructureerd interviewen is het aannemelijk dat dit goed werkt. De test-hertest zit hier in de analyse. Geeft een LLM bij exact hetzelfde antwoord steeds hetzelfde oordeel? Van Hateren verwijst naar Amerikaans onderzoek waaruit bleek dat een LLM op eigen hardware binnen die 0,8 betrouwbaarheid blijft, en dat juist de drukte bij een LLM tijdens het analyseren de variatie in uitkomsten veroorzaakt. Assessmentaanbieders moeten misschien hun eigen rekenkracht gaan inrichten.
V: Wat is volgens Bas van Hateren het verschil tussen Europese en Amerikaanse regels voor assessments?
A: Europa kijkt naar de input, de VS naar de output. In Europa is de vraag of de test klopt. In de VS is de vraag of de test de gewenste uitkomst geeft, dus of de groep die doorstroomt ongeveer dezelfde samenstelling heeft als de groep die solliciteerde. Van Hateren geeft het voorbeeld van traders, waar reactiesnelheid aantoonbaar onderdeel van het werk is en mannen er gemiddeld hoger op scoren. In Europa is het dan acceptabel dat er vooral mannen door de selectie komen, in de VS niet. Een tweede verschil leerde hij van Charles Handler, zijn evenknie in de VS. Daar ga je juridisch nat als je geen grondige, gedocumenteerde functieanalyse hebt. In Nederland is hij in al die jaren bijna niemand tegengekomen die dat heeft gedocumenteerd.
V: Waarom vindt Bas van Hateren dat de AI Act de lat te hoog legt?
A: Omdat er geen grotere black box is dan die tussen onze oren. Als een mens selecteert is het ineens wel oké, terwijl menselijke beoordelaars vaak slechter en bevooroordeelder zijn dan de digitale systemen die niet goed genoeg worden bevonden. Door de hoge eisen vallen organisaties terug op die menselijke systemen. Van Hateren vindt het terecht dat de lat voor AI hoger ligt dan voor mensen, omdat AI ook beter kan. De vraag is of we hem niet op een onmogelijke hoogte leggen. Daar komt bij dat bedrijven door de AVG geen performancedata meer mogen delen met externe testleveranciers, waardoor nieuwe testen nauwelijks nog goed te valideren zijn.
V: Waarom moet je een test volgens Bas van Hateren valideren op je eigen functie?
A: Omdat intern mag wat extern niet meer kan. Bedrijven mogen hun eigen performancedata wel intern gebruiken, en dat was een van de redenen om TA Audit te starten. Van Hateren kijkt daarom minder naar de algemene validatie van een test en meer naar de vraag of de test meet wat relevant is voor deze functie binnen dit bedrijf. Wetenschappers reageren eerst dat je validatie niet zomaar opzij kunt schuiven, maar in gesprek concluderen ze vaak dat validatie op de eigen functie en de eigen prestaties betrouwbaarder is. Dat het misgaat zag hij bij een grote overheidsinstelling die selecteerde op een skillsmodel uit de jaren 80, terwijl de helft van die functies niet meer bestond.
V: Hoe ziet solliciteren er over vijf jaar uit volgens Bas van Hateren?
A: Meer als een portfolio, waarbij je eigen AI-agent namens jou solliciteert. Die agent heeft alle gesprekken met je gevoerd en weet waarschijnlijk beter wie je bent dan jijzelf. Een werkgever laat zijn eigen agent dan die kandidaat-agents bevragen, honderdduizend in een paar uur. Daarnaast ziet hij werkgevers die ervan uitgaan dat kandidaten AI gebruiken. Iemand uit een startup factory vroeg kandidaten om de chatlog van hun AI bij een huiswerkopdracht. Niet voor de uitkomst, maar om te zien hoeveel sturing en pushback iemand gaf. Van Hateren verwacht ook meer relatief kleine organisaties die met partners werken in plaats van met werknemers. Kinderen van vrienden raadt hij aan om op de middelbare school al een eerste bedrijfje te beginnen.
V: Welke vaardigheden worden belangrijker door AI volgens Bas van Hateren?
A: Judgement, kritisch onderzoek en echte creativiteit. Voor judgement bestaan volgens hem nog slechte testen. In zijn boek met Kevin Wheeler noemt hij de echte brononderzoeker, niet in de zin van Belbin maar iemand als Pieter Omtzigt. Iemand met een knagend gevoel dat er iets mist, die dat ook kan onderbouwen en AI blijft challengen. Daarnaast de oddball creatives, de mensen waarvan je nu in je bedrijf denkt hoe kom je erbij. Dat zijn straks de enigen die nog echt creatief zijn, zoals Gaudí ooit iets maakte waar mensen vreemd van opkeken en wat honderd jaar later de Sagrada Família is.
V: Welk werk verdwijnt volgens Bas van Hateren door AI, en wat blijft er over?
A: Het werk dat zich precies aan het boekje houdt. Hij gebruikt het voorbeeld van een callcenter met drie lijnen. De eerste lijn volgt instructies, de tweede is heel goed en de derde lijn lost problemen op die nog nooit eerder voorkwamen. Een derdelijnsmedewerker vertelde hem ooit dat hij vooral heel goed is in googlen, omdat elk opgelost probleem de nieuwe instructie voor de tweede lijn wordt. Die eerste lijn wordt volgens Van Hateren grotendeels vervangen door AI-bots, en maar weinig eerstelijnsmedewerkers kunnen doorgroeien omdat het een andere mindset en skillset vraagt. Dat zegt niets over hoe goed ze waren, de baan is er gewoon niet meer. Hij kent ook een team dat met tien mensen bouwt waar de grootste concurrent zo'n honderd ontwikkelaars heeft, met een tokenbudget van ongeveer twee ton per maand en nieuwe features binnen een week.
V: Waarom wordt zelfkennis belangrijker volgens Bas van Hateren?
A: Omdat veel mensen zichzelf overschatten, en een veranderende arbeidsmarkt ze daarmee gaat confronteren. Iedereen is onbewust bekwaam, maar ook onbewust onbekwaam. Hij verwijst naar onderzoek waarin ongeveer 80 procent van de werknemers zichzelf tot de beste 50 procent rekent. Zijn tip is om jezelf af te vragen met wie je je vergelijkt. Een topsportcoach vertelde hem dat bij jeugdtalent wordt gekeken of een speler zich wil meten met de betere groep of wil schitteren bij de mindere. Hoe waardevol zelfkennis is, zag hij bij een HR-afdeling waar hij interim zat. Na een assessment voor iedereen werden mensen zich bewust van hun irritante eigenschappen en werden de vergaderingen steeds leuker.
V: Hoe moeten mensen en AI volgens Bas van Hateren samenwerken?
A: Als één team. Hij haalt Jack Dorsey aan, die middle management door AI wil vervangen. Middle management filtert informatie die naar de CEO moet en verdeelt taken binnen het eigen team, terwijl een AI weet wie in de hele organisatie de juiste skills heeft. Wat overblijft is de coachende rol, die nu vaak blijft liggen omdat managers vooral controleren. Volgens Van Hateren bestaat je team voortaan uit mensen en AI-agents, die je als volwaardige collega's bevraagt en waarvan je de sterke en zwakke punten kent. Daarvoor heb je ook zelfkennis nodig over je eigen sterke en zwakke punten. Wat hij nog te vaak ziet, is een aversie tegen AI uit menselijke trots, terwijl de meeste waarde juist in die samenwerking zit.
