En av HOME of Recruitments goda grannar (samarbetspartners) är den nytänkande testleverantören Alva Labs. Vi är så glada över vårt samarbete och vill i denna blogg reda ut eventuella frågetecken kring den moderna testteorin som Alva Labs bygger sina tester på.
Hej Morgan Pihl, och tack snälla för att vi får ställa våra frågor kring modern testteori till dig. Men först, kan du berätta lite kort om din bakgrund och om ditt uppdrag på Alva?
Självklart får ni det. Och ja, jag berättar gärna lite kort om mig själv. Jag tog examen från psykologprogrammet 2012 och har sedan dess jobbat med utveckling av psykologiska tester. Förutom ett par år, då jag byggde kreditmodeller som data scientist på Klarna. På Alva är jag framförallt ansvarig för kvaliteten i våra logik- och personlighetstester.
Vi på HOME of Recruitment får ofta frågor kring vilka tester som är bra och seriösa, och vilken forskning man ska lyssna efter för att vara på den säkra sidan när man väljer leverantör. Ni på Alva Labs bygger era tester på en lite annan teori än övriga. Vad är egentligen modern testteori som ni bygger era tester på, och på vilket sätt skiljer sig denna teori mot klassisk testteori?
Testteori handlar om det statistiska ramverk som man använder när man utvecklar ett test. Modern testteori kallas i den vetenskapliga litteraturen för Item Response Theory (IRT) eller Latent Trait Theory och den har faktiskt dominerat psykometrisk forskning de senaste decennierna. Som en jämförelse bygger de allra flesta psykometriska testerna i vår bransch på klassisk testteori, som har sitt ursprung i en artikel från slutet av 1800-talet!
Det finns många skillnader, men den viktigaste tycker jag är att fokus i klassisk testteori är alla frågor i ett test medan fokus i modern testteori är på varje enskild fråga. Det betyder att saker som adaptiv testning (där testtagaren får frågor som är anpassade efter deras svarsmönster), item banking (där frågorna till varje testtillfälle väljs ut från en större uppsättning av frågor) och kontinuerlig utveckling (där frågor kan bytas ut, läggas till och tas bort löpande) passar in på ett väldigt naturligt sätt. Inom modern testteori är frågorna egna entiteter som är utbytbara, medan ett klassiskt test - för att dra det till sin spets - måste byggas om från grunden om man bara vill ta bort eller lägga till en enda fråga.
Spännande. Du nämner ju redan några fördelar med modern testteori ovan, men finns det ännu fler skulle du säga?
Ja, utöver de jag redan nämnt så får man i regel mer precision i resultaten när man beräknar resultat med hjälp av en IRT-algoritm jämfört med metoder från klassisk testteori där man summerar poäng från alla frågor och jämför dem mot en normgrupp.
Det låter ju toppen, men vilka eventuella nackdelar finns?
Ja, en är att statistiken är mer komplex. För det första betyder det att det krävs mer kunskap hos den som utvecklar testet för att verkligen sätta sig in i hur moderna tester fungerar jämfört med klassiska tester. För det andra innebär det risker i utvecklingsprocessen om man inte vet vad man sysslar med. Till exempel det som kallas overfitting inom machine learning, vilket i förlängningen gör att resultaten från ett test blir otillförlitliga. På Alva använder vi bayesiansk statistik för att motverka detta, vilket jag verkligen rekommenderar andra testutvecklare att sätta sig in i!
Okej, det där med overfitting och bayesiansk statistik övergår mitt förstånd, men i övrigt har bilden klarnat en hel del. Tack.
En annan sak som skiljer Alva Labs från andra i branschen är ju att ni inte anser att man som användare behöver någon utbildning eller certifiering inför att man får börja nyttja era test. Varför är det så?
Jag tänker att det är tre anledningar. För det första gör vi den kunskap som behövs för att förstå våra tester tillgängliga på vår hem
sida, i plattformen och i hjälpartiklar. Om man är nyfiken på saker som reliabilitet och validitet så finns det tydligt beskrivet i våra testmanualer. För det andra får man som ny kund tillgång till en dedikerad expert (customer success manager) som hjälper dig att komma igång. Och för det tredje så är våra tester så självförklarande att du kan börja använda dem utan en tredagarsutbildning. Vi garanterar att resultaten från testerna är kalibrerade och tolkningsbara utan att man behöver förhålla sig till en eller flera normgrupper, till exempel.
Stort tack Morgan, så intressant och lärorikt!
Om du är intresserad av att lyssna på Morgan så finns en intervju med honom i Rekryteringspodden. Vill du komma i kontakt med Alva Labs gör du det enkelt här. Och tveka aldrig att kontakta nån av oss om du har funderingar kring tester vid rekrytering.
