Sammanfattning: Forskaren Kary Främling “har utvecklat CIU-metoden, Contextual Importance and Utility, och menar att den är mer effektiv än andra förklaringsmodeller för AI.”
"Ett AI-system är ett system där ett eller flera ingångsvärden ges till en AI-modell eller ett AI-system, som sedan bearbetar informationen och producerar ett eller flera utgångsvärden. Med CIU-metoden kan man studera och förklara hur en förändring av en eller flera indata – variabler som “ålder”, “kön”, “arbete” eller “studier” – påverkar slutresultatet.
– För mig handlar det om att se till att var och en av oss kan förstå sjukhusets beslut, bankens svar på en låneansökan eller en myndighets beslut, säger Kary Främling."
– Det är fullt möjligt att få mer korrekt information, och inte bara en “föraning” om vad som hände eller gick fel i ett AI-system. CIU kan ge stora möjligheter för företag och deras kunder, men också för myndigheter och medborgare, säger Kary Främling.
På något fundamentalt plan vet vi vad som händer, djupinlärning är bara en jäkla massa gånger som kedjeregeln skall appliceras. Det vi däremot har dålig koll på är när man oförutsett kickar igång en svag gradient genom modellen, vilket leder till hallisar eller att modellen sticker iväg på en tangent. Något annat som vi har bättre koll på men som är svårt att åtgärda är när man tränar på förutfattade meningar; Typ, denna modell klassar alla bilder på mörka killar i orten till att vara yrkeskriminella eftersom dataunderlaget snedvrider dit på grund av socioekonomiska faktorer. I vilket fall finns det andra metoder som SHAP och LIME, så ur något fundamentalt förklarbarhetsperspektiv har det funnits CIU liknande metoder rätt så länge och är egentligen inget som CIU kan lägga beslag på.
Intressant!