Datum

20 januari 2025

Leestijd

10 minuten lezen

Begrijpelijk en generaliseerbaar gedrag van AI-agenten definiëren

Categorieën:

AI en automatisering, AI-agenten, AI-onderzoek

Auteur

Ian van Eenennaam

Inleiding

Systemen met kunstmatige intelligentie (AI) worden steeds meer onderdeel van het dagelijks leven, van zorg en financiën tot vervoer en communicatie. Naarmate ze belangrijkere rollen krijgen, wordt betrouwbaar en begrijpelijk gedrag steeds crucialer. Het blijft echter moeilijk om gedrag van AI-agenten zo te definiëren dat prestaties, transparantie en aanpassingsvermogen in balans zijn. Twee kernprincipes, interpreteerbaarheid en generaliseerbaarheid, blijken essentieel voor betrouwbare en effectieve AI. Interpreteerbaarheid is het vermogen te begrijpen en uit te leggen hoe AI-systemen besluiten nemen. Dat ondersteunt vertrouwen en verantwoording. Generaliseerbaarheid is het vermogen van AI-systemen om goed te presteren in nieuwe, nog niet eerder waargenomen situaties. Dat draagt bij aan robuustheid en aanpassingsvermogen.

Dit rapport verkent het raakvlak tussen deze twee belangrijke aspecten en onderzoekt hoe onderzoekers omgaan met de uitdagingen bij het definiëren van agentgedrag. Het bespreekt beperkingen van bestaande benaderingen, nieuwe methoden en de behoefte aan vernieuwende strategieën die interpreteerbaarheid en generaliseerbaarheid combineren. Door deze uitdagingen te begrijpen en aan te pakken, kunnen we werken aan betrouwbaardere AI-systemen die effectief functioneren in uiteenlopende, onvoorspelbare omgevingen.

Belangrijkste inzichten

De dubbele uitdaging van interpreteerbaarheid en generaliseerbaarheid

AI-systemen hebben moeite met betrouwbaar gedrag doordat het lastig is agentgedrag te definiëren dat interpreteerbaarheid en generaliseerbaarheid combineert. Interpreteerbaarheid maakt besluiten begrijpelijk en betrouwbaar; generaliseerbaarheid helpt systemen goed te presteren in nieuwe situaties. Die doelen botsen vaak, waardoor nieuwe benaderingen nodig zijn om ze effectief samen te brengen.

Manieren om interpreteerbaarheid te verbeteren

Interpreteerbaarheid kan worden verbeterd met:

Regelgebaseerde methoden: Expliciete weergaven van besluitvormingsprocessen.
Modelonafhankelijke verklaringen: Technieken die de relatie tussen invoer en uitvoer van black-boxmodellen analyseren.
Begrijpelijkheid als onderdeel van het ontwerp: Transparantie rechtstreeks opnemen in de modelarchitectuur, bijvoorbeeld met modulaire ontwerpen en aandachtsmechanismen die meer inzicht geven in AI-gedrag.

Strategieën voor generaliseerbaarheid

Generaliseerbaarheid is essentieel voor robuuste AI-systemen en kan worden versterkt met:

Transfer learning en domeinaanpassing: Kennis uit verwante taken gebruiken voor een groter aanpassingsvermogen.
Robuust modelontwerp: Bayesiaanse raamwerken en hiërarchische structuren gebruiken om prestaties onder onzekerheid en in verschillende contexten te verbeteren.
Geavanceerde evaluatiematen: Benchmarks zoals ALMANACS ontwikkelen om extrapolatie en de voorspelbaarheid van modelgedrag grondig te toetsen bij verschuivingen in de gegevensverdeling.

De uitdaging van het definiëren van AI-agentgedrag

Consistente, bevredigende prestaties van AI-systemen blijven lastig te bereiken. Voorbeelden waarin AI niet levert wat wordt verwacht zijn talrijk en komen voort uit tekortkomingen in het concept, ontwerp en de implementatie (“AI Failures: A Review of Underlying Issues”, http://arxiv.org/pdf/2008.04073v1). Dat onderstreept een fundamentele uitdaging: hoe definieer je gedrag van AI-agenten zodat het betrouwbaar en te vertrouwen is? De generaliseerbaarheid van AI-agenten verbeteren blijkt bovendien bijzonder moeilijk. Bestaande algoritmen voor reinforcement learning handmatig aanpassen om beter te generaliseren vraagt vaak veel iteraties en kan ten koste gaan van de prestaties (“Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability”, http://arxiv.org/pdf/2204.04292v3). Er is daarom behoefte aan een systematischer en beter onderbouwd ontwerp van AI-agentgedrag, waarin zowel interpreteerbaarheid als generaliseerbaarheid vooropstaat.

Het belang van interpreteerbaarheid en generaliseerbaarheid

De genoemde uitdagingen vragen om definities van AI-agentgedrag waarin zowel interpreteerbaarheid als generaliseerbaarheid centraal staat. Interpreteerbaarheid betekent hier dat je kunt begrijpen hoe een AI-agent tot besluiten en handelingen komt. Dat is belangrijk voor het opsporen van fouten en verbeteren van systemen, maar ook voor het vertrouwen van gebruikers. AI-systemen zijn doorgaans voorspellend: ze leren verbanden en correlaties in gegevens, niet noodzakelijk de oorzakelijke processen waaruit die gegevens voortkomen (“Can counterfactual explanations of AI systems’ predictions skew lay users’ causal intuitions about the world? If so, can we correct for that?”, http://arxiv.org/pdf/2205.06241v2). Om echte begrijpelijkheid te bereiken moet die voorspellende, associatieve aard helder aan gebruikers worden uitgelegd. Hun beeld van het systeem moet overeenkomen met wat de AI wel en niet kan. Bij toepassingen met grote gevolgen of veiligheidsrisico’s is interpreteerbaarheid bovendien essentieel om vertrouwen te wekken. Daar moeten AI-systemen voldoen aan richtlijnen en processen die deskundigen hebben vastgesteld, en moet hun besluitvorming transparant en begrijpelijk zijn (“Process Knowledge-Infused AI: Towards User-level Explainability, Interpretability, and Safety”, http://arxiv.org/pdf/2206.13349v1). Generaliseerbaarheid gaat juist over het vermogen van een AI-agent om goed te presteren bij taken en in omgevingen die tijdens de training niet zijn gezien. Dat is nodig voor robuuste, aanpasbare systemen die met onverwachte situaties en variaties kunnen omgaan. Een algemene definitie van AI-agentgedrag moet de beperkte generaliseerbaarheid van huidige systemen aanpakken en methoden bevatten om onbekende situaties of varianten van bekende situaties te verwerken. De volgende delen van dit onderzoek bespreken de benaderingen waarmee onderzoekers beide eigenschappen proberen te bereiken. Zo ontstaat een kader voor de verdere ontwikkeling van betrouwbare AI-systemen.

Opzet van het literatuuronderzoek

Dit literatuuronderzoek bespreekt de stand van het onderzoek naar het definiëren van AI-agentgedrag, met aandacht voor zowel interpreteerbaarheid als generaliseerbaarheid. Om de behoefte aan transparantere en robuustere systemen te behandelen, bestaat het onderzoek uit twee hoofddelen. Deel 1 bespreekt manieren om interpreteerbaarheid te verbeteren: regelgebaseerde methoden, modelonafhankelijke verklaringen en begrijpelijkheid die door ontwerpkeuzes in het model zelf is ingebouwd. Deel 2 richt zich op generaliseerbaarheid, met aandacht voor transfer learning, robuuste modelarchitecturen en effectieve benchmarks om generalisatieprestaties te beoordelen. Met deze analyse wil het onderzoek kansrijke onderzoeksrichtingen en openstaande uitdagingen zichtbaar maken, op weg naar AI-agentgedrag dat begrijpelijk is en zich aan uiteenlopende situaties en contexten kan aanpassen.

Deel 1: de interpreteerbaarheid van AI-agentgedrag verbeteren

Regelgebaseerde en symbolische methoden voor interpreteerbaarheid

Een manier om AI-agentgedrag begrijpelijker te maken is het gebruik van regelgebaseerde en symbolische methoden. Deze methoden geven het besluitvormingsproces expliciet weer, waardoor mensen de redenering achter handelingen gemakkelijker kunnen begrijpen. In een gesloten drafting-spel zijn bijvoorbeeld beslisregels gebruikt die korte booleaanse EN-combinaties van invoer koppelen aan uitvoerklassen. Daarmee konden besluitvormingsstrategieën van Deep Q-Network-modellen (DQN) effectief worden geïnterpreteerd (“Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning”, http://arxiv.org/pdf/2310.20654v3). Die booleaanse voorwaarden zijn eenvoudig te begrijpen en kunnen worden aangescherpt om modelhandelingen nauwkeurig te verklaren. Ook bij classificatietaken kunnen van zichzelf interpreteerbare algoritmen, zoals beslisbomen en random forests, structuur in de besluitvorming afdwingen en transparantie verbeteren (“Process Knowledge-Infused AI: Towards User-level Explainability, Interpretability, and Safety”, http://arxiv.org/pdf/2206.13349v1). Deze technieken leggen een directe verbinding tussen de interne werking van het model en de waarneembare uitvoer. Dat maakt het AI-gedrag gemakkelijker te begrijpen. Dit verschilt van methoden die achteraf verklaringen maken, die in de volgende paragraaf aan bod komen.

Modelonafhankelijke verklaringsmethoden

Anders dan regelgebaseerde benaderingen bieden modelonafhankelijke verklaringsmethoden een breder toepasbare aanpak van interpreteerbaarheid. Ze proberen voorspellingen van ieder black-boxmodel te verklaren zonder toegang tot de interne werking. Daarvoor benaderen ze het modelgedrag lokaal of globaal en geven ze uitleg die voor mensen beter te begrijpen is. Een raamwerk gebaseerd op alledaagse begrippen, zogeheten folk concepts, stelt dat succesvolle uitleg niet alleen afhangt van de gegeven informatie, maar ook van hoe de ontvanger die begrijpt (“Diagnosing AI Explanation Methods with Folk Concepts of Behavior”, http://arxiv.org/pdf/2201.11239v6). Dat raamwerk onderscheidt oorzaken die de interne representatie beïnvloeden, de interne representatie zelf en externe oorzaken die de uitkomst beïnvloeden zonder die representatie te veranderen. Het laat zien waarom uitleg deze begrippen expliciet moet overbrengen. Hiervoor is een gestructureerd verklarend verhaal voorgesteld dat heldere, volledige uitleg ondersteunt en misinterpretaties voorkomt. Modelonafhankelijke methoden gebruiken vaak algoritmen zoals Integrated Gradients (IG), Bounded Integrated Gradients (BIG), Gradient-based Input-agnostic method (GIG) en Augmented Integrated Gradients (AGI). Die analyseren hoe gevoelig het model is voor invoerkenmerken om voorspellingen te verklaren (“AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems”, http://arxiv.org/pdf/2411.06146v1). Deze methoden geven niet vanzelf inzicht in de interne besluitvorming, maar helpen wel te begrijpen hoe belangrijk verschillende invoerkenmerken zijn voor de uitkomst. Daarmee kunnen ze het model als geheel beter interpreteerbaar maken. Voor de meest bruikbare uitleg moet het verklarende verhaal echter alle relevante alledaagse begrippen behandelen. Zo wordt voorkomen dat de ontvanger onjuiste aannames maakt over onderdelen die niet zijn uitgelegd (“Diagnosing AI Explanation Methods with Folk Concepts of Behavior”, http://arxiv.org/pdf/2201.11239v6). De volgende paragraaf verschuift de aandacht van verklaringen achteraf naar methoden die interpreteerbaarheid rechtstreeks in de architectuur en het ontwerp opnemen.

Interpreteerbaarheid door modelontwerp

Een directere route naar interpreteerbaarheid is modellen ontwerpen waarin begrijpelijkheid een ingebouwde eigenschap is, in plaats van op uitleg achteraf te vertrouwen. Dat vraagt ontwerpkeuzes die de interne werking transparanter en beter te begrijpen maken. Bij de ontwikkeling van uitlegbare AI voor het vermijden van scheepsaanvaringen is bijvoorbeeld een critic-netwerk gebruikt dat uit afzonderlijke critic-netwerken voor deeltaken bestaat. Iedere deeltaak wordt apart beoordeeld, waardoor het besluitvormingsproces duidelijker wordt (“Explainable AI for Ship Collision Avoidance: Decoding Decision-Making Processes and Behavioral Intentions”, http://arxiv.org/pdf/2405.09081v2). Deze aanpak onderscheidde het besluitvormingsproces, de waarneming van aanvaringsgevaar, van de gedragsintentie: welke schepen voorrang krijgen bij het uitwijken. Daarvoor werd een deep deterministic policy gradient (DDPG) gebruikt met een specifieke actor- en critic-netwerkstructuur (“Explainable AI for Ship Collision Avoidance: Decoding Decision-Making Processes and Behavioral Intentions”, http://arxiv.org/pdf/2405.09081v2). Afzonderlijke invoergegevens voor elke deeltaak in de sub-task critic (STC) zorgden ervoor dat delen van de Q-waarde alleen van relevante invoer afhingen. Daardoor konden specifieke aspecten van deeltaken, zoals navigatie langs routepunten en het vermijden van aanvaringen, onafhankelijk worden geleerd (“Explainable AI for Ship Collision Avoidance: Decoding Decision-Making Processes and Behavioral Intentions”, http://arxiv.org/pdf/2405.09081v2). Daarnaast maakte een aandachtsmechanisme zichtbaar welke schepen de AI prioriteit gaf, zodat inzicht ontstond in de gedragsintenties (“Explainable AI for Ship Collision Avoidance: Decoding Decision-Making Processes and Behavioral Intentions”, http://arxiv.org/pdf/2405.09081v2). Een andere mogelijkheid is hiërarchische Bayesiaanse modellering combineren met deep learning, zoals in het InDeed-raamwerk voor het ontleden van afbeeldingen. Dat kan leiden tot een modulair diep neuraal netwerk dat ook goed generaliseert (“InDeed: Interpretable image deep decomposition with guaranteed generalizability”, http://arxiv.org/pdf/2501.01127v1). De modulaire architectuur gebruikt op basis van het hiërarchische Bayesiaanse model expliciete berekeningen en niet-lineaire omzettingen om a-posterioriverdelingen af te leiden. Daardoor ontstaan interpreteerbare tussenresultaten en een architectuur die haar eigen werking inzichtelijk maakt (“InDeed: Interpretable image deep decomposition with guaranteed generalizability”, http://arxiv.org/pdf/2501.01127v1). Deze voorbeelden laten zien hoe interpreteerbaarheid in het ontwerp zelf, in plaats van alleen in verklaringen achteraf, transparanter en begrijpelijker AI-agentgedrag kan opleveren.

Deel 2: de generaliseerbaarheid van AI-agentgedrag verbeteren

Transfer learning en domeinaanpassing voor generalisatie

Een belangrijke strategie voor betere generaliseerbaarheid is het gebruik van transfer learning en domeinaanpassing. Daarbij draait het om kennisoverdracht: AI-agenten gebruiken kennis uit het ene domein of de ene taak om beter te presteren in een ander, verwant domein. Zo kan de behoefte aan uitgebreide hertraining voor nieuwe taken sterk afnemen. Bij doelafhankelijke reinforcement learning is bijvoorbeeld aangetoond dat DFA-encoders die vooraf zijn getraind op reach-avoid derived-DFA’s (RAD), opvallend goed zonder aanvullende voorbeelden kunnen generaliseren naar andere DFA’s (“Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning”, http://arxiv.org/pdf/2411.00205v2). Dit resultaat laat zien hoeveel transfer learning kan bijdragen aan het omgaan met onbekende taken. Ook de samenstelbare aard van DFA’s, waarmee booleaanse combinaties (cDFA’s) kunnen worden gecodeerd, versterkt de generaliseerbaarheid. Complexe taken kunnen zo worden opgebouwd uit eenvoudiger, vooraf getrainde onderdelen (“Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning”, http://arxiv.org/pdf/2411.00205v2). Deze aanpak laat zien dat kennis uit een specifiek domein de prestaties en het aanpassingsvermogen in nieuwe, verwante situaties kan verbeteren. De volgende paragraaf bespreekt hoe een robuust modelontwerp kan bijdragen aan generaliseerbaarheid.

Robuuste AI-modellen ontwerpen

Naast transfer learning hangt generaliseerbaarheid af van modellen die van zichzelf bestand zijn tegen variatie in gegevens en omgevingen. Bayesiaanse benaderingen bieden daarvoor een krachtig mechanisme. Het Goal-based Neural Variational Agent-model (GNeVA) voor bewegingsvoorspelling gebruikt bijvoorbeeld een diepe variationale Bayesiaanse aanpak om zowel interpreteerbaarheid als generaliseerbaarheid te verbeteren (“Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach”, http://arxiv.org/pdf/2403.06086v1). GNeVA gebruikt een causale structuur waarin contextkenmerken de verwachte doellocaties bepalen, terwijl onzekerheid uitsluitend voortkomt uit dynamische toekomstige interacties (“Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach”, http://arxiv.org/pdf/2403.06086v1). Het generatieve model gebruikt een variationale mengverdeling van Gaussische verdelingen. Daarmee wordt de ruimtelijke verdeling van doelen beschreven, met leerbare a-priori- en a-posterioriverdelingen die uit de causale structuur voortkomen (“Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach”, http://arxiv.org/pdf/2403.06086v1). Het proces bestaat uit twee stappen: eerst doelverdelingen voorspellen en daarna de tussenliggende trajecten aanvullen. Die scheiding tussen het voorspellen van intenties en het genereren van trajecten vergroot de robuustheid en verbetert prestaties in onbekende situaties (“Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach”, http://arxiv.org/pdf/2403.06086v1). Op vergelijkbare wijze gebruikt InDeed Bayesiaans leren en hiërarchische modellering om afbeeldingen te ontleden en de generaliseerbaarheid te vergroten (“InDeed: Interpretable image deep decomposition with guaranteed generalizability”, http://arxiv.org/pdf/2501.01127v1). Deze aanpak gebruikt PAC-Bayesiaanse theorie om een theoretische bovengrens voor de generalisatiefout af te leiden. Daarbij wordt aangetoond dat het minimaliseren van de verliesfunctie ook deze bovengrens verlaagt (“InDeed: Interpretable image deep decomposition with guaranteed generalizability”, http://arxiv.org/pdf/2501.01127v1). De hiërarchische structuur versterkt de generaliseerbaarheid verder door onderlinge afhankelijkheid tussen variabelen te benutten. Zo ontstaan a-prioriverdelingen voor betekenisvolle onderdelen die zijn afgestemd op het afzonderlijke voorbeeld (“InDeed: Interpretable image deep decomposition with guaranteed generalizability”, http://arxiv.org/pdf/2501.01127v1). InDeed bevat bovendien een algoritme dat zich tijdens het testen snel aanpast aan situaties buiten de trainingsverdeling, een belangrijke eigenschap voor robuuste generalisatie. Deze voorbeelden laten zien hoe zorgvuldig modelontwerp met Bayesiaanse methoden en hiërarchische structuren tot beter generaliseerbare AI-agenten kan leiden.

Generaliseerbaarheid beoordelen

Een grondige beoordeling van generaliseerbaarheid vraagt passende benchmarks en maatstaven om prestaties over verschillende taken en datasets te meten. Een belangrijk begrip is simulatability: de mate waarin een verklaringsmethode helpt het modelgedrag te voorspellen bij voorbeelden die niet voor training zijn gebruikt (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1). Daarmee wordt de beoordeling gekoppeld aan een concrete toepassing van interpreteerbaarheid, namelijk gedrag voorspellen. Dat is een noodzakelijke voorwaarde voor verklaringen die het model juist en volledig weergeven. Om generaliseerbaarheid verder op de proef te stellen, gebruikt ALMANACS een verschuiving in de gegevensverdeling tussen de trainings- en testverzameling (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1). Die verschuiving wordt aangebracht met sjablonen waarvan de in te vullen zinsdelen variëren. Modellen moeten daardoor extrapoleren vanuit hun begrip, in plaats van alleen tussen eerder waargenomen waarden te interpoleren (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1). ALMANACS gebruikt ja-neevragen over twaalf veiligheidsrelevante onderwerpen, met vijftien sjablonen die elk vijfhonderd trainingsvragen en vijftig testvragen opleveren (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1). De eerste resultaten laten echter een aanzienlijke uitdaging zien: geen van de geteste interpretatiemethoden verbeterde de voorspelbaarheid van modelgedrag consequent. Dat onderstreept hoe moeilijk het is verklaringen te maken die betrouwbaar helpen bij het voorspellen van gedrag wanneer de gegevensverdeling verandert (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1). Er zijn dus geavanceerdere benchmarks en evaluatiemethoden nodig die de generaliseerbaarheid van AI-agentgedrag werkelijk toetsen, verder dan eenvoudige interpolatie binnen bekende verdelingen. Ook moeten ze de beperkingen aanpakken van bestaande methoden die vooral op eenvoudiger, meer lineaire taken testen (“ALMANACS: A Simulatability Benchmark for Language Model Explainability”, http://arxiv.org/pdf/2312.12747v1).

Conclusie

Dit literatuuronderzoek verkende het belangrijke raakvlak tussen interpreteerbaarheid en generaliseerbaarheid bij het definiëren van AI-agentgedrag. Deel 1 behandelde verschillende manieren om interpreteerbaarheid te verbeteren: regelgebaseerde en symbolische methoden die besluitvorming expliciet weergeven, modelonafhankelijke verklaringen voor black-boxmodellen en uiteindelijk begrijpelijkheid die door doordacht ontwerp in het model is ingebouwd. De bevindingen laten een breed veld van technieken zien, elk met eigen sterke punten en beperkingen. Regelgebaseerde en modelonafhankelijke methoden bieden waardevolle inzichten, maar hun algemene toepasbaarheid kan worden beperkt door afhankelijkheid van specifieke architecturen of de noodzaak van uitgebreide analyse achteraf. Ingebouwde interpreteerbaarheid door zorgvuldig ontwerp biedt een veelbelovende route naar transparantie én schaalbaarheid. Dat vraagt wel beter inzicht in hoe je begrijpelijkheid in het ontwerpproces opneemt zonder prestaties op te offeren.

Deel 2 onderzocht manieren om de generaliseerbaarheid van AI-agentgedrag te verbeteren. Transfer learning en domeinaanpassing zijn krachtige middelen voor kennisoverdracht, maar hun effectiviteit hangt sterk af van de verwantschap tussen taken en een zorgvuldige keuze van bron- en doeldomeinen. Robuust modelontwerp, met Bayesiaanse benaderingen en andere technieken om onzekerheid en variatie op te vangen, biedt veel potentieel voor generalisatie. Het beoordelen van generaliseerbaarheid blijft echter lastig. Er zijn verfijndere benchmarks en maatstaven nodig die verder gaan dan eenvoudige interpolatie en goed meten of een model kan extrapoleren naar onbekende gegevens en nieuwe situaties. ALMANACS maakt deze uitdaging zichtbaar: huidige verklaringsmethoden verbeteren de voorspelbaarheid van modelgedrag vaak niet, zelfs niet onder gecontroleerde omstandigheden.

Het onderzoek naar begrijpelijk en generaliseerbaar AI-agentgedrag laat een complexe wisselwerking zien tussen modelontwerp, verklaringsmethoden en evaluatie. Er zijn veelbelovende richtingen, maar ook grote openstaande uitdagingen. Een belangrijke beperking van dit literatuuronderzoek is dat er geen algemeen aanvaarde definitie van interpreteerbaarheid en generaliseerbaarheid bestaat. Dat leidt tot uiteenlopende benaderingen die moeilijk rechtstreeks te vergelijken zijn. Meer gestandaardiseerde maatstaven en benchmarks zijn essentieel om vooruitgang objectief te beoordelen en te voorkomen dat de zoektocht naar begrijpelijkheid ongemerkt ten koste gaat van generaliseerbaarheid, of andersom. Toekomstig onderzoek zou zich moeten richten op samenhangende raamwerken die beide eigenschappen gedurende de hele AI-levenscyclus verbinden, van ontwerp en training tot implementatie en evaluatie. Alleen door beide aspecten gezamenlijk aan te pakken kunnen veilige, betrouwbare AI-systemen ontstaan die consistent werken in complexe en onvoorspelbare omgevingen. Het uiteindelijke doel is niet alleen begrijpen wat een AI-agent doet, maar ook waarom en hoe. Dat maakt robuustere, aanpasbare en betrouwbare kunstmatige intelligentie mogelijk die mensen ten goede komt.

Bronnen

AI Failures: A Review of Underlying Issues. [http://arxiv.org/pdf/2008.04073v1]
Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability. [http://arxiv.org/pdf/2204.04292v3]
Can counterfactual explanations of AI systems’ predictions skew lay users’ causal intuitions about the world? If so, can we correct for that?. [http://arxiv.org/pdf/2205.06241v2]
Process Knowledge-Infused AI: Towards User-level Explainability, Interpretability, and Safety. [http://arxiv.org/pdf/2206.13349v1]
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning. [http://arxiv.org/pdf/2310.20654v3]
Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning. [http://arxiv.org/pdf/2411.00205v2]
Towards Reconciling Usability and Usefulness of Explainable AI Methodologies. [http://arxiv.org/pdf/2301.05347v1]
Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach. [http://arxiv.org/pdf/2403.06086v1]
Diagnosing AI Explanation Methods with Folk Concepts of Behavior. [http://arxiv.org/pdf/2201.11239v6]
Explainable AI for Ship Collision Avoidance: Decoding Decision-Making Processes and Behavioral Intentions. [http://arxiv.org/pdf/2405.09081v2]
The Reasonable Person Standard for AI. [http://arxiv.org/pdf/2406.04671v1]
LLM-based Optimization of Compound AI Systems: A Survey. [http://arxiv.org/pdf/2410.16392v1]
AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems. [http://arxiv.org/pdf/2411.06146v1]
ALMANACS: A Simulatability Benchmark for Language Model Explainability. [http://arxiv.org/pdf/2312.12747v1]
InDeed: Interpretable image deep decomposition with guaranteed generalizability. [http://arxiv.org/pdf/2501.01127v1]

Nieuwsbrief

Ontvang de volgende editie

Praktische ideeën en technische experimenten van Ian van Eenennaam.

Getagged Artikel