Thèse Année : 2024

Making AI Understandable for Humans : the Plausibility of Attention-Based Explanations in Natural Language Processing

Rendre l’IA expliquable pour les humains : la plausibilité des explications fondées sur l’attention dans le traitement automatique des langues

Résumé

Originally designed to explain deep learning models, explainable artificial intelligence (XAI) should also provide accessible explanations to assist end users in their domains of expertise. This thesis explores, within the context of natural language processing, the potential of using the attention mechanism—a crucial component of recent neural architectures—to provide users with plausible and easily understandable explanations for the decisions made by an algorithm. We first show that attention tends to be distributed across all the words in an utterance, making the explanations poorly plausible. Inspired by the specificities of human annotations seeking to explain decisions, we first propose a morphosyntactic filtering strategy that concentrates attention on the sole nouns, verbs, and adjectives present in the utterances. To obtain a more generalizable solution that does not depend on specific dataset characteristics, we further introduce three regularization strategies during the training phase, based either on an entropy criterion or on supervised or unsupervised approaches. Finally, our thesis reveals that deep architectures allowing for contextualization of word representations in utterances tend to penalize the explainability of attention due to their convergence within the representation space. By minimizing the influence of contextualization on words, the attention mechanism can more effectively approach explanations produced by humans.
Initialement conçue pour expliquer des modèles d’apprentissage profond, l’intelligence artificielle explicable (XAI) devrait également proposer des explications accessibles pour assister des utilisateurs finaux dans leurs domaines d’expertise. Cette thèse explore, dans le cadre du traitement automatique des langues, le potentiel de l’utilisation du mécanisme d’attention – composant crucial des architectures neuronales récentes – à fournir des explications plausibles et aisément compréhensibles par les utilisateurs des décisions prises par un modèle. Nous montrons tout d’abord que l’attention a tendance à être répartie sur l’ensemble des mots des énoncés, rendant les explications peu plausibles. Inspiré par les spécificités d’annotations d’humains cherchant à justifier des décisions, nous proposons une première stratégie de filtrage morphosyntaxique qui concentre l’attention sur les seuls noms, verbes et adjectifs des énoncés. Afin d’obtenir une solution plus généralisable et non dépendante de caractéristiques de jeux de données particuliers, nous introduisons ensuite trois stratégies de régularisation dans la phase d’apprentissage, reposant soit sur un critère d’entropie, soit sur des approches supervisées ou non supervisées. Notre thèse révèle enfin que les architectures profondes qui permettent une contextualisation de la représentation des mots des énoncés ont tendance à pénaliser l’explicabilité de l’attention du fait de leur convergence au sein de l’espace des représentations. En minimisant l’influence de la contextualisation sur les mots, le mécanisme d’attention peut s’approcher plus efficacement d’explications produites par des humains.
Fichier principal
Vignette du fichier
TheseDEF_Duc_Hau_NGUYEN.pdf (27 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04929211 , version 1 (04-02-2025)

Identifiants

  • HAL Id : tel-04929211 , version 1

Citer

Duc Hau Nguyen. Making AI Understandable for Humans : the Plausibility of Attention-Based Explanations in Natural Language Processing. Artificial Intelligence [cs.AI]. INSA de Rennes, 2024. English. ⟨NNT : 2024ISAR0007⟩. ⟨tel-04929211⟩
0 Consultations
0 Téléchargements

Partager

More