| Titre : | Assistant IA pour l'amélioration orale en anglais Plateforme EvalEnglish |
| Auteurs : | Hamri Malika Firdaws, Auteur ; Zahaf Ahmed, Directeur de thèse |
| Type de document : | texte manuscrit |
| Editeur : | Université de Saïda – Dr. Moulay Tahar – Faculté des Mathématiques, de l’Informatique et des Télécommunications, 2025/2026 |
| Format : | 57ص |
| Accompagnement : | CD |
| Langues: | Français |
| Index. décimale : | BUC-M 008550 |
| Catégories : |
Master en informatique Spécialité : Modélisation Informatique des Connaissances et du Raisonnement |
| Résumé : |
ملخص
ﻣﻠﺨﺺ العربية باللغة ملخص ﺍﻟﻤﺸﺘﺮﻙ ﺍﻷﻭﺭﻭﺑﻲ ﺍﻟﻤﺮﺟﻌﻲ ﺍﻹﻃﺎﺭ ﻭﻓﻖ ﺍﻹﻧﺠﻠﻴﺰﻳﺔ ﺍﻟﻠﻐﺔ ﻓﻲ ﺍﻟﺸﻔﻬﻲ ﺍﻟﺘﻌﺒﻴﺮ ﻟﻤﻬﺎﺭﺍﺕ ﺍﻵﻟﻲ ﻟﻠﺘﻘﻴﻴﻢ ﺫﻛﻴﺔ ﻭﺏ ﻣﻨﺼﺔ EvalEnglish ﻭ ،LLaMA ﺛﻢ wav2vec2) ﺗﻌﺎﻗﺒﻴﻴﻦ ﻣﺴﺎﺭﻳﻦ :ﻣﺘﻜﺎﻣﻠﺔ ﺍﺻﻄﻨﺎﻋﻲ ﺫﻛﺎﺀ ﻧﻤﺎﺫﺝ ﺧﻤﺴﺔ ﺍﻟﻤﻨﺼﺔ ﺗﺠﻤﻊ .(C2 ﺇﻟﻰ A1 )ﻣﻦ CEFR ﻧﻄﻖ ﻭﻧﻤﻮﺫﺝ ،(ﺍﻟﺪﻗﻴﻖ ﻭﺍﻟﺘﺤﺴﻴﻦ zero-shot ﻭﺿﻌﻲ ﻓﻲ Speech-LLM (Qwen2-Audio ﻭﻧﻤﻮﺫﺟﻲ ،(LLaMA ﺛﻢ Whisper ﻣﻌﺎﻣﻞ Qwen2-Audio ﻳﺤﻘﻖ ،SANDI/Speak&Improve 2025 ﻣﺘﻦ ﻋﻠﻰ QLoRA ﺑﺘﻘﻨﻴﺔ ﺍﻟﺪﻗﻴﻖ ﺗﺤﺴﻴﻨﻪ ﺑﻌﺪ .GOP ﺗﻘﻨﻴﺔ ﻳﻌﺘﻤﺪ ﺛﻼﺛﺔ ﻣﻦ ﻣﻮﺟﻬﺎ ﺷﻔﻬﻴﺎ ﺍﺧﺘﺒﺎﺭﺍ ﺍﻟﻤﻨﺼﺔ ﺗﻮﻓﺮ .0.462 ﻗﺪﺭﻩ (SRC) ﺳﺒﻴﺮﻣﺎﻥ ﺍﺭﺗﺒﺎﻁ ﻭﻣﻌﺎﻣﻞ 0.393 ﻗﺪﺭﻩ (PCC) ﺑﻴﺮﺳﻮﻥ ﺍﺭﺗﺒﺎﻁ .ﻟﻸﺳﺘﺎﺫ ﻭﻓﻀﺎﺀ ،ﻟﻠﻤﺘﻌﻠﻢ ﺗﺤﻜﻢ ﻭﻟﻮﺣﺔ ،ﺩﻭﺭﺓ 18 ﻣﻦ ﻭﻣﻜﺘﺒﺔ ،ﺃﺟﺰﺍﺀ ،wav2vec2، Whisper ،ﺍﻟﺪﻗﻴﻖ ﺍﻟﺘﺤﺴﻴﻦ ،CEFR، LLM، Qwen2-Audio، QLoRA ،ﺍﻵﻟﻲ ﺍﻟﺸﻔﻬﻲ ﺍﻟﺘﻘﻴﻴﻢ :ﺍﻟﻤﻔﺘﺎﺣﻴﺔ ﺍﻟﻜﻠﻤﺎﺕ .ﺍﻹﻟﻜﺘﺮﻭﻧﻲ ﺍﻟﺘﻌﻠﻢ ﻣﻨﺼﺔ ،ﺍﻟﻨﻄﻖ ﺗﻘﻴﻴﻢ Abstract Your summary in intelligent English web platform for the automatic, CEFR-aligned assessment of English speaking skills EvalEnglish is an (A1–C2). It combines five complementary AI models — two cascade pipelines (wav2vec2 → LLaMA, Whisper → LLaMA), two Speech-LLMs (Qwen2-Audio, zero-shot and fine-tuned), and a GOP pronunciation model. Fine-tuned with QLoRA on the SANDI/Speak&Improve 2025 corpus, Qwen2-Audio reaches a PCC of 0.393 and an SRC of 0.462, roughly doubling the zero-shot correlations. The platform delivers a 3-part guided oral test, a library of 18 courses, a learner dashboard and a teacher workspace. Keywords: automatic oral assessment, CEFR, LLM, Qwen2-Audio, QLoRA, fine-tuning, wav2vec2, Whisper, pronunciation, e-learning platform. Résumé Votre résuméest enune français EvalEnglish plateforme web intelligente d’évaluation automatique de l’expression orale en anglais, alignée sur le CEFR (A1–C2). Elle combine cinq modèles d’IA complémentaires : deux pipelines en cascade (wav2vec2 → LLaMA, Whisper → LLaMA), deux Speech-LLM (Qwen2-Audio en zéro-shot et fine-tuné) et un modèle de prononciation GOP. Fine-tuné avec QLoRA sur le corpus SANDI/Speak&Improve 2025, Qwen2-Audio atteint un PCC de 0,393 et un SRC de 0,462, doublant les corrélations du zéro-shot. La plateforme propose un test oral guidé en 3 parties, une bibliothèque de 18 cours, un tableau de bord apprenant et un espace enseignant. Mots-clés : évaluation orale automatique, CEFR, LLM, Qwen2-Audio, QLoRA, fine-tuning, wav2vec2, Whisper, prononciation, plateforme e-learning. |
| Note de contenu : |
Contents
Introduction Générale 11 1 Fondements Théoriques des Grands Modèles de Langage (LLMs) 14 1.1 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . 14 1.1.1 Dénition et principes fondamentaux . . . . . . . . . . 14 1.1.2 L'apprentissage par rétropropagation . . . . . . . . . . 15 1.1.3 Architectures clés du deep learning . . . . . . . . . . . 15 1.2 Représentation du langage : la vectorisation des mots . . . . 15 1.2.1 Le problème de la représentation . . . . . . . . . . . . 16 1.2.2 Bag of Words (BoW) . . . . . . . . . . . . . . . . . . 16 1.2.3 One-Hot Encoding . . . . . . . . . . . . . . . . . . . . 16 1.3 Word Embedding . . . . . . . . . . . . . . . . . . . . . . . . 16 5 5 CONTENTS EvalEnglish 1.3.1 Principe des embeddings . . . . . . . . . . . . . . . . . 17 1.3.2 Word2Vec . . . . . . . . . . . . . . . . . . . . . . . . 17 1.3.3 GloVe et FastText . . . . . . . . . . . . . . . . . . . . 17 1.4 L'architecture Transformer . . . . . . . . . . . . . . . . . . . 17 1.4.1 Motivations et contexte . . . . . . . . . . . . . . . . . 17 1.4.2 L'attention multi-têtes . . . . . . . . . . . . . . . . . . 18 1.4.3 Architecture complète . . . . . . . . . . . . . . . . . . 18 1.4.4 Encodage positionnel . . . . . . . . . . . . . . . . . . 19 1.5 Modèles de Langage Masqués (Masked Language Models) . . 19 1.5.1 BERT : Bidirectional Encoder Representations from Transformers . . . . . . . . . . . . . . . . . . . . . . . 19 1.5.2 Variantes de BERT . . . . . . . . . . . . . . . . . . . 20 1.5.3 wav2vec 2.0 : BERT pour la parole . . . . . . . . . . . 20 1.6 Modèles de Langage Causaux (Causal Language Models) . . 20 1.6.1 Principe de la modélisation causale . . . . . . . . . . . 20 1.6.2 GPT et ses successeurs . . . . . . . . . . . . . . . . . 21 1.7 Le Fine-tuning des LLMs . . . . . . . . . . . . . . . . . . . . 21 1.7.1 Paradigme pré-entraînement / ne-tuning . . . . . . . 21 1.7.2 PEFT : Parameter-Ecient Fine-Tuning . . . . . . . . 22 1.7.3 LoRA : Low-Rank Adaptation . . . . . . . . . . . . . 22 1.7.4 Instruction Tuning et RLHF . . . . . . . . . . . . . . 22 1.8 Les Speech LLMs . . . . . . . . . . . . . . . . . . . . . . . . 22 1.8.1 De la parole au texte : l'ASR classique . . . . . . . . . 23 1.8.2 Les modèles de langage audio multimodaux . . . . . . 23 1.8.3 Comparaison des approches . . . . . . . . . . . . . . . 24 2 État de l'Art : Évaluation Orale Automatique et Référentiels Linguistiques 25 2.1 Les compétences orales en langue anglaise . . . . . . . . . . . 25 2.1.1 Dénition de la compétence orale . . . . . . . . . . . . 25 2.1.2 Les dicultés de l'évaluation orale . . . . . . . . . . . 26 2.2 Le référentiel CEFR . . . . . . . . . . . . . . . . . . . . . . 26 6 CONTENTS EvalEnglish 2.2.1 Présentation du Cadre Européen Commun de Référence pour les Langues . . . . . . . . . . . . . . . . . . . . . 26 2.2.2 Le CEFR dans la notation numérique . . . . . . . . . 27 2.2.3 Les critères d'évaluation de la production orale au CEFR 27 2.3 Les examens oraux d'anglais : IELTS et TOEFL . . . . . . . 28 2.3.1 L'IELTS (International English Language Testing System) 28 2.3.2 Le TOEFL iBT (Test of English as a Foreign Language) 29 2.3.3 Limites des examens ociels . . . . . . . . . . . . . . 29 2.4 Les systèmes d'évaluation orale automatique existants . . . . 30 2.4.1 ELSA Speak . . . . . . . . . . . . . . . . . . . . . . . 30 2.4.2 Duolingo English Test (DET) . . . . . . . . . . . . . . 30 2.4.3 SpeechRater (ETS) . . . . . . . . . . . . . . . . . . . 30 2.4.4 Speak & Improve (Cambridge) . . . . . . . . . . . . . 31 2.5 Les travaux de recherche en évaluation automatique du CEFR 31 2.5.1 Approches par features acoustiques et linguistiques . . 31 2.5.2 Approches end-to-end deep learning . . . . . . . . . . 31 2.5.3 Positionnement de notre travail . . . . . . . . . . . . . 31 3 Conception de la Solution et Méthodologie Expérimentale 33 3.1 Architecture générale du système . . . . . . . . . . . . . . . 33 3.1.1 Vue d'ensemble . . . . . . . . . . . . . . . . . . . . . . 33 3.1.2 Stack technologique . . . . . . . . . . . . . . . . . . . 34 3.2 Les cinq modèles d'évaluation . . . . . . . . . . . . . . . . . 34 3.2.1 Présentation des deux approches (volets) . . . . . . . . 35 3.2.2 Modèle 1 : wav2vec2 → LLaMA (Volet 1) . . . . . . . 35 3.2.3 Modèle 2 : Whisper → LLaMA (Volet 1) . . . . . . . . 36 3.2.4 Modèle 3 : Qwen2-Audio en zéro-shot (Volet 2) . . . . 36 3.2.5 Modèle 4 : Qwen2-Audio ne-tuné avec QLoRA (Volet 2) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.2.6 Modèle 5 : GOP ? Goodness-of-Pronunciation . . . . . 38 3.3 Validation d'entrée . . . . . . . . . . . . . . . . . . . . . . . 39 3.4 Résultats expérimentaux et analyse . . . . . . . . . . . . . . 39 7 3.4.1 Métriques d'évaluation . . . . . . . . . . . . . . . . . . 39 3.4.2 Résultats comparatifs . . . . . . . . . . . . . . . . . . 39 3.4.3 Analyse des résultats . . . . . . . . . . . . . . . . . . . 40 3.4.4 Analyse de la courbe de perte . . . . . . . . . . . . . . 40 3.4.5 Limites et honnêteté scientique . . . . . . . . . . . . 40 4 Réalisation et Présentation de la Plateforme EvalEnglish 42 4.1 Technologies frontend . . . . . . . . . . . . . . . . . . . . . . 42 4.1.1 Next.js 16 et React 19 . . . . . . . . . . . . . . . . . . 42 4.1.2 Tailwind CSS v4 et Framer Motion . . . . . . . . . . . 42 4.2 Authentication et gestion des utilisateurs . . . . . . . . . . 43 4.2.1 Page d'inscription . . . . . . . . . . . . . . . . . . . . 43 4.2.2 Page de connexion . . . . . . . . . . . . . . . . . . . . 44 4.3 Le test CEFR oral guidé . . . . . . . . . . . . . . . . . . . . 44 4.3.1 Page d'accueil du test CEFR . . . . . . . . . . . . . . 44 4.3.2 Partie 1 ? Interview . . . . . . . . . . . . . . . . . . . 45 4.3.3 Partie 3 ? Discussion . . . . . . . . . . . . . . . . . . . 45 4.3.4 Résultats du test CEFR . . . . . . . . . . . . . . . . . 45 4.4 La bibliothèque de cours . . . . . . . . . . . . . . . . . . . . 46 4.4.1 Vue catalogue des cours . . . . . . . . . . . . . . . . . 46 4.4.2 Page détail d'un cours . . . . . . . . . . . . . . . . . . 46 4.5 Le dashboard apprenant et enseignant . . . . . . . . . . . . . 47 4.5.1 Dashboard apprenant . . . . . . . . . . . . . . . . . . 47 4.5.2 Espace enseignant . . . . . . . . . . . . . . . . . . . . 47 4.6 Synthèse des fonctionnalités . . . . . . . . . . . . . . . . . . 48 Conclusion Générale et Perspectives 49 8 |
Exemplaires
| Code-barres | Cote | Support | Localisation | Section | Disponibilité |
|---|---|---|---|---|---|
| aucun exemplaire |
Documents numériques (1)
BUC-M 008550 Adobe Acrobat PDF |
