https://datafranca.org/wiki/api.php?action=feedcontributions&feedformat=atom&user=Patrickdrouin 2026-06-15T15:40:21Z Contributions MediaWiki 1.39.5 https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128227 2026-06-09T19:21:57Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Le phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128222 2026-06-09T19:14:16Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128221 2026-06-09T19:11:51Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128220 2026-06-09T19:10:44Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128219 2026-06-09T19:10:21Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publications]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128216 2026-06-09T19:08:52Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128215 2026-06-09T19:07:51Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128214 2026-06-09T19:05:39Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128210 2026-06-09T19:04:58Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Encodage_positionnel&diff=128209 2026-06-09T18:54:10Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à préserver l’ordre séquentiel des '''[[jeton textuel|jetons textuels]]''' (tokens) en ajoutant des informations sur la position de chaque '''[[jeton textuel|segment]]''' dans la séquence, ce qui leur permet d’avoir une meilleure compréhension '''[[Fenêtre contextuelle|contextuelle]]''' et d’éviter les problèmes de symétrie.<br /> <br /> == Français ==<br /> ''' encodage positionnel '''<br /> <br /> == Anglais ==<br /> '''positional encoding'''<br /> <br /> ''' PE'''<br /> <br /> &lt;!--Positional encoding refers to a method in transformer models that helps to maintain the sequential order of words. This is a crucial component for understanding the context within a sentence and between sentences.--&gt;<br /> == Sources ==<br /> [https://www.kdnuggets.com/generative-ai-key-terms-explained Source : kdnuggets]<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&amp;i=1&amp;srchtxt=POSITIONAL+ENCODING&amp;index=alt&amp;codom2nd_wet=1#resultrecs Source : TERMIUM Plus]<br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_%C3%A9clair&diff=128207 2026-06-09T18:53:04Z

<p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> <br /> Ce concept regroupe différentes approches algorithmiques pour augmenter la performance en temps d'exécution et/ou en mémoire du [[mécanisme d'attention]] original. <br /> <br /> Sur le plan technique, il existe différentes implémentations qui dépendent entre autres de l'organisation matérielle des processeurs graphiques, souvent pour un fabricant de puces en particulier.<br /> <br /> == Compléments ==<br /> <br /> Les [[Réseau autoattentif|couches d'auto-attention]] permettent de comprendre les relations contextuelles entre les données d'entrée. Cependant, la consommation maximale de mémoire des [[processeur graphique|processeurs graphiques]] pour les [[Réseau autoattentif|couches d'auto-attention]] augmente de manière quadratique avec la longueur de la séquence d’entrée. Ainsi, l'[[Réseau autoattentif|algorithme d'auto-attention classique]] devient rapidement prohibitif en termes de mémoire pour les longs contextes d'entrée.<br /> <br /> Afin de résoudre ce problème, Tri Dao et al. ont inventé en 2022 l'algorithme d'attention éclair (FlashAttention) dont le coût en mémoire n'augmente que linéairement avec la longueur de la séquence d'entrée. Évidemment, l’algorithme d’attention éclair est un peu plus lent. En contrepartie, l'attention-éclair est plus rapide en inférence que l'attention classique car elle réduit considérablement les accès mémoires plus lents du processeur graphique en se concentrant plutôt sur la mémoire vive statique (SRAM) qui est plus rapide.<br /> <br /> Le mécanisme d'attention éclair proposé par Qin &amp; al. en 2023, appelé '''lightning attention''', fait appel à une approximation qui s'exécute en temps linéaire alors que le mécanisme d'attention original s'exécute en temps quadratique. Cette amélioration est basée sur la [[normalisation du gradient]] pour lutter contre l'[[explosion du gradient]] et l'utilisation privilégiée de la diagonale de la matrice d'attention c.-à-d. les [[jeton textuel|jetons textuels]] voisins pour lutter contre l'[[évanescence du gradient]].<br /> <br /> ==Français==<br /> '''attention éclair'''<br /> <br /> '''attention flash''' &lt;small&gt;''Calque de l'anglais''&lt;/small&gt;<br /> <br /> ==Anglais==<br /> '''FlashAttention''' &lt;small&gt;'' Proposition originale de Tri Dao et al. (2022)''&lt;/small&gt;<br /> <br /> '''flash attention'''<br /> <br /> '''lightning attention'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/pdf/2407.08608v2 - arxiv - Jay Shah &amp; al. 2024 - FlashAttention-3]<br /> <br /> [https://arxiv.org/pdf/2307.14995v1 - arxiv - Qin &amp; al. 2023 - Lightning Attention]<br /> <br /> [https://arxiv.org/abs/2205.14135 - arxiv - Tri Dao et al. (2022) - FlashAttention]<br /> <br /> [https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad Source: Medium]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_segment_textuel&diff=128206 2026-06-09T18:49:13Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>#REDIRECTION [[Suppression de jeton textuel]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton_textuel&diff=128205 2026-06-09T18:49:12Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton_textuel&diff=128203 2026-06-09T18:47:48Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Tokenmaxxing&diff=128198 2026-06-09T18:43:11Z

<p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''surconsommation de jetons textuels'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> '''maximisation de jetons textuels'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Tokenmaxxing&diff=128196 2026-06-09T18:41:29Z

<p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Tokenmaxxing&diff=128195 2026-06-09T18:40:56Z

<p>Patrickdrouin : Page créée avec « ==Définition== Action de dépenser délibérément un maximum de jetons textuels alloué à un grand modèle de langues (GLM). == Compléments == La surconsommation de jetons est souvent le résultat de l&#039;exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. ==Français== &#039;&#039;&#039;surconsommation de jetons&#039;&#039;&#039; &#039;&#039;&#039;maximisation de jetons&#039;&#039;&#039; ==Anglais== &#039;... »</p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Segment_textuel&diff=128191 2026-06-09T18:32:51Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Segment textuel vers Jeton textuel</p> <hr /> <div>#REDIRECTION [[Jeton textuel]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Jeton_textuel&diff=128190 2026-06-09T18:32:51Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Segment textuel vers Jeton textuel</p> <hr /> <div>==Définition==<br /> En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').<br /> <br /> ==Compléments==<br /> Un jeton textuel peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.<br /> <br /> Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux. <br /> <br /> &lt;hr/&gt;<br /> Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication. <br /> <br /> &lt;hr/&gt;<br /> Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.<br /> <br /> ==Français==<br /> '''jeton textuel'''<br /> <br /> '''jeton'''<br /> <br /> '''segment textuel'''<br /> <br /> '''segment de texte'''<br /> <br /> '''symbole'''<br /> <br /> '''unité sous-lexicale'''<br /> <br /> '''unité lexicale'''<br /> <br /> '''partie de mot'''<br /> <br /> ==Anglais==<br /> '''token'''<br /> <br /> ==Sources==<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&amp;i=1&amp;srchtxt=tokenizer&amp;index=alt&amp;codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']<br /> <br /> [https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&amp;version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]<br /> <br /> [https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']<br /> <br /> [https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]<br /> <br /> [https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]<br /> <br /> [https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Jeton_textuel&diff=128188 2026-06-09T18:28:29Z

<p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').<br /> <br /> ==Compléments==<br /> Un jeton textuel peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.<br /> <br /> Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux. <br /> <br /> &lt;hr/&gt;<br /> Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication. <br /> <br /> &lt;hr/&gt;<br /> Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.<br /> <br /> ==Français==<br /> '''jeton textuel'''<br /> <br /> '''jeton'''<br /> <br /> '''segment textuel'''<br /> <br /> '''segment de texte'''<br /> <br /> '''symbole'''<br /> <br /> '''unité sous-lexicale'''<br /> <br /> '''unité lexicale'''<br /> <br /> '''partie de mot'''<br /> <br /> ==Anglais==<br /> '''token'''<br /> <br /> ==Sources==<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&amp;i=1&amp;srchtxt=tokenizer&amp;index=alt&amp;codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']<br /> <br /> [https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&amp;version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]<br /> <br /> [https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']<br /> <br /> [https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]<br /> <br /> [https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]<br /> <br /> [https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Nettoyage_de_donn%C3%A9es&diff=124418 2026-04-28T18:45:14Z

<p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Le nettoyage de données est l'opération de détection et de correction d'erreurs présentes dans des jeux de données brutes stockées dans des bases de données ou dans des fichiers. Ces données peuvent avoir plusieurs types d'erreurs comme des erreurs de frappe, de format, de syntaxe etc. <br /> <br /> Le processus de nettoyage, ou « prétraitement des données », identifie les données erronées et les corrige automatiquement avec un programme informatique. Une fois traitées, ces données peuvent être présentées dans un format normalisé, ce qui aide les humains et les ordinateurs à les interpréter. Les nettoyeurs de type '''[[ETL]]''' ont été les premiers à voir le jour.<br /> <br /> ==Français==<br /> '''nettoyage de données''' <br /> <br /> '''traitement des données'''<br /> <br /> '''curation des données''' &lt;small&gt;calque de l'anglais&lt;/small&gt;<br /> <br /> ==Anglais==<br /> '''data cleansing'''<br /> <br /> '''data cleaning'''<br /> <br /> '''data scrubbing'''<br /> <br /> '''data curation'''<br /> <br /> '''data cooking''' &lt;small&gt;(familier)&lt;/small&gt;<br /> <br /> ==Sources==<br /> <br /> [https://fr.wikipedia.org/wiki/Nettoyage_de_donn%C3%A9es Source : Wikipedia, ''Nettoyage de données''.]<br /> <br /> [https://en.wikipedia.org/wiki/Data_cleansing Source : Wikipedia, ''Data cleansing''.]<br /> <br /> [https://www.techopedia.com/definition/14676/cooked-data Source : Techopedia, ''Cooked Data''.]<br /> <br /> [http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=8873874 Source : GDT - Traitement des données ]<br /> <br /> <br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> {{Modèle:GDT}}<br /> <br /> [[Catégorie:Traitement de données]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=LightMem&diff=124412 2026-04-28T18:26:21Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nom propre, cadre de gestion de la mémoire des '''[[Grand modèle de langues (GML)|grands modèles de langues]]''' qui minimise la redondance tout en préservant les informations et en réduisant les coûts de calcul grâce à la création d'une mémoire externe des interactions des utilisateurs.<br /> <br /> == Compléments ==<br /> Cependant, ce cadre de gestion de la mémoire pose des défis éthiques majeurs en matière de confidentialité des utilisateurs. De plus, la mémoire peut également absorber et perpétuer les préjugés ou les informations erronées provenant des données saisies par les utilisateurs.<br /> <br /> == Français ==<br /> '''LightMem'''<br /> <br /> '''LightMEM'''<br /> <br /> == Anglais ==<br /> '''LightMem'''<br /> <br /> '''LightMEM'''<br /> <br /> ''' Lightweight and Efficient Memory-Augmented Generation'''<br /> <br /> ''Memory management framework that minimizes redundancy while preserving information and reducing computational costs of LLMs by creating an external memory of user interactions.''<br /> <br /> ''It introduces critical ethical challenges to user privacy and the memory can also absorb and perpetuate biases or misinformation from user input.''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2510.18866 Source : arxiv]<br /> <br /> [https://github.com/zjunlp/LightMem Source : GitHub]<br /> <br /> [https://huggingface.co/papers/2510.18866 Source : huggingface]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120839 2026-04-21T19:29:52Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes dans un ensemble de réponses donné. <br /> <br /> Voir [[précision]]<br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Pr%C3%A9cision&diff=120838 2026-04-21T19:27:22Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nombre de réponses pertinentes parmi l'ensemble des réponses fournies par un système. <br /> <br /> Voir aussi [[justesse]] et [[rappel]].<br /> <br /> == Français ==<br /> '''précision''' <br /> <br /> == Anglais ==<br /> '''precision'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Pr%C3%A9cision&diff=120837 2026-04-21T19:26:26Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nombre de réponses pertinentes parmi l'ensemble des réponses fournies par un système. <br /> <br /> Voir aussi '''[[justesse]]'''.<br /> <br /> == Français ==<br /> '''précision''' <br /> <br /> == Anglais ==<br /> '''precision'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120836 2026-04-21T19:24:47Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes. <br /> <br /> Voir [[précision]]<br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120835 2026-04-21T19:24:11Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes. <br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120834 2026-04-21T19:22:13Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de [[traduction automatique]] dans le domaine du [[traitement automatique de la langue naturelle]]. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales ([[rappel]]) est plus importante que d'obtenir une formulation exacte ([[précision]]), ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120833 2026-04-21T19:20:51Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de [[traduction automatique]] dans le domaine du [[traitement automatique de la langue naturelle]]. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales est plus importante que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120832 2026-04-21T19:19:55Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de '''[[traduction automatique]]''' dans le domaine du '''[[traitement automatique de la langue naturelle]]'''. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales est plus importante que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120831 2026-04-21T19:17:35Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de '''[[traduction automatique]]''' dans le domaine du '''[[traitement automatique de la langue naturelle]]'''. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales (''''recall'' ou rappel'') et la précision (''''precision'''') sont plus importantes que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120830 2026-04-21T19:09:23Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de techniques de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk (2024) - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120829 2026-04-21T19:08:19Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk (2024) - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_en_tant_que_juge&diff=120828 2026-04-21T19:06:42Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page GML en tant que juge vers GML comme juge par-dessus une redirection</p> <hr /> <div>#REDIRECTION [[GML comme juge]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120827 2026-04-21T19:06:41Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page GML en tant que juge vers GML comme juge par-dessus une redirection</p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk 2024 - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120826 2026-04-21T19:06:23Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk 2024 - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=DAPO&diff=120825 2026-04-21T18:57:47Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page DAPO vers Algorithme d&#039;optimisation DAPO</p> <hr /> <div>#REDIRECTION [[Algorithme d'optimisation DAPO]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Algorithme_d%27optimisation_DAPO&diff=120824 2026-04-21T18:57:46Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page DAPO vers Algorithme d&#039;optimisation DAPO</p> <hr /> <div>== Définition ==<br /> '''[[Algorithme]]''' d''''[[apprentissage par renforcement]]''' qui utilise une approche découplée pour augmenter la limite supérieure de la plage de l'échantillonnage dynamique. <br /> <br /> Voir aussi '''[[optimisation de la politique proximale]]''', '''[[optimisation de la politique relative au groupe]]''', '''[[échantillonnage des p-meilleurs]]'''<br /> <br /> ==Complément==<br /> L’échantillonnage dynamique favorise les données apportant un meilleur apprentissage. <br /> <br /> L'un de ses avantages est qu'il n'affecte pas de manière significative la durée totale de l''''[[entraînement]]'''.<br /> <br /> == Français ==<br /> '''algorithme d'optimisation DAPO'''<br /> <br /> '''optimisation de la politique d’échantillonnage dynamique et seuillage découplé'''<br /> <br /> '''OPEDD'''<br /> <br /> == Anglais ==<br /> ''' DAPO'''<br /> <br /> ''' Decoupled Clip and Dynamic Sampling Policy Optimization'''<br /> <br /> &lt;!--A reinforcement learning algorithm that reinforces reasoning patterns and also gives rise to new modes of reasoning that facilitate correct problem-solving. One of its advantages is that it does not significantly affect the overall training time.--&gt;<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2503.14476 Source : arxiv]<br /> <br /> [https://dapo-sia.github.io/ Source : DAPO, GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/dapo.html Source : verl]<br /> <br /> [[Catégorie:publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Algorithme_d%27optimisation_DAPO&diff=120823 2026-04-21T18:57:33Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> '''[[Algorithme]]''' d''''[[apprentissage par renforcement]]''' qui utilise une approche découplée pour augmenter la limite supérieure de la plage de l'échantillonnage dynamique. <br /> <br /> Voir aussi '''[[optimisation de la politique proximale]]''', '''[[optimisation de la politique relative au groupe]]''', '''[[échantillonnage des p-meilleurs]]'''<br /> <br /> ==Complément==<br /> L’échantillonnage dynamique favorise les données apportant un meilleur apprentissage. <br /> <br /> L'un de ses avantages est qu'il n'affecte pas de manière significative la durée totale de l''''[[entraînement]]'''.<br /> <br /> == Français ==<br /> '''algorithme d'optimisation DAPO'''<br /> <br /> '''optimisation de la politique d’échantillonnage dynamique et seuillage découplé'''<br /> <br /> '''OPEDD'''<br /> <br /> == Anglais ==<br /> ''' DAPO'''<br /> <br /> ''' Decoupled Clip and Dynamic Sampling Policy Optimization'''<br /> <br /> &lt;!--A reinforcement learning algorithm that reinforces reasoning patterns and also gives rise to new modes of reasoning that facilitate correct problem-solving. One of its advantages is that it does not significantly affect the overall training time.--&gt;<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2503.14476 Source : arxiv]<br /> <br /> [https://dapo-sia.github.io/ Source : DAPO, GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/dapo.html Source : verl]<br /> <br /> [[Catégorie:publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Algorithme_d%27optimisation_DAPO&diff=120822 2026-04-21T18:55:55Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> '''[[Algorithme]]''' d''''[[apprentissage par renforcement]]''' qui utilise une approche découplée pour augmenter la limite supérieure de la plage de l'échantillonnage dynamique. <br /> <br /> Voir aussi '''[[optimisation de la politique proximale]]''', '''[[optimisation de la politique relative au groupe]]''', '''[[échantillonnage des p-meilleurs]]'''<br /> <br /> ==Complément==<br /> L’échantillonnage dynamique favorise les données apportant un meilleur apprentissage. <br /> <br /> L'un de ses avantages est qu'il n'affecte pas de manière significative la durée totale de l''''[[entraînement]]'''.<br /> <br /> == Français ==<br /> '''optimisation de la politique d’échantillonnage dynamique et seuillage découplé'''<br /> <br /> '''OPEDD'''<br /> <br /> '''algorithme d'optimisation DAPO'''<br /> <br /> == Anglais ==<br /> ''' DAPO'''<br /> <br /> ''' Decoupled Clip and Dynamic Sampling Policy Optimization'''<br /> <br /> &lt;!--A reinforcement learning algorithm that reinforces reasoning patterns and also gives rise to new modes of reasoning that facilitate correct problem-solving. One of its advantages is that it does not significantly affect the overall training time.--&gt;<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2503.14476 Source : arxiv]<br /> <br /> [https://dapo-sia.github.io/ Source : DAPO, GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/dapo.html Source : verl]<br /> <br /> [[Catégorie:publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_%C3%A9tudiant&diff=120820 2026-04-21T18:29:34Z

<p>Patrickdrouin : Page créée avec « == Définition == En apprentissage automatique, un modèle étudiant est petit réseau neuronal entraîné par un réseau plus vaste, nommé modèle enseignant, qui le guide à reproduire ses performances grâce à un processus appelé distillation de modèles. == Compléments == Attention à ne pas confondre avec un modèle étudiant pour la formation assistée par ordinateur destiné aux humains. == Français == &#039;&#039;&#039;modèle étudiant&#039;&#039;&#039; &#039;&#039;&#039;mod... »</p> <hr /> <div>== Définition ==<br /> En apprentissage automatique, un modèle étudiant est petit [[réseau neuronal]] entraîné par un réseau plus vaste, nommé [[modèle enseignant]], qui le guide à reproduire ses performances grâce à un processus appelé [[distillation de modèles]].<br /> <br /> == Compléments ==<br /> Attention à ne pas confondre avec un modèle étudiant pour la [[formation assistée par ordinateur]] destiné aux humains.<br /> <br /> == Français ==<br /> '''modèle étudiant'''<br /> <br /> '''modèle élève'''<br /> <br /> == Anglais ==<br /> '''student model'''<br /> <br /> ==Sources==<br /> [https://hal.science/hal-04446898/file/Strat%C3%A9gies_de_Compression_et_d_Optimisation_des_Mod%C3%A8les_d_Intelligence_Artificielle.pdf Moez Krichen (2024) - modèle étudiant]<br /> <br /> [https://yassinechabli.substack.com/p/les-modeles-distilles Yassine Chabli (2025) - modèle élève]<br /> <br /> [https://www.ibm.com/think/topics/knowledge-distillation IBM - student model]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_enseignant&diff=120819 2026-04-21T18:24:40Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> En apprentissage automatique, un modèle enseignant est un vaste [[réseau neuronal]] pré-entraîné qui guide un [[Modèle étudiant|modèle étudiant]] plus petit à reproduire ses performances grâce à un processus appelé [[distillation de modèles]].<br /> <br /> == Compléments ==<br /> Attention à ne pas confondre avec un modèle d'enseignement pour la [[formation assistée par ordinateur]] destiné aux humains.<br /> <br /> == Français ==<br /> '''modèle enseignant'''<br /> <br /> '''modèle d'apprentissage enseignant'''<br /> <br /> == Anglais ==<br /> '''teacher model'''<br /> <br /> '''teaching model'''<br /> <br /> ==Sources==<br /> [https://yassinechabli.substack.com/p/les-modeles-distilles Yassine Chabli (2025) - modèle enseignant]<br /> <br /> [https://hal.science/hal-04446898/file/Strat%C3%A9gies_de_Compression_et_d_Optimisation_des_Mod%C3%A8les_d_Intelligence_Artificielle.pdf Moez Krichen (2024) - modèle enseignant]<br /> <br /> [https://www.ibm.com/think/topics/knowledge-distillation IBM - teacher model]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=BLEU&diff=120328 2026-04-14T19:29:06Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> BLEU (bilingual evaluation understudy) est un algorithme d’évaluation de la qualité du texte qui a été traduit automatiquement d’une langue naturelle à une autre. <br /> <br /> BLEU a été l’une des premières métriques à revendiquer une corrélation élevée avec les jugements humains de qualité, et reste l’une des métriques automatisées les plus populaires et les moins coûteuses.<br /> <br /> == Français ==<br /> ''' BLEU''' &lt;small&gt; nom propre &lt;/small&gt;<br /> <br /> == Anglais ==<br /> ''' BLEU''' ''(bilingual evaluation understudy) ''<br /> ==Sources==<br /> <br /> [https://fr.wikipedia.org/wiki/BLEU_(algorithme) Source : Wikipedia ]<br /> <br /> [https://www.accenture.com/us-en/applied-intelligence-glossary Source : Accenture - applied intelligence glossary ]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:ENGLISH]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Mod%C3%A8le_enseignant&diff=120327 2026-04-14T19:22:29Z

<p>Patrickdrouin : Page créée avec « == Définition == En apprentissage automatique, un modèle enseignant est un vaste réseau neuronal pré-entraîné qui guide un modèle « élève » plus petit à reproduire ses performances grâce à un processus appelé distillation de modèles. == Compléments == Attention à ne pas confondre avec un modèle d&#039;enseignement pour la formation assistée par ordinateur destiné aux humains. == Français == &#039;&#039;&#039;modèle enseignant&#039;&#039;&#039; &#039;&#039;&#039;modèle d&#039;app... »</p> <hr /> <div>== Définition ==<br /> En apprentissage automatique, un modèle enseignant est un vaste [[réseau neuronal]] pré-entraîné qui guide un modèle « élève » plus petit à reproduire ses performances grâce à un processus appelé [[distillation de modèles]].<br /> <br /> == Compléments ==<br /> Attention à ne pas confondre avec un modèle d'enseignement pour la [[formation assistée par ordinateur]] destiné aux humains.<br /> <br /> == Français ==<br /> '''modèle enseignant'''<br /> <br /> '''modèle d'apprentissage enseignant'''<br /> <br /> == Anglais ==<br /> '''teacher model'''<br /> <br /> '''teaching model'''<br /> <br /> ==Sources==<br /> [https://yassinechabli.substack.com/p/les-modeles-distilles Yassine Chabli (2025) - modèle enseignant]<br /> <br /> [https://hal.science/hal-04446898/file/Strat%C3%A9gies_de_Compression_et_d_Optimisation_des_Mod%C3%A8les_d_Intelligence_Artificielle.pdf Moez Krichen (2024) - modèle enseignant]<br /> <br /> [https://www.ibm.com/think/topics/knowledge-distillation IBM - teacher model]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Peaufinage_par_auto-jeu&diff=120326 2026-04-14T19:05:04Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Algorithme de '''[[peaufinage]]''' pour les '''[[Grand modèle de langues (GML)|grands modèles de langues (GML)]]''' qui utilise un mécanisme qui lui permet de jouer contre lui-même (''self-play mechanism'') en utilisant les versions précédentes du modèle. <br /> <br /> Voir aussi [[Optimisation de la politique relative au groupe]] et [[Apprentissage par curriculum auto-évolutif]]<br /> <br /> == Complément ==<br /> Cette technique réduit la dépendance vis-à-vis des '''[[Jeu de données|jeux de données]]''' externes ou des [[Modèle enseignant|modèles enseignants]].<br /> <br /> == Français ==<br /> ''' peaufinage par auto-jeu'''<br /> <br /> == Anglais ==<br /> ''' self-play fine-tuning'''<br /> <br /> ''' self-play fine tuning'''<br /> <br /> ''' SPIN'''<br /> &lt;!--A language model finetuning algorithm for large language models that utilizes a self-play mechanism, allowing LLMs to improve themselves by playing against their previous iterations. This techinique reduces reliance on external preference datasets or stronger teacher models.--&gt;<br /> <br /> == Sources ==<br /> [https://theses.hal.science/tel-05430689v1/file/154915_XU_2025_archivage.pdf Zhuofan Xu (2025) - Auto-jeu]<br /> <br /> [https://arxiv.org/abs/2401.01335 Source : arxiv]<br /> <br /> [https://github.com/uclaml/SPIN Source : GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/spin.html Source: verl]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Peaufinage_par_auto-jeu&diff=120325 2026-04-14T19:03:37Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Algorithme de '''[[peaufinage]]''' pour les '''[[Grand modèle de langues (GML)|grands modèles de langues (GML)]]''' qui utilise un mécanisme qui lui permet de jouer contre lui-même (''self-play mechanism'') en utilisant les versions précédentes du modèle. <br /> <br /> Voir aussi [[Optimisation de la politique relative au groupe]] et [[Apprentissage par curriculum auto-évolutif]]<br /> <br /> == Complément ==<br /> Cette technique réduit la dépendance vis-à-vis des '''[[Jeu de données|jeux de données]]''' externes ou des [[Modèles enseignants|modèles enseignants]].<br /> <br /> == Français ==<br /> ''' peaufinage par auto-jeu'''<br /> <br /> == Anglais ==<br /> ''' self-play fine-tuning'''<br /> <br /> ''' self-play fine tuning'''<br /> <br /> ''' SPIN'''<br /> &lt;!--A language model finetuning algorithm for large language models that utilizes a self-play mechanism, allowing LLMs to improve themselves by playing against their previous iterations. This techinique reduces reliance on external preference datasets or stronger teacher models.--&gt;<br /> <br /> == Sources ==<br /> [https://theses.hal.science/tel-05430689v1/file/154915_XU_2025_archivage.pdf Zhuofan Xu (2025) - Auto-jeu]<br /> <br /> [https://arxiv.org/abs/2401.01335 Source : arxiv]<br /> <br /> [https://github.com/uclaml/SPIN Source : GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/spin.html Source: verl]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Peaufinage_par_auto-jeu&diff=120324 2026-04-14T19:03:09Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Algorithme de '''[[peaufinage]]''' pour les '''[[Grand modèle de langues (GML)|grands modèles de langues (GML)]]''' qui utilise un mécanisme qui lui permet de jouer contre lui-même (''self-play mechanism'') en utilisant les versions précédentes du modèle. <br /> <br /> Voir aussi [[Optimisation de la politique relative au groupe]] et [[Apprentissage par curriculum auto-évolutif]]<br /> <br /> == Complément ==<br /> Cette technique réduit la dépendance vis-à-vis des '''[[Jeu de données|jeux de données]]''' externes ou des [[Modèles enseignants|modèles enseignants]].<br /> <br /> == Français ==<br /> ''' peaufinage par auto-jeu'''<br /> <br /> == Anglais ==<br /> ''' self-play fine-tuning'''<br /> <br /> ''' self-play fine tuning'''<br /> <br /> ''' SPIN'''<br /> <br /> &lt;!--A language model finetuning algorithm for large language models that utilizes a self-play mechanism, allowing LLMs to improve themselves by playing against their previous iterations. This techinique reduces reliance on external preference datasets or stronger teacher models.--&gt;<br /> <br /> == Sources ==<br /> <br /> [https://theses.hal.science/tel-05430689v1/file/154915_XU_2025_archivage.pdf Zhuofan Xu (2025) - Auto-jeu]<br /> <br /> [https://arxiv.org/abs/2401.01335 Source : arxiv]<br /> <br /> [https://github.com/uclaml/SPIN Source : GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/spin.html Source: verl]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Self-play_fine-tuning&diff=120323 2026-04-14T19:02:27Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Self-play fine-tuning vers Peaufinage par auto-jeu</p> <hr /> <div>#REDIRECTION [[Peaufinage par auto-jeu]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Peaufinage_par_auto-jeu&diff=120322 2026-04-14T19:02:26Z

<p>Patrickdrouin : Patrickdrouin a déplacé la page Self-play fine-tuning vers Peaufinage par auto-jeu</p> <hr /> <div>== Définition ==<br /> Algorithme de '''[[peaufinage]]''' pour les '''[[Grand modèle de langues (GML)|grands modèles de langues (GML)]]''' qui utilise un mécanisme qui lui permet de jouer contre lui-même ''self-play mechanism'' en utilisant les versions précédentes du modèle. <br /> <br /> Voir aussi [[Optimisation de la politique relative au groupe]] et [[Apprentissage par curriculum auto-évolutif]]<br /> <br /> == Complément ==<br /> Cette technique réduit la dépendance vis-à-vis des '''[[Jeu de données|jeux de données]]''' externes ou des [[Modèles enseignants|modèles enseignants]].<br /> <br /> == Français ==<br /> ''' peaufinage par auto-jeu'''<br /> <br /> == Anglais ==<br /> ''' self-play fine-tuning'''<br /> <br /> ''' self-play fine tuning'''<br /> <br /> ''' SPIN'''<br /> <br /> &lt;!--A language model finetuning algorithm for large language models that utilizes a self-play mechanism, allowing LLMs to improve themselves by playing against their previous iterations. This techinique reduces reliance on external preference datasets or stronger teacher models.--&gt;<br /> <br /> == Sources ==<br /> <br /> [https://theses.hal.science/tel-05430689v1/file/154915_XU_2025_archivage.pdf Zhuofan Xu (2025) - Auto-jeu]<br /> <br /> [https://arxiv.org/abs/2401.01335 Source : arxiv]<br /> <br /> [https://github.com/uclaml/SPIN Source : GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/spin.html Source: verl]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin https://datafranca.org/wiki/index.php?title=Peaufinage_par_auto-jeu&diff=120321 2026-04-14T19:02:09Z

<p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Algorithme de '''[[peaufinage]]''' pour les '''[[Grand modèle de langues (GML)|grands modèles de langues (GML)]]''' qui utilise un mécanisme qui lui permet de jouer contre lui-même ''self-play mechanism'' en utilisant les versions précédentes du modèle. <br /> <br /> Voir aussi [[Optimisation de la politique relative au groupe]] et [[Apprentissage par curriculum auto-évolutif]]<br /> <br /> == Complément ==<br /> Cette technique réduit la dépendance vis-à-vis des '''[[Jeu de données|jeux de données]]''' externes ou des [[Modèles enseignants|modèles enseignants]].<br /> <br /> == Français ==<br /> ''' peaufinage par auto-jeu'''<br /> <br /> == Anglais ==<br /> ''' self-play fine-tuning'''<br /> <br /> ''' self-play fine tuning'''<br /> <br /> ''' SPIN'''<br /> <br /> &lt;!--A language model finetuning algorithm for large language models that utilizes a self-play mechanism, allowing LLMs to improve themselves by playing against their previous iterations. This techinique reduces reliance on external preference datasets or stronger teacher models.--&gt;<br /> <br /> == Sources ==<br /> <br /> [https://theses.hal.science/tel-05430689v1/file/154915_XU_2025_archivage.pdf Zhuofan Xu (2025) - Auto-jeu]<br /> <br /> [https://arxiv.org/abs/2401.01335 Source : arxiv]<br /> <br /> [https://github.com/uclaml/SPIN Source : GitHub]<br /> <br /> [https://verl.readthedocs.io/en/latest/algo/spin.html Source: verl]<br /> <br /> [[Catégorie:Publication]]</div>

Patrickdrouin