DataFranca - Contributions [fr]

Attention éclair

2026-09-29T19:23:26Z

Claude COULOMBE :

==Définition==

Ce concept regroupe différentes approches algorithmiques pour augmenter la performance en temps d'exécution et/ou en mémoire du [[mécanisme d'attention]] original.

Sur le plan technique, il existe différentes implémentations qui dépendent entre autres de l'organisation matérielle des processeurs graphiques, souvent pour un fabricant de puces en particulier.

== Compléments ==

Les [[Réseau autoattentif|couches d'auto-attention]] permettent de comprendre les relations contextuelles entre les données d'entrée. Cependant, la consommation maximale de mémoire des [[processeur graphique|processeurs graphiques]] pour les [[Réseau autoattentif|couches d'auto-attention]] augmente de manière quadratique avec la longueur de la séquence d’entrée. Ainsi, l'[[Réseau autoattentif|algorithme d'auto-attention classique]] devient rapidement prohibitif en termes de mémoire pour les longs contextes d'entrée.

Afin de résoudre ce problème, Tri Dao et al. ont inventé en 2022 l'algorithme d'attention éclair (FlashAttention) dont le coût en mémoire n'augmente que linéairement avec la longueur de la séquence d'entrée. Évidemment, l’algorithme d’attention éclair est un peu plus lent. En contrepartie, l'attention-éclair est plus rapide en inférence que l'attention classique car elle réduit considérablement les accès mémoires plus lents du processeur graphique en se concentrant plutôt sur la mémoire vive statique (SRAM) qui est plus rapide.

Le mécanisme d'attention éclair proposé par Qin & al. en 2023, appelé '''lightning attention''', fait appel à une approximation qui s'exécute en temps linéaire alors que le mécanisme d'attention original s'exécute en temps quadratique. Cette amélioration est basée sur la [[normalisation du gradient]] pour lutter contre l'[[explosion du gradient]] et l'utilisation privilégiée de la diagonale de la matrice d'attention c.-à-d. les [[jeton génératif|jetons génératifs]] voisins pour lutter contre l'[[évanescence du gradient]].

==Français==
'''attention éclair'''

'''attention flash''' ''Calque de l'anglais''

==Anglais==
'''FlashAttention''' '' Proposition originale de Tri Dao et al. (2022)''

'''flash attention'''

'''lightning attention'''

==Sources==

[https://arxiv.org/pdf/2407.08608v2 - arxiv - Jay Shah & al. 2024 - FlashAttention-3]

[https://arxiv.org/pdf/2307.14995v1 - arxiv - Qin & al. 2023 - Lightning Attention]

[https://arxiv.org/abs/2205.14135 - arxiv - Tri Dao et al. (2022) - FlashAttention]

[https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad Source: Medium]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

COMET

2026-09-29T19:22:12Z

Claude COULOMBE :

== Définition ==
Métrique d'évaluation neuronale de '''[[traduction automatique]]''' qui calcule la similarité entre une traduction automatique et une traduction de référence à l'aide de '''[[jeton génératif|jetons génératifs]]''' et un entraînement sur des données humaines comme '''[[BLEURT]]'''. Elle intègre aussi le texte source dans son analyse ce qui lui permet d'évaluer la fidélité du sens original.

== Compléments ==
Contrairement à '''[[BERTScore]]''', COMET est entraîné à prédire différents types de jugements humains sous forme d'effort de post-édition, d'évaluation directe ou d'analyse des erreurs de traduction.

== Français ==
'''COMET'''

== Anglais ==
'''COMET'''

'''Crosslingual Optimized Metric for Evaluation of Translation'''

''A metric for automatic evaluation of machine translation that calculates the similarity between a machine translation output and a reference translation using token or sentence embeddings. It also uses the original text, enabling a semantic fidelity analysis of the translation.''

''Unlike BERTScore, COMET is trained on predicting different types of human judgements in the form of post-editing effort, direct assessment or translation error analysis.''

== Sources ==
[https://aclanthology.org/2020.emnlp-main.213/ Source : ACL Anthology]

[https://unbabel.github.io/COMET/html/models.html Source : COMET]

[https://machinetranslate.org/comet Source : Machine Translate]
[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Modèle fermé

2026-09-29T19:21:06Z

Claude COULOMBE :

== Définition ==
Paradigme dans lequel non seulement le code, mais les '''[[Paramètre|paramètres]]''' dont les [[poids]], le '''[[corpus]]''' d’entraînement et les détails architecturaux d'un '''[[Modèle d'intelligence artificielle|modèle d'IA]]''' tels que les stratégies d’optimisation et les configurations des '''[[Hyperparamètre|hyperparamètres]]''' sont secrets ou partiellement divulgués.

À défaut d’être transparents et personnalisables par l’utilisateur, les modèles de ce paradigme possèdent potentiellement une sécurité plus grande, une performance et une stabilité plus élevée.

Voir aussi '''[[Licence_en_paramètres_ouverts|modèle en paramètres ouverts]]''' et '''[[open-source model]]'''

== Compléments ==
*L'interaction avec ces modèles s'effectue par l'intermédiaire d'une '''[[Interface de programmation applicative|API]]''' ou d'environnements de déploiement contrôlés.
*Son coût repose soit sur un modèle d'abonnement, soit sur un modèle de paiement pour chaque '''[[jeton génératif]]'''.

== Français ==
'''modèle fermé'''

'''modèle propriétaire'''

'''modèle à code-source fermé'''

== Anglais ==
'''closed-source model'''

'''closed model'''

'''proprietary model'''

== Sources ==
[https://www.lapresse.ca/affaires/techno/2026-09-03/intelligence-artificielle/nvidia-va-racheter-hugging-face-pour-12-9-milliards-de-dollars.php Source : La Presse]

[https://www.lapresse.ca/affaires/techno/2024-07-25/meta-evangeliste-inattendu-de-l-ia-en-code-ouvert.php Source : La Presse]

[https://arxiv.org/abs/2412.12004v3 Source : Arxiv]

[https://mediacenter.ibm.com/media/Open+Source+vs+Closed+AI%3A+LLMs%2C+Agents++the+AI+Stack+Explained/1_93qkt80c Source : IBM]

[https://medium.com/@akankshasinha247/the-open-vs-closed-ai-frontier-navigating-transparency-power-and-the-future-of-innovation-4b96c68feb06 Source : Medium]

[[Catégorie:vocabulary]]
[[Catégorie:Publication]]

Modèle fermé

2026-09-29T19:20:19Z

Claude COULOMBE :

== Définition ==
Paradigme dans lequel non seulement le code, mais les '''[[Paramètre|paramètres]]''' dont les [[poids]], le '''[[corpus]]''' d’entraînement et les détails architecturaux d'un '''[[Modèle d'intelligence artificielle|modèle d'IA]]''' tels que les stratégies d’optimisation et les configurations des '''[[Hyperparamètre|hyperparamètres]]''' sont secrets ou partiellement divulgués.

À défaut d’être transparents et personnalisables par l’utilisateur, les modèles de ce paradigme possèdent potentiellement une sécurité plus grande, une performance et une stabilité plus élevée.

Voir aussi '''[[Licence_en_paramètres_ouverts|modèle en paramètres ouverts]]''' et '''[[open-source model]]'''

== Compléments ==
*L'interaction avec ces modèles s'effectue par l'intermédiaire d'une '''[[Interface de programmation applicative|API]]''' ou d'environnements de déploiement contrôlés.
*Son coût repose soit sur un modèle d'abonnement, soit sur un modèle de paiement au '''[[jeton génératif]]'''.

== Français ==
'''modèle fermé'''

'''modèle propriétaire'''

'''modèle à code-source fermé'''

== Anglais ==
'''closed-source model'''

'''closed model'''

'''proprietary model'''

== Sources ==
[https://www.lapresse.ca/affaires/techno/2026-09-03/intelligence-artificielle/nvidia-va-racheter-hugging-face-pour-12-9-milliards-de-dollars.php Source : La Presse]

[https://www.lapresse.ca/affaires/techno/2024-07-25/meta-evangeliste-inattendu-de-l-ia-en-code-ouvert.php Source : La Presse]

[https://arxiv.org/abs/2412.12004v3 Source : Arxiv]

[https://mediacenter.ibm.com/media/Open+Source+vs+Closed+AI%3A+LLMs%2C+Agents++the+AI+Stack+Explained/1_93qkt80c Source : IBM]

[https://medium.com/@akankshasinha247/the-open-vs-closed-ai-frontier-navigating-transparency-power-and-the-future-of-innovation-4b96c68feb06 Source : Medium]

[[Catégorie:vocabulary]]

MiMo

2026-09-29T19:19:43Z

Claude COULOMBE :

== Définition ==
'''[[Grand modèle de langues]]''' pour les tâches de résolution de problèmes qui peut être optimisé à la fois lors des étapes de '''[[préentraînement]]''' et de post-entraînement. Mimo-7B-Base est pré-entraîné sur 25 trillions de '''[[jeton génératif|jetons génératifs]]''' et intègre la prédiction de plusieurs jetons en tant qu'objectif d'entraînement supplémentaire, ce qui améliore les performances du modèle et accélère l''''[[inférence]]'''.

Voir aussi '''[[OpenAI]]'''

== Français ==
''' MiMo-7B'''

== Anglais ==
'''MiMo-7B'''


== Sources ==
[https://arxiv.org/html/2505.07608v1 Source : arxiv]

[[Catégorie:Intelligence artificielle‏‎]]
[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]
[[Catégorie:Publication]]

Échantillonnage à troncature k fixe

2026-09-29T19:17:20Z

Claude COULOMBE :

== Définition ==

Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante,

Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.

== Compléments ==
Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un [[jeton génératif|jeton]] parmi un nombre fixe ''k'' de '''[[jeton génératif|jetons génératifs]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré.

Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.

Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.
<hr>
Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.
<hr>
Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.

== Français ==
'''Échantillonnage à troncature k fixe'''

'''Échantillonnage parmi les k meilleurs'''

'''Échantillonnage Top-k'''

== Anglais ==
''' Top-k sampling'''

''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''

''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''

== Sources ==
[https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]

[https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Segmentation

2026-09-29T19:14:25Z

Claude COULOMBE :

==Définition==
En '''[[traitement automatique de la langue naturelle]]''', la segmentation est le découpage d’un texte en une liste de mots, une liste de parties de mots ou de symboles, une liste de [[jeton génératif|jetons génératifs]] ou encore une liste de caractères. Typiquement, il s'agit de la première étape de l’'''[[analyse lexicale]]'''.

Pour la segmentation d'image, voir l'entrée '''[[segmentation d'image]]'''.

==Compléments==
On appelle parfois les unités résultant de la segmentation des '''jetons''' (en anglais, ''tokens''), mais le terme '''jeton''' est plutôt réservé à la cybersécurité. C'est pourquoi on utilisera les termes jeton textuel ou [[jeton génératif]] pour l'emploi dans les [[grand modèle de langues|grands modèles de langues]].

On emploiera les vocables '''mot''', '''partie de mots''', '''morceau de mot''', ou '''symbole''' pour la segmentation de texte.
<hr/>
Attention! On utilise également le terme segmentation pour la division d'un texte en phrases, mais on le précisera avec l'expression « segmentation en phrases ».
<hr/>
La pratique récente, avec la généralisation de l'emploi de [[grand modèle de langues|grands modèles de langues]], favorise la segmentation en [[jeton génératif|jetons génératifs]].
==Français==

'''segmentation'''

'''découpage'''

'''tokénisation''' calque de l'anglais


==Anglais==
'''tokenization'''

In automatic natural language processing, the tokenizer segments a text into a list of words, a list of segments or parts of words or symbols, or a sequence of characters. Typically, this is the first step in lexical analysis. See also: token


==Español==
[[Catégorie:es]]

''''' tokenización '''''

''En el procesamiento automático del lenguaje natural, el segmentador lleva a cabo la segmentación de un texto en una lista de palabras, una lista de segmentos o partes de palabras o símbolos, o bien en una secuencia de caracteres. Típicamente, esta constituye la primera etapa del análisis léxico. ''

''Para la segmentación de imágenes, consulte la entrada segmentación de imágenes. ''

==Sources==

[https://fr.wikipedia.org/wiki/Glossaire_de_l%27exploration_de_donn%C3%A9es Source: Wikipédia - ''Glossaire de l'exploration des données'']

[https://fr.wikipedia.org/wiki/Analyse_lexicale Source: Wikipédia, ''Analyse lexicale''].

[https://towardsdatascience.com/the-art-of-tokenization-breaking-down-text-for-ai-43c7bccaed25 Source : towardsdatascience ]

{{Modèle:101}}
[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:101]]
[[Catégorie:Publication]]

Harnais d'évaluation

2026-09-29T19:06:16Z

Claude COULOMBE :

==Définition==

Système logiciel spécialisé qui exécute automatiquement une série de tâches normalisées ou de tests structurés sur un [[Modèle d'intelligence artificielle|modèle]] ou un [[agent d'IA]], gère son environnement d'exécution et évalue les résultats. Le harnais garantit la reproductibilité de l'environnement d'exécution et l'objectivité des résultats.

== Compléments ==

Le harnais soumet d'une manière automatique des [[Requête générative|requêtes génératives]] ou des tâches de codage à un [[Modèle d'intelligence artificielle|modèle]] ou un [[agent d'IA]]. Il interface aussi l'environnement logiciel, configure des bacs à sable sécurisés pour éviter toute action destructrice ou imprévue, alloue des outils (tels que des fureteurs web, une calculatrice, un calendrier, des logiciels spécialisés, l'accès aux bases de données ou à un système de fichiers, etc.). Le harnais observe et enregistre l'intégralité des requêtes, des appels de fonctions, des actions, des usages d'outils et des réponses générées au cours des tests. Il prend note des erreurs, du temps de calcul, de la consommation de [[Jeton génératif|jetons génératifs]]. Enfin, il attribue des scores et évalue avec des tests unitaires ou un modèle agissant comme juge pour déterminer si la tâche a été accomplie avec succès.

Un exemple de tests normalisés est le SWE-bench qui sert à évaluer la capacité des systèmes d'IA dans des tâches complexes de génie logiciel.
<hr/>
Ce terme est également utilisé en génie logiciel.

==Français==

'''harnais d'évaluation'''

'''harnais de test'''

'''harnais de banc d'essai'''

'''harnais d'agent d'IA'''

'''harnais de modèle d'IA'''

'''harnais

==Anglais==

'''evaluation harness'''

'''eval harness'''

'''benchmark harness'''

'''test harness'''

'''AI agent harness'''

'''AI model harness'''

'''harness-bench'''

'''harness'''

==Sources==
[https://www.matchpoint-partners.com/fr/practices/ai-evaluation-reliability-citations.html Matchpoint partners - harnais d'évaluation]

[https://learn.microsoft.com/fr-fr/agent-framework/concepts/harness - Microsoft - harnais d’agent]

[https://github.com/eleutherai/lm-evaluation-harness GitHub EleutherAI - Evaluation Harness]

[https://arxiv.org/html/2605.27922v1 arXiv - Harness-Bench]

[[Categorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Projection multijetons

2026-09-29T19:05:13Z

Claude COULOMBE :

== en construction ==

== Définition ==
Technique qui permet au modèle de prédire plusieurs '''[[Jeton génératif|jetons génératifs]]''' en un seul passage. Elle permet aussi de planifier et de générer stratégiquement des représentations qui facilitent une prédiction plus précise et potentiellement plus rapide des futurs jetons génératifs. Elle est utilisée dans les modèles '''[[DeepSeek]]''' et fonctionne en ajoutant des modules spécialisés qui prédisent non seulement le jeton génératif de base, mais aussi plusieurs jetons génératifs à venir dans la séquence.

== Compléments ==
Cette technique est utilisée entre autres par '''[[ChatGPT]]'''-4, '''[[Claude]]''' 3, '''[[LLaMA]]''' 3, '''[[BERT]]'''.
<hr/>
Les applications de la projection multijetons sont nombreuses. On la retrouve dans les '''[[Robot conversationnel|robots conversationnels]]''', les '''[[Assistant virtuel|assistants virtuels]]''' ainsi qu'en '''[[traduction automatique neuronale]]'''.
<hr/>
Cette technique se repose aussi sur de nombreuses avancées clés, telles que les '''[[Réseau autoattentif|réseaux autoattentifs]]''', les '''[[Modèle autorégressif|modèles autorégressifs]]''', les '''modèles bidirectionnels''', l''''[[affinage]]''' et l''''[[apprentissage par renforcement avec rétroaction humaine]]'''.

== Français ==
'''projection multijetons'''

'''projection multi-jetons'''

== Anglais ==
''' Multi-Token Projection'''

''' Multiple-Token Projection'''

''' MTP'''


== Sources ==
[https://arxiv.org/html/2505.07608v1 Source : arxiv]

[https://datascientest.com/multi-token-prediction-tout-savoir Source : DataScientest]

[https://deepwiki.com/deepseek-ai/DeepSeek-V3/3.4-multi-token-prediction-(mtp) Source : DeepWiki]

[https://medium.com/data-science-collective/deepseek-explained-4-multi-token-prediction-33f11fe2b868 Source : Medium]

[[Catégorie:vocabulary]]
[[Catégorie:Publication]]

Attention clairsemée

2026-09-29T19:02:34Z

Claude COULOMBE :

== Définition ==
Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

== Compléments ==
Au lieu de comparer tous les [[jeton génératif|jetons génératifs]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, des heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.

Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.

== Français ==
'''attention clairsemée'''

'''attention parcimonieuse'''

'''attention creuse'''

'''attention clairsemée native'''

== Anglais ==
'''sparse attention'''

'''native sparse attention'''

Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

==Sources==
[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]

[https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]

[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Échantillonnage à troncature de masse p

2026-09-29T19:00:54Z

Claude COULOMBE :

== Définition ==
Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments les plus probables dont la somme des probabilités atteint un seuil ''p'' défini (la ''masse de probabilité'') également appelée ''noyau''.

Les probabilités de ces éléments sont alors normalisées pour que leur somme soit égale à 1 avant le tirage aléatoire.

Voir aussi '''[[échantillonnage à troncature k fixe]]'''

== Compléments ==
Cette stratégie d'échantillonnage est utilisée par les [[grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un [[jeton génératif]] parmi un ensemble de jetons génératifs.

Alors que l'[[échantillonnage à troncature k fixe]] limite l'échantillon à un nombre ''k'' fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée ''p'' entre 0 et 1 et on échantillonne parmi un nombre variable de [[jeton génératif|jetons génératifs]] dont la somme des probabilités atteint ou dépasse p.

En pratique, l'échantillonnage à troncature de masse p est préféré à l'[[échantillonnage à troncature k fixe]] car il est plus adaptatif.

Notez qu'il est généralement recommandé de spécifier soit la '''[[température]]''', soit le paramètre ''p'', mais pas les deux.

== Français ==
'''Échantillonnage à troncature de masse p'''

'''Échantillonnage du noyau'''

'''Échantillonnage nucléaire'''

'''Échantillonnage par troncature dynamique'''

'''Échantillonnage par seuil de probabilité cumulée'''

'''Échantillonnage top-p'''

== Anglais ==
'''Top-p sampling'''

'''Nucleus sampling'''

''Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation. ''

''In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.''

== Sources ==
[https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Medium - Top-k sampling, Top-p sampling]

[https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]

[https://en.wikipedia.org/wiki/Top-p_sampling Wikipedia - Top-p sampling]

[[Catégorie:Intelligence artificielle]]
[[Catégorie:Publication]]
{{DEFAULTSORT: echantillonnage des p}}

Puits d'attention

2026-09-29T18:58:32Z

Claude COULOMBE :

== Définition ==
Phénomène d'effondrement ou perte [[mécanisme d'attention|d'attention]] présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''', dans lesquels les premiers [[jeton génératif|jetons génératifs]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique.

== Compléments ==
Ce terme peut désigner le phénomène ou le type de '''[[jeton génératif]]''' concerné par le phénomène.

Le phénomène apparaît à la suite d'une optimisation efficace sur une grande quantité de '''[[données d'entraînement]]'''.

La raison pour laquelle les [[jeton génératif|jetons génératifs]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton génératif|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».

== Français ==
'''puits d'attention'''

== Anglais ==
''' attention sink'''

''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''

''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''

''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''

== Sources ==
[https://arxiv.org/abs/2309.17453 Source : arxiv]

[https://arxiv.org/abs/2410.10781 Source : arxiv]

[https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Encodage positionnel

2026-09-29T18:56:18Z

Claude COULOMBE :

== Définition ==
Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à préserver l’ordre séquentiel des '''[[jeton génératif|jetons génératifs]]''' (tokens) en ajoutant des informations sur la position de chaque '''[[jeton génératif|jeton]]''' dans la séquence, ce qui leur permet d’avoir une meilleure compréhension '''[[Fenêtre contextuelle|contextuelle]]''' et d’éviter les problèmes de symétrie.

== Français ==
''' encodage positionnel '''

== Anglais ==
'''positional encoding'''

''' PE'''


== Sources ==
[https://www.kdnuggets.com/generative-ai-key-terms-explained Source : kdnuggets]

[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&i=1&srchtxt=POSITIONAL+ENCODING&index=alt&codom2nd_wet=1#resultrecs Source : TERMIUM Plus]
[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Surconsommation de jetons

2026-09-29T18:52:51Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Surconsommation de jetons textuels vers Surconsommation de jetons

==Définition==
Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].

== Compléments ==
La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément.

==Français==

'''surconsommation de jetons'''

'''surconsommation de jetons génératifs'''

'''jetonbésité'''

'''jeton manie'''

'''maximisation de jetons'''

'''maximisation de jetons génératifs'''

==Anglais==
'''tokenmaxxing'''

'''token maxxing'''

'''token maxing'''

==Sources==
[https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]

[https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]

[https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]

[https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]

[[Categorie:Publication]]

Surconsommation de jetons

2026-09-29T18:52:34Z

Claude COULOMBE :

Text Infilling

2026-09-29T18:51:44Z

Claude COULOMBE : Destination de redirection modifiée de Insertion de jeton textuel en Insertion de jeton

#REDIRECTION [[Insertion de jeton]]

Segment textuel

2026-09-29T18:50:12Z

Claude COULOMBE : Destination de redirection modifiée de Jeton textuel / jeton génératif en Jeton génératif

#REDIRECTION [[Jeton génératif]]

Masquage de jeton

2026-09-29T18:48:55Z

Claude COULOMBE :

== Définition ==
Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où des '''[[jeton génératif|jetons génératifs]]''' sont masqués de manière aléatoire par un symbole ou masque, afin de prédire le [[jeton génératif]] masqué en fonction de son contexte.

Voir aussi '''[[segmentation]]''' et '''[[insertion de jeton]]'''

== Compléments ==
Le masquage de jetons génératifs est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de jeton]]''' (en anglais, ''text infilling'') et la '''[[suppression de jeton]]''' (en anglais, ''token deletion'').
<hr/>
En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de [[jeton génératif]] et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

== Français ==

'''masquage de jeton(s) génératif(s)'''

'''masquage de jeton(s)'''

== Anglais ==
'''token masking'''

'''text corruption'''

== Sources ==
[https://arxiv.org/html/2309.08628v3 Arxiv - token masking]

[https://towardsai.net/p/l/token-masking-strategies-for-llms TowardsAI - token masking]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]
[[Catégorie:Publication]]

Insertion de jeton

2026-09-29T18:48:25Z

Claude COULOMBE :

== Définition ==
Technique utilisée dans le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' qui est similaire au '''[[masquage de jeton]]''' où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul '''[[jeton génératif]]'''.

== Français ==
''' insertion de jeton génératif'''

''' insertion de jeton'''

== Anglais ==
''' text infilling'''

== Sources ==
[https://arxiv.org/abs/2405.12630 Source : arxiv]

[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]

[[Catégorie:Publication]]

Masquage de jeton

2026-09-29T18:46:08Z

Claude COULOMBE :

== Définition ==
Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[jeton génératif|jetons génératifs]]''' sont masqués de manière aléatoire par un symbole ou masque, afin de prédire le [[jeton génératif]] masqué en fonction de son contexte.

Voir aussi '''[[segmentation]]''' et '''[[insertion de jeton]]'''

== Compléments ==
Le masquage de jetons génératifs est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de jeton]]''' (en anglais, ''text infilling'') et la '''[[suppression de jeton]]''' (en anglais, ''token deletion'').
<hr/>
En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de [[jeton génératif]] et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

== Français ==

'''masquage de jeton(s) génératif(s)'''

'''masquage de jeton(s)'''

== Anglais ==
'''token masking'''

'''text corruption'''

== Sources ==
[https://arxiv.org/html/2309.08628v3 Arxiv - token masking]

[https://towardsai.net/p/l/token-masking-strategies-for-llms TowardsAI - token masking]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]
[[Catégorie:Publication]]

Suppression de jeton

2026-09-29T18:44:54Z

Claude COULOMBE :

== Définition ==
Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où des '''[[jeton génératif|jetons génératifs]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.

== Français ==
''' suppression de jeton génératif'''

''' suppression de jeton'''

''' destruction de jeton génératif'''

''' destruction de jeton'''

== Anglais ==
''' token deletion'''


== Sources ==
[https://arxiv.org/abs/2405.12630 Source : arxiv]

[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]
[[Catégorie:Publication]]

Masquage de jeton

2026-09-29T18:42:42Z

Claude COULOMBE :

== Définition ==
Technique d''''[[apprentissage auto-supervisé]]''' pour le '''[[préentraînement]]''' d’un '''[[grand modèle de langues]]''' où les '''[[jeton génératif|jetons génératifs]]''' ou jetons textuels sont masqués de manière aléatoire par un symbole ou [masque], afin de prédire le [[jeton génératif]] masqué en fonction de son contexte.

Voir aussi '''[[segmentation]]''' et '''[[insertion de jeton]]'''

== Compléments ==
Le masquage de jetons génératifs est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, ''text corruption'') pour l''''[[apprentissage auto-supervisé]]''' qui comprend la '''[[permutation de phrases]]''' (en anglais, ''sentence permutation''), la '''[[rotation de phrases]]''' (en anglais, ''document rotation''), l''''[[insertion de jeton]]''' (en anglais, ''text infilling'') et la '''[[suppression de jeton]]''' (en anglais, ''token deletion'').
<hr/>
En 2018, '''[[BERT]]''' de Google fut le premier '''[[modèle d'apprentissage]]''' à utiliser le masquage de [[jeton génératif]] et l''''[[entraînement autosupervisé]]''' pour préentraîner un '''[[modèle de langue]]'''.

== Français ==

'''masquage de jeton(s) génératif(s)'''

'''masquage de jeton(s)'''

== Anglais ==
'''token masking'''

'''text corruption'''

== Sources ==
[https://arxiv.org/html/2309.08628v3 Arxiv - token masking]

[https://towardsai.net/p/l/token-masking-strategies-for-llms TowardsAI - token masking]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]
[[Catégorie:Publication]]

Masquage de jeton génératif

2026-09-29T18:39:45Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Masquage de jeton textuel vers Masquage de jeton génératif

#REDIRECTION [[Masquage de jeton]]

Insertion de jeton

2026-09-29T18:39:10Z

Claude COULOMBE :

== Définition ==
Technique utilisée dans le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' qui est similaire au '''[[masquage de segment textuel]]''' où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul '''[[jeton génératif]]''' ou jeton textuel.

== Français ==

''' insertion de jeton génératif'''

''' insertion de jeton'''

== Anglais ==
''' text infilling'''

== Sources ==
[https://arxiv.org/abs/2405.12630 Source : arxiv]

[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]

[[Catégorie:Publication]]

Insertion de jeton

2026-09-29T18:38:54Z

Claude COULOMBE :

Jeton

2026-09-29T18:37:38Z

Claude COULOMBE : Destination de redirection modifiée de Jeton textuel / jeton génératif en Jeton génératif

#REDIRECTION [[Jeton génératif]]

[[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]

Jeton génératif

2026-09-29T18:36:10Z

Claude COULOMBE :

==Définition==
En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').

En [[IA générative]], le jeton génératif (token) est l'unité de base pour mesure le travail d'un [[robot conversationnel génératif]].

==Compléments==
Un jeton génératif peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.

Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.

<hr/>
Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication.

<hr/>
Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.

==Français==
'''jeton génératif'''

'''jeton textuel'''

'''jeton'''

'''segment textuel'''

'''segment de texte'''

'''symbole'''

'''unité sous-lexicale'''

'''unité lexicale'''

'''partie de mot'''

==Anglais==
'''token'''

==Sources==

[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']

[https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]

[https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']

[https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]

[https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]

[https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Jeton génératif

2026-09-29T18:35:49Z

Claude COULOMBE :

Jeton textuel

2026-09-29T18:34:07Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Jeton textuel vers Jeton génératif

#REDIRECTION [[Jeton génératif]]

Jeton génératif

2026-09-29T18:34:06Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Jeton textuel vers Jeton génératif

==Définition==
En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').

En [[IA générative]], le jeton génératif (token) est l'unité de base pour mesure le travail d'un [[robot conversationnel génératif]].

==Compléments==
Un jeton textuel ou jeton génératif peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.

Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux.

<hr/>
Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication.

<hr/>
Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.

==Français==
'''jeton textuel'''

'''jeton génératif'''

'''jeton'''

'''segment textuel'''

'''segment de texte'''

'''symbole'''

'''unité sous-lexicale'''

'''unité lexicale'''

'''partie de mot'''

==Anglais==
'''token'''

==Sources==

[https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&i=1&srchtxt=tokenizer&index=alt&codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']

[https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]

[https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']

[https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]

[https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]

[https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Token

2026-09-29T18:33:23Z

Claude COULOMBE : Destination de redirection modifiée de Jeton textuel / jeton génératif en Jeton génératif

#REDIRECTION [[jeton génératif]]

Fabrique de jetons

2026-09-29T18:32:51Z

Claude COULOMBE :

==Définition==
Proposé par NVIDIA fabricant de puces d'IA en 2026, le concept d'usine à jetons désigne un centre de données spécialisé qui produit exclusivement des [[jeton génératif|jetons génératifs]] qui représentent l'unité de base d'information traitée par les [[grand modèle de langues|grands modèles de langues]].

== Compléments ==
La métaphore est que, tout comme une usine traditionnelle transforme des matières premières en biens de consommation, l'usine à jetons consomme de l'énergie électrique et des données pour fabriquer en continu des flux de jetons génératifs destinés à être consommés par des systèmes intelligents.

==Français==

'''usine à jetons'''

'''fabrique de jetons'''

==Anglais==

'''token factory'''

==Sources==

[https://www.ourchinastory.com/en/17050/What-is-a- Our China Srtory - token factory]

[[Categorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Fabrique de jetons

2026-09-29T18:32:14Z

Claude COULOMBE : Page créée avec « ==Définition== Proposé par NVIDIA fabricant de puces d'IA en 2026, le concept d'usine à jetons désigne un centre de données spécialisé qui produit exclusivement des jetons génératifs qui représentent l'unité de base d'information traitée par les grands modèles de langues. == Compléments == La métaphore est que, tout comme une usine traditionnelle transforme des matières premières en biens de consommation, l'usin... »

==Définition==
Proposé par NVIDIA fabricant de puces d'IA en 2026, le concept d'usine à jetons désigne un centre de données spécialisé qui produit exclusivement des [[jetons génératifs]] qui représentent l'unité de base d'information traitée par les [[grand modèle de langues|grands modèles de langues]].

== Compléments ==
La métaphore est que, tout comme une usine traditionnelle transforme des matières premières en biens de consommation, l'usine à jetons consomme de l'énergie électrique et des données pour fabriquer en continu des flux de jetons génératifs destinés à être consommés par des systèmes intelligents.

==Français==

'''usine à jetons'''

'''fabrique de jetons'''

==Anglais==

'''token factory'''

==Sources==

[https://www.ourchinastory.com/en/17050/What-is-a- Our China Srtory - token factory]

[[Categorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Recursive self-improvment

2026-09-25T22:35:17Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Recursive self-improvment vers Autoamélioration récursive

#REDIRECTION [[Autoamélioration récursive]]

Autoamélioration récursive

2026-09-25T22:35:17Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Recursive self-improvment vers Autoamélioration récursive

==Définition==
Capacité d’un système d'IA à se perfectionner par lui-même dans une suite d'améliorations. Comme chaque amélioration s'applique à la version déjà améliorée précédemment, on peut donc parler d'un processus récursif. Cela signifie que le système d'IA est en mesure de modifier par lui-même son fonctionnement, son code et potentiellement ses données et d'ainsi bonifier ses performances.

== Compléments ==
Certains évoquent une évolution explosive d'autoaméliorations ou '''explosion d'intelligence''' à l'origine du concept [[Singularité technologique|singularité]].

==Français==
'''autoamélioration récursive'''

'''explosion d'intelligence'''

==Anglais==
'''recursive self-improvment'''

'''RSI'''

==Sources==

[https://intelligence-artificielle.developpez.com/actu/387463/-Il-est-trop-tard-pour-enrayer-la-menace-de-l-IA-des-experts-craignent-que-l-IA-ne-conduise-a-l-extinction-de-l-humanite-en-raison-de-sa-capacite-a-s-autoameliorer-ce-qui-la-rend-desormais-incontrolable Développez.com - autoamélioration récursive]

[https://www.seneplus.com/article/la-course-la-superintelligence-menace-de-mettre-lhumanite-en-cage SenePlus - autoamélioration récursive]

[https://fr.wikipedia.org/wiki/Explosion_d%27intelligence Wikipédia - explosion d'intelligence]

[https://en.wikipedia.org/wiki/Recursive_self-improvement Wikipedia - recursive self-improvement]

[https://www.anthropic.com/institute/recursive-self-improvement Anthropic - recursive self-improvement]

[[Categorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Autoamélioration récursive

2026-09-24T09:05:30Z

Claude COULOMBE : Page créée avec « ==Définition== Capacité d’un système d'IA à se perfectionner par lui-même dans une suite d'améliorations. Comme chaque amélioration s'applique à la version déjà améliorée précédemment, on peut donc parler d'un processus récursif. Cela signifie que le système d'IA est en mesure de modifier par lui-même son fonctionnement, son code et potentiellement ses données et d'ainsi bonifier ses performances. == Compléments == Certains évoquent une é... »

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:38:36Z

Claude COULOMBE :

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal]] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''RABS'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.goenhance.ai/fr/image-models/z-image GoEnhance - transformeur de diffusion ]

[https://thesis.dial.uclouvain.be/server/api/core/bitstreams/e61d0e6a-a9b1-479a-a9da-5b19bc8c8e43/content Université de Louvain - réseau autoattentif]

[https://arxiv.org/pdf/2212.09748 arXiv - Scalable Diffusion Models with Transformers
- Diffusion Transformer]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:38:04Z

Claude COULOMBE :

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal]] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''RABS'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

'''c''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.goenhance.ai/fr/image-models/z-image GoEnhance - transformeur de diffusion ]

[https://thesis.dial.uclouvain.be/server/api/core/bitstreams/e61d0e6a-a9b1-479a-a9da-5b19bc8c8e43/content Université de Louvain - réseau autoattentif]

[https://arxiv.org/pdf/2212.09748 arXiv - Scalable Diffusion Models with Transformers
- Diffusion Transformer]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:29:52Z

Claude COULOMBE :

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal]] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''RABS'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

'''transformeur de diffusion'''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.statcan.gc.ca/fr/node?page=24 ''Source: Statistique Canada'']

[https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6 Towards Data Science - Self-Attention In Computer Vision]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:29:20Z

Claude COULOMBE :

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''RABS'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

'''transformeur de diffusion'''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.statcan.gc.ca/fr/node?page=24 ''Source: Statistique Canada'']

[https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6 Towards Data Science - Self-Attention In Computer Vision]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Diffusion Transformer (DiT)

2026-09-24T08:28:46Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Diffusion Transformer (DiT) vers Réseau autoattentif à bruit statistique (RABS)

#REDIRECTION [[Réseau autoattentif à bruit statistique (RABS)]]

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:28:45Z

Claude COULOMBE : Claude COULOMBE a déplacé la page Diffusion Transformer (DiT) vers Réseau autoattentif à bruit statistique (RABS)

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

'''transformeur de diffusion'''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.statcan.gc.ca/fr/node?page=24 ''Source: Statistique Canada'']

[https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6 Towards Data Science - Self-Attention In Computer Vision]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif à bruit statistique (RABS)

2026-09-24T08:28:15Z

Claude COULOMBE : Page créée avec « ==Définition== Une architecture de réseau de neurones génératif qui combine l'architecture d'un réseau autoattentif avec le processus itératif de suppression de bruit d'un modèle à bruit statistique. Voir aussi réseau autoattentif pour la vision. ==Compléments== L'emploi d'un réseau autoattentif bénéficie de l'apprentissage autosupervisé et de sa capacité à être traité en parallèle. <hr/> Alors que les ... »

==Définition==
Une architecture de réseau de neurones génératif qui combine l'architecture d'un [[Réseau autoattentif|réseau autoattentif]] avec le processus itératif de suppression de bruit d'un [[modèle à bruit statistique]].

Voir aussi [[réseau autoattentif pour la vision]].

==Compléments==
L'emploi d'un réseau autoattentif bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
Alors que les [[modèle à bruit statistique|modèles à bruit statistique]] traditionnels utilisent des [[réseau convolutif|réseaux convolutifs]] pour débruiter les données (comme [[Stability AI|Stable Diffusion]] ou [[DALL-E|DALL-E 2]]), le réseau autoattentif à bruit statistique remplace les blocs convolutifs par des blocs autoattentifs.

L'image ou la vidéo bruitée est découpée en tuiles. Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans les données d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Grâce au mécanisme d'attention, le modèle capture les dépendances à longue portée dans l'ensemble de l'espace latent, offrant une qualité de génération supérieures.
<hr/>
Le réseau autoattentif à bruit statistique n'est pas confiné au traitement et à la génération d'images. Il constitue le socle de beaucoup [[Modèle multimodal|d'architectures multimodales]] pour la [[Génération texte-à-vidéo|génération de vidéos]] comme Google Veo, Sora (aujourd'hui abandonné par OpenAI), Wan d'Alibaba, Kling de Kuaishou, ou Seedance de ByteDance. En étendant le découpage des tuiles 2D à la dimension temporelle (cubes spatio-temporels), il aide à la cohérence du mouvement au fil des images d'une vidéo. Le réseau autoattentif à bruit statistique sert aussi en [[Génération automatique d'audio|génération audio]] et musicale. Enfin, il constitue une bonne base pour le traitement [[Modèle multimodal|multimodal] de textes, d'images, de vidéos et l'espace 3D dans le même [[espace latent]].

==Français==

'''réseau autoattentif à bruit statistique'''

'''réseau autoattentif à diffusion '''

'''architecture autoattentive à bruit statistique'''

'''architecture autoattentive à diffusion'''

'''modèle autoattentif à bruit statistique'''

'''modèle autoattentif à diffusion'''

'''transformeur à diffusion'''

'''transformeur de diffusion'''

==Anglais==

'''Diffusion Transformer'''

'''DiT'''

==Sources==

[https://www.statcan.gc.ca/fr/node?page=24 ''Source: Statistique Canada'']

[https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6 Towards Data Science - Self-Attention In Computer Vision]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Stability AI

2026-09-24T08:19:54Z

Claude COULOMBE : Page créée avec « ==Définition== Stability AI (nom propre) est une entreprise à but lucratif basée au Royaume-Uni qui développe des produits d’IA dont un outil de génération d'images à partir de descriptions textuelles portant le nom de "Stable Diffusion" qui a popularisé la technologie des modèles à bruit statistique. ==Français== '''Stability AI''' ==Anglais== '''Stability AI''' ==Sources== [http... »

==Définition==
Stability AI (nom propre) est une entreprise à but lucratif basée au Royaume-Uni qui développe des produits d’IA dont un [[Génération texte-à-image|outil de génération d'images à partir de descriptions textuelles]] portant le nom de "Stable Diffusion" qui a popularisé la technologie des [[Modèle à bruit statistique|modèles à bruit statistique]].

==Français==
'''Stability AI'''

==Anglais==
'''Stability AI'''

==Sources==

[https://fr.wikipedia.org/wiki/Stability_AI Wikipédia - Stability AI]

[[Catégorie:ENGLISH]]
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Modèle à bruit statistique

2026-09-24T08:06:22Z

Claude COULOMBE :

== Définition ==
[[Modèle génératif]] obtenu par [[apprentissage automatique]], au cours duquel est éliminé le bruit statistique préalablement ajouté aux [[données]] du jeu de [[données d'entraînement]] et qui produit de nouveaux contenus audio ou des images.

Ce type de modèle permet de générer des images détaillées et réalistes à partir de descriptions textuelles.

== Complément ==
Les modèles à bruit statistique sont des [[modèle génératif|modèles génératifs]], ce qui signifie qu'ils sont utilisés pour générer des données similaires aux données sur lesquelles ils ont été entraînés. Fondamentalement, les modèles à bruit statistique fonctionnent en détruisant les [[données d'entraînement]] par l'ajout successif de bruit statistique, puis apprennent à récupérer les données en inversant ce processus de bruitage par le débruitage. Bref, un modèle à bruit statistique apprend à débruiter des données.

Ils fonctionnent en apprenant à faire correspondre l'[[espace latent]] d'un réseau générateur d'images à l'espace des descriptions textuelles, ce qui leur permet de générer des images représentatives de [[requête générative|requêtes génératives]].

La [[requête générative]] donnée à un modèle à bruit statistique peut aussi être une image assortie d'un texte spécifiant par exemple l'application d'un style ou l'ajout d'un élément dans la composition du contenu à produire.

== Français ==
''' modèle à bruit statistique '''

'''modèle de diffusion'''

'''modèle de diffusion probabiliste'''

'''modèle de diffusion latente'''

'''diffusion latente'''


== Anglais ==
'''diffusion model'''

'''diffusion probabilistic model'''

'''latent diffusion model'''

'''LDM'''

'''score-based generative model'''

Generative model obtained by machine learning, during which statistical noise previously added to the training data set is eliminated and new audio or graphic content is produced.


==Español==
[[Catégorie:es]]

''''' modelo de difusión '''''

''''' modelos probabilísticos de difusión '''''

''Modelo generativo obtenido mediante aprendizaje automático, durante el cual se elimina el ruido estadístico añadido previamente a los datos del conjunto de datos de entrenamiento y que produce nuevos contenidos sonoros o gráficos.''

== Source ==
[https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000050185686 Source : legifrance ]

{{Modèle:101}}
[https://en.wikipedia.org/wiki/Diffusion_model Source : Wikipedia]
[[Catégorie:101]]
[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif

2026-09-24T07:35:16Z

Claude COULOMBE :

==Définition==
Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de [[réseau de neurones profond]], de [[Modèle séquence à séquence|séquence à séquence]], très performante. Il utilise le [[Mécanisme_d%27attention|mécanisme d'attention]], plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.

Le mécanisme d'autoattention permet d'améliorer considérablement la précision du réseau sur le plan sémantique et de traiter des [[Jeu de données|jeux de données]] beaucoup plus volumineux, car le traitement peut se faire plus facilement en parallèle grâce à l'[[apprentissage autosupervisé]].

==Compléments==
Contrairement à un [[réseau récurrent]], un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau peut donner un [[poids]] (ou une valeur attention) variable à différentes parties de la séquence de données d'entrée mises en relation avec n'importe quelle autre partie de cette séquence.
<hr/>
Des exemples connus de réseaux ou de modèles autoattentifs sont: [[BERT]] de Google et [[GPT]] d'OpenAI.

<hr/>
En anglais, on dit « self-attention learning », et plus souvent « transformer » qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
<hr/>
Les réseaux autoattentifs sont le prolongement des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
<hr/>
Attention à ne pas confondre ''autoattentif'' et ''[[apprentissage autosupervisé|autosupervisé]]''.

==Français==

'''réseau de neurones autoattentif'''

'''réseau autoattentif'''

'''modèle autoattentif'''

'''apprentissage autoatttentif'''

'''architecture autoattentive'''

'''transformeur'''

'''transformateur''' (emploi plus rare, car utilisé en électricité)


==Anglais==
'''transformer'''

'''transformer architecture'''

'''self-attentive network'''

'''self-attentive neural network'''

'''self-attentive learning'''

'''self-attentive model'''

'''self-attentive architecture'''

A transformer or self-attention neural network is a high-performance, deep, sequence-to-sequence neural network architecture. It uses the attention mechanism, more precisely self-attention, to replace both recurrence and convolution.

The self-attention mechanism considerably improves the semantic accuracy of the network, and enables much larger data sets to be processed, as processing can be done more easily in parallel thanks to self-supervised learning.


==Español==
[[Catégorie:es]]

''''' transformador '''''

''El transformador es una arquitectura de red neuronal profunda de alto rendimiento y secuencia a secuencia. Utiliza el mecanismo de atención, más concretamente la autoatención, para sustituir tanto a la recurrencia como a las convoluciones.''

''El modelo de atención visual mejora considerablemente la precisión semántica de la red y le permite procesar conjuntos de datos mucho mayores, ya que el procesamiento puede realizarse más fácilmente en paralelo gracias al aprendizaje autosupervisado.''

==Sources==
[https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000050185686 Source : Légifrance]

[[Utilisateur:Claude COULOMBE | Source : Claude Coulombe, Datafranca.org]]

[[Utilisateur:Patrickdrouin | Source : Termino]]

{{Modèle:101}}
[[Category:Intelligence artificielle]]
[[Category:Apprentissage profond]]
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:101]]
[[Catégorie:Publication]]

Réseau autoattentif pour la vision

2026-09-24T07:05:35Z

Claude COULOMBE :

==Définition==
Une architecture de réseau de neurones basé sur un [[réseau autoattentif]] utilisé pour la [[vision artificielle]].

==Compléments==
L'emploi d'un réseau autoattentif pour la vision artificielle bénéficie de l'[[apprentissage autosupervisé]] et de sa capacité à être traité en parallèle.
<hr/>
L'image d'entrée est découpée en une grille de tuiles carrées (par exemple, des tuiles de 16x16 pixels). Puis, chaque tuile est aplatie et transformée en un [[vecteur sémantique compact]]. On y associe une information de position appelée [[encodage positionnel]] pour situer la tuile dans l'image d'entrée. Ces vecteurs passent ensuite à travers plusieurs blocs d'[[autoattention multitêtes]]. Le réseau apprend ainsi l'importance des tuiles les unes par rapport aux autres pour analyser l'image. Par exemple, lier visuellement les yeux, le nez et la bouche d'une personne pour l'identifier.

==Français==

'''réseau autoattentif pour la vision'''

'''réseau autoattentif pour la vision artifielle'''

'''réseau autoattentif pour la vision par ordinateur'''

'''réseau neuronal autoattentif pour la vision artifielle'''

'''architecture autoattentive pour la vision'''

'''modèle autoattentif pour la vision'''

'''modèle de vision par transformeur'''

'''transformeur pour la vision'''

==Anglais==

'''vision transformer'''

'''ViT'''

'''self-attention network in vision'''

'''self-attention network in computer vision'''

==Sources==

[https://www.statcan.gc.ca/fr/node?page=24 ''Source: Statistique Canada'']

[https://towardsdatascience.com/self-attention-in-computer-vision-2782727021f6 Towards Data Science - Self-Attention In Computer Vision]

[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Publication]]

Réseau autoattentif pour la vision

2026-09-24T07:03:12Z

Claude COULOMBE :

Réseau autoattentif pour la vision

2026-09-24T06:46:11Z

Claude COULOMBE :

Réseau autoattentif pour la vision

2026-09-24T06:45:53Z

Claude COULOMBE :