Attention clairsemée - Historique des versions

Pitpitt le 13 juin 2026 à 15:04

2026-06-13T15:04:19Z

← Version précédente		Version du 13 juin 2026 à 11:04
Ligne 31 :		Ligne 31 :

	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
	~~[[Catégorie:Publication]]~~

Patrickdrouin le 9 juin 2026 à 19:10

2026-06-09T19:10:44Z

← Version précédente		Version du 9 juin 2026 à 15:10
Ligne 31 :		Ligne 31 :

	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
	[[Catégorie:~~Publications~~]]		[[Catégorie:Publication]]

Patrickdrouin le 9 juin 2026 à 19:10

2026-06-09T19:10:21Z

← Version précédente		Version du 9 juin 2026 à 15:10
Ligne 3 :		Ligne 3 :

	== Compléments ==		== Compléments ==
	Au lieu de comparer tous les [[jeton textuel\|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains ~~segments~~ en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.		Au lieu de comparer tous les [[jeton textuel\|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.

	Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.		Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.
Ligne 31 :		Ligne 31 :

	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
			[[Catégorie:Publications]]

Patrickdrouin le 9 juin 2026 à 19:07

2026-06-09T19:07:51Z

← Version précédente		Version du 9 juin 2026 à 15:07
Ligne 3 :		Ligne 3 :

	== Compléments ==		== Compléments ==
	Au lieu de comparer tous les [[~~segment~~ textuel\|~~segments~~ textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des ~~segments~~, etc.		Au lieu de comparer tous les [[jeton textuel\|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.

	Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.		Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.

Pitpitt le 19 avril 2026 à 16:32

2026-04-19T16:32:01Z

← Version précédente		Version du 19 avril 2026 à 12:32
Ligne 21 :		Ligne 21 :
	'''native sparse attention'''		'''native sparse attention'''

	~~<!--~~ Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.~~-->~~		Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

	==Sources==		==Sources==
	[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]		[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]
Ligne 29 :		Ligne 30 :
	[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]		[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]

	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Patrickdrouin le 31 mars 2026 à 19:35

2026-03-31T19:35:08Z

← Version précédente		Version du 31 mars 2026 à 15:35
Ligne 5 :		Ligne 5 :
	Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.		Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

	Cette technique d'optimisation a été mise de l'avant par la société DeepSeek.		Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI.

	== Français ==		== Français ==

Patrickdrouin le 31 mars 2026 à 19:34

2026-03-31T19:34:53Z

← Version précédente		Version du 31 mars 2026 à 15:34
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
	Technique d'~~optimision~~ d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.		Technique d'optimisation d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

	== Compléments ==		== Compléments ==
	Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.		Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

			Cette technique d'optimisation a été mise de l'avant par la société DeepSeek.

	== Français ==		== Français ==

Patrickdrouin le 31 mars 2026 à 19:33

2026-03-31T19:33:41Z

← Version précédente		Version du 31 mars 2026 à 15:33
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
	~~xxxxx~~		Technique d'optimision d'une [[Réseau autoattentif\|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention.

			== Compléments ==
			Au lieu de comparer tous les [[segment textuel\|segments textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des segments, etc.

	== Français ==		== Français ==

Patrickdrouin : Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée

2026-03-31T19:23:43Z

Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée

← Version précédente	Version du 31 mars 2026 à 15:23
(Aucune différence)

Patrickdrouin le 31 mars 2026 à 19:23

2026-03-31T19:23:26Z

← Version précédente		Version du 31 mars 2026 à 15:23
Ligne 1 :		Ligne 1 :
	~~== EN CONSTRUCTION ==~~

	== Définition ==		== Définition ==
	xxxxx		xxxxx

	== Français ==		== Français ==
	'''~~xxxxx~~ '''		'''attention clairsemée'''

	~~== Anglais ==~~		'''attention parcimonieuse'''
	'''~~Native Sparse Attention~~'''

	'''~~DSA~~'''		'''attention creuse'''

	'''~~Hardware-Aligned and Natively Trainable Sparse Attention~~'''		'''attention clairsemée native'''

	Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.

			== Anglais ==
			'''sparse attention'''

			'''native sparse attention'''

			<!-- Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.-->
			==Sources==
			[https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]

	~~==Sources==~~		[https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]
	[https://~~arxiv~~.org/~~abs~~/~~2502.11089 Sources : arxiv~~]

			[https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:Publication]]

Attention clairsemée - Historique des versions

Pitpitt le 13 juin 2026 à 15:04

Patrickdrouin le 9 juin 2026 à 19:10

Patrickdrouin le 9 juin 2026 à 19:10

Patrickdrouin le 9 juin 2026 à 19:07

Pitpitt le 19 avril 2026 à 16:32

Patrickdrouin le 31 mars 2026 à 19:35

Patrickdrouin le 31 mars 2026 à 19:34

Patrickdrouin le 31 mars 2026 à 19:33

Patrickdrouin : Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée

Patrickdrouin le 31 mars 2026 à 19:23

Patrickdrouin : Patrickdrouin a déplacé la page Sparse attention vers Attention clairsemée