https://datafranca.org/wiki/api.php?action=feedcontributions&feedformat=atom&user=Patrickdrouin DataFranca - Contributions [fr] 2026-08-15T07:14:25Z Contributions MediaWiki 1.39.5 https://datafranca.org/wiki/index.php?title=Distillation_attack&diff=132284 Distillation attack 2026-08-04T19:26:37Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Distillation attack vers Attaque par distillation</p> <hr /> <div>#REDIRECTION [[Attaque par distillation]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132283 Attaque par distillation 2026-08-04T19:26:36Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Distillation attack vers Attaque par distillation</p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent l'apprentissage de la distribution de probabilité du [[modèle enseignant]]. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''piratage par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132282 Optimisation directe des préférences 2026-08-04T19:21:41Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].<br /> <br /> Alors que les grands modèles de langues acquièrent par le biais de texte une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement de par la nature floue du jeu de données d'entraînement (la langue). <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable. <br /> <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132281 Optimisation directe des préférences 2026-08-04T19:11:19Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].<br /> <br /> Alors que les modèles de langue non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable. <br /> <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132276 Optimisation directe des préférences 2026-08-04T19:02:59Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> <br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.<br /> <br /> Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH). <br /> <br /> Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine. <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Optimisation_directe_des_pr%C3%A9f%C3%A9rences&diff=132275 Optimisation directe des préférences 2026-08-04T19:00:55Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. <br /> <br /> == Compléments ==<br /> <br /> L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.<br /> <br /> Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation. <br /> <br /> Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH). <br /> <br /> Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine. <br /> == Français ==<br /> ''' optimisation directe des préférences '''<br /> <br /> == Anglais ==<br /> ''' Direct Preference Optimization '''<br /> <br /> ''' DPO '''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/abs/2305.18290 Source : arxiv ]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132273 Attaque par distillation 2026-08-04T18:47:20Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent l'apprentissage de la distribution de probabilité du [[modèle enseignant]]. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132272 Attaque par distillation 2026-08-04T18:45:53Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un jeu de données basé principalement sur les [[chaîne de résolution|chaînes de résolution]] (COT). Ces données plus riches facilitent la reconstruction de la distribution de probabilité du modèle enseignant. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132270 Attaque par distillation 2026-08-04T18:38:53Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses réponses à un ensemble requêtes.<br /> <br /> == Compléments == <br /> Un très grand nombres de requêtes sont utilisées pour générer un nouveau jeu de données, ce qui permet de reconstruire un distribution de probabilités. <br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132269 Attaque par distillation 2026-08-04T18:34:39Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132268 Attaque par distillation 2026-08-04T18:33:33Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> L'attaque par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132267 Attaque par distillation 2026-08-04T18:32:15Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained Mind Studio - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132266 Attaque par distillation 2026-08-04T18:31:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol d'IA par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://hyper.ai/fr/stories/5b29229d84a2ed48b0ac6517333e1b82 HyperAI - vol d'IA par distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attaque_par_distillation&diff=132265 Attaque par distillation 2026-08-04T18:30:28Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Le vol de modèle par [[Distillation de modèles|distillation]] est une pratique où un modèle d'IA puissant ([[modèle enseignant]]) est exploité pour en entraîner un nouveau modèle, plus petit et moins cher ([[modèle étudiant]]), en copiant ses comportements et ses réponses.<br /> <br /> == Français ==<br /> '''attaque par distillation'''<br /> <br /> '''vol de modèle par distillation'''<br /> <br /> == Anglais ==<br /> '''distillation attack'''<br /> <br /> A distillation attack (or model extraction attack) is a form of artificial intelligence (AI) intellectual property theft. An adversary systematically prompts an expensive, highly capable &quot;teacher&quot; model via its API to harvest its responses. They then use this collected data to train a smaller, cheaper &quot;student&quot; model to perfectly mimic the advanced system. <br /> <br /> ==Sources==<br /> [https://www.usine-digitale.fr/cybersecurite/cybersecurite-pourquoi-les-attaques-par-distillation-qui-visent-a-copier-des-modeles-dia-deviennent-un-enjeu-pour-les-entreprises.C67RUJ64TZFUVNH4UGAKEPYHZQ.html L'usine digitale - attaque par distillation]<br /> <br /> [https://www.ledevoir.com/economie/techno/958530/anthropic-accuse-deepseek-piller-modeles-ia-construire-siens. Le Devoir - distillation]<br /> <br /> [https://www.mindstudio.ai/blog/ai-model-distillation-attacks-explained - distillation attack]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128227 Puits d'attention 2026-06-09T19:21:57Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Le phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128222 Échantillonnage à troncature k fixe 2026-06-09T19:14:16Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=%C3%89chantillonnage_%C3%A0_troncature_k_fixe&diff=128221 Échantillonnage à troncature k fixe 2026-06-09T19:11:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> <br /> Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, <br /> <br /> Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> <br /> == Compléments ==<br /> Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un jeton parmi un nombre fixe ''k'' de '''[[jeton textuel|jetons textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. <br /> <br /> Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.<br /> <br /> Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''.<br /> &lt;hr&gt;<br /> Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.<br /> &lt;hr&gt;<br /> Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues.<br /> <br /> == Français ==<br /> '''Échantillonnage à troncature k fixe'''<br /> <br /> '''Échantillonnage parmi les k meilleurs'''<br /> <br /> '''Échantillonnage Top-k'''<br /> <br /> == Anglais ==<br /> ''' Top-k sampling'''<br /> <br /> ''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.''<br /> <br /> ''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.''<br /> <br /> == Sources ==<br /> [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling]<br /> <br /> [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128220 Attention clairsemée 2026-06-09T19:10:44Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128219 Attention clairsemée 2026-06-09T19:10:21Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains jetons en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publications]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128216 Puits d'attention 2026-06-09T19:08:52Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « jetons puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_clairsem%C3%A9e&diff=128215 Attention clairsemée 2026-06-09T19:07:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique d'optimisation d'une [[Réseau autoattentif|architecture auto-attentive]] qui vise à réduire le nombre de calculs nécessaires au mécanisme d'auto-attention. <br /> <br /> == Compléments == <br /> Au lieu de comparer tous les [[jeton textuel|jetons textuels]] entre eux, un processus de sélection concentre l'attention sur certains segments en particulier selon différentes heuristiques. Par exemple, es heuristiques exploitent une largeur de fenêtre, la position d'un jeton dans une phrase, la similarité des jetons, etc.<br /> <br /> Cette technique d'optimisation a été mise de l'avant par la société DeepSeek-AI. <br /> <br /> == Français ==<br /> '''attention clairsemée'''<br /> <br /> '''attention parcimonieuse'''<br /> <br /> '''attention creuse'''<br /> <br /> '''attention clairsemée native'''<br /> <br /> == Anglais ==<br /> '''sparse attention'''<br /> <br /> '''native sparse attention'''<br /> <br /> Long-context modeling is crucial for next-generation language models, yet the high computational cost of standard attention mechanisms poses significant computational challenges. Sparse attention offers a promising direction for improving efficiency while maintaining model capabilities. We present NSA, a Natively trainable Sparse Attention mechanism that integrates algorithmic innovations with hardware-aligned optimizations to achieve efficient long-context modeling. NSA employs a dynamic hierarchical sparse strategy, combining coarse-grained token compression with fine-grained token selection to preserve both global context awareness and local precision. Our approach advances sparse attention design with two key innovations: (1) We achieve substantial speedups through arithmetic intensity-balanced algorithm design, with implementation optimizations for modern hardware. (2) We enable end-to-end training, reducing pretraining computation without sacrificing model performance.<br /> <br /> ==Sources==<br /> [https://espace.etsmtl.ca/id/eprint/3299/ Aroosa Hameed (2023) - attention clairsemée ]<br /> <br /> [https://fr.wikipedia.org/wiki/Attention_(apprentissage_automatique) Wikipedia - attention clairsemée]<br /> <br /> [https://aarnphm.xyz/thoughts/papers/DeepSeek_V3_2.pdf DeepSeek - sparse attention]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128214 Puits d'attention 2026-06-09T19:05:39Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Puits_d%27attention&diff=128210 Puits d'attention 2026-06-09T19:04:58Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ce terme peut désigner le phénomène ou le type de '''[[jeton textuel]]''' concerné par le phénomène. <br /> <br /> Phénomène présent dans tous les '''[[Grand modèle de langues (GML)| grands modèles de langues]]''' '''[[Modèle autorégressif|autorégressifs]]''', dans lesquels les premiers [[jeton textuel|jetons textuels]] représentent une part extrêmement importante du score d'attention, même s'ils ne sont pas importants sur le plan sémantique. <br /> <br /> == Compléments ==<br /> Ce phénomène apparaît à la suite d'une optimisation efficace sur une quantité suffisante de '''[[données d'entraînement]]'''. <br /> <br /> La raison pour laquelle les [[jeton textuel|jetons textuels]] initiaux sont considérés comme des « segments puits » est intuitive : ils sont visibles par presque tous les [[jeton textuel|jetons]] suivants en raison de la nature autorégressive du modèle, ce qui les rend plus aptes à servir de « puits d'attention ».<br /> <br /> == Français ==<br /> ''' puits d'attention'''<br /> <br /> == Anglais ==<br /> ''' attention sink'''<br /> <br /> ''This term can refer to the phenomenon or to the type of token concerned by the phenomenon. This phenomenon is present in all autoregressive large language models, in which the first few tokens make up for a shockingly large amount of the attention score, even if the tokens are not semantically important. It emerges after effective optimization on sufficient training data. ''<br /> <br /> ''The reason behind initial tokens as “sink tokens” is intuitive: initial tokens are visible to almost all subsequent tokens because of the autoregressive language modeling nature, making them more readily trained to serve as “attention sinks”.''<br /> <br /> ''This phenomenon has been widely adopted in applications such as streaming/long context generation, KV cache optimization, inference acceleration, model quantization, and others.''<br /> <br /> == Sources ==<br /> [https://arxiv.org/abs/2309.17453 Source : arxiv]<br /> <br /> [https://arxiv.org/abs/2410.10781 Source : arxiv]<br /> <br /> [https://huggingface.co/blog/tomaarsen/attention-sinks Source : Hugging Face Blog]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Encodage_positionnel&diff=128209 Encodage positionnel 2026-06-09T18:54:10Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Méthode des '''[[Réseau autoattentif|réseaux autoattentifs]]''' qui aide à préserver l’ordre séquentiel des '''[[jeton textuel|jetons textuels]]''' (tokens) en ajoutant des informations sur la position de chaque '''[[jeton textuel|segment]]''' dans la séquence, ce qui leur permet d’avoir une meilleure compréhension '''[[Fenêtre contextuelle|contextuelle]]''' et d’éviter les problèmes de symétrie.<br /> <br /> == Français ==<br /> ''' encodage positionnel '''<br /> <br /> == Anglais ==<br /> '''positional encoding'''<br /> <br /> ''' PE'''<br /> <br /> &lt;!--Positional encoding refers to a method in transformer models that helps to maintain the sequential order of words. This is a crucial component for understanding the context within a sentence and between sentences.--&gt;<br /> == Sources ==<br /> [https://www.kdnuggets.com/generative-ai-key-terms-explained Source : kdnuggets]<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-eng.html?lang=eng&amp;i=1&amp;srchtxt=POSITIONAL+ENCODING&amp;index=alt&amp;codom2nd_wet=1#resultrecs Source : TERMIUM Plus]<br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Attention_%C3%A9clair&diff=128207 Attention éclair 2026-06-09T18:53:04Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> <br /> Ce concept regroupe différentes approches algorithmiques pour augmenter la performance en temps d'exécution et/ou en mémoire du [[mécanisme d'attention]] original. <br /> <br /> Sur le plan technique, il existe différentes implémentations qui dépendent entre autres de l'organisation matérielle des processeurs graphiques, souvent pour un fabricant de puces en particulier.<br /> <br /> == Compléments ==<br /> <br /> Les [[Réseau autoattentif|couches d'auto-attention]] permettent de comprendre les relations contextuelles entre les données d'entrée. Cependant, la consommation maximale de mémoire des [[processeur graphique|processeurs graphiques]] pour les [[Réseau autoattentif|couches d'auto-attention]] augmente de manière quadratique avec la longueur de la séquence d’entrée. Ainsi, l'[[Réseau autoattentif|algorithme d'auto-attention classique]] devient rapidement prohibitif en termes de mémoire pour les longs contextes d'entrée.<br /> <br /> Afin de résoudre ce problème, Tri Dao et al. ont inventé en 2022 l'algorithme d'attention éclair (FlashAttention) dont le coût en mémoire n'augmente que linéairement avec la longueur de la séquence d'entrée. Évidemment, l’algorithme d’attention éclair est un peu plus lent. En contrepartie, l'attention-éclair est plus rapide en inférence que l'attention classique car elle réduit considérablement les accès mémoires plus lents du processeur graphique en se concentrant plutôt sur la mémoire vive statique (SRAM) qui est plus rapide.<br /> <br /> Le mécanisme d'attention éclair proposé par Qin &amp; al. en 2023, appelé '''lightning attention''', fait appel à une approximation qui s'exécute en temps linéaire alors que le mécanisme d'attention original s'exécute en temps quadratique. Cette amélioration est basée sur la [[normalisation du gradient]] pour lutter contre l'[[explosion du gradient]] et l'utilisation privilégiée de la diagonale de la matrice d'attention c.-à-d. les [[jeton textuel|jetons textuels]] voisins pour lutter contre l'[[évanescence du gradient]].<br /> <br /> ==Français==<br /> '''attention éclair'''<br /> <br /> '''attention flash''' &lt;small&gt;''Calque de l'anglais''&lt;/small&gt;<br /> <br /> ==Anglais==<br /> '''FlashAttention''' &lt;small&gt;'' Proposition originale de Tri Dao et al. (2022)''&lt;/small&gt;<br /> <br /> '''flash attention'''<br /> <br /> '''lightning attention'''<br /> <br /> ==Sources==<br /> <br /> [https://arxiv.org/pdf/2407.08608v2 - arxiv - Jay Shah &amp; al. 2024 - FlashAttention-3]<br /> <br /> [https://arxiv.org/pdf/2307.14995v1 - arxiv - Qin &amp; al. 2023 - Lightning Attention]<br /> <br /> [https://arxiv.org/abs/2205.14135 - arxiv - Tri Dao et al. (2022) - FlashAttention]<br /> <br /> [https://gordicaleksa.medium.com/eli5-flash-attention-5c44017022ad Source: Medium]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_segment_textuel&diff=128206 Suppression de segment textuel 2026-06-09T18:49:13Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>#REDIRECTION [[Suppression de jeton textuel]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton_textuel&diff=128205 Suppression de jeton textuel 2026-06-09T18:49:12Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Suppression de segment textuel vers Suppression de jeton textuel</p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Suppression_de_jeton_textuel&diff=128203 Suppression de jeton textuel 2026-06-09T18:47:48Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Technique utilisée pour le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' où les '''[[jeton textuel|jetons textuels]]''' sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.<br /> <br /> == Français ==<br /> ''' suppression de jeton textuel'''<br /> <br /> ''' destruction de jeton textuel'''<br /> <br /> == Anglais ==<br /> ''' token deletion'''<br /> <br /> &lt;!--''Token deletion takes the original sentence and randomly deletes a token from the sequence. Tokens are randomly removed from the documents. The model is pre-trained to determine tokens at which positions are removed.''--&gt;<br /> == Sources ==<br /> [https://arxiv.org/abs/2405.12630 Source : arxiv]<br /> <br /> [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub]<br /> <br /> [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128198 Surconsommation de jetons textuels 2026-06-09T18:43:11Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''surconsommation de jetons textuels'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> '''maximisation de jetons textuels'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128196 Surconsommation de jetons textuels 2026-06-09T18:41:29Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing'''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Surconsommation_de_jetons_textuels&diff=128195 Surconsommation de jetons textuels 2026-06-09T18:40:56Z <p>Patrickdrouin : Page créée avec « ==Définition== Action de dépenser délibérément un maximum de jetons textuels alloué à un grand modèle de langues (GLM). == Compléments == La surconsommation de jetons est souvent le résultat de l&#039;exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. ==Français== &#039;&#039;&#039;surconsommation de jetons&#039;&#039;&#039; &#039;&#039;&#039;maximisation de jetons&#039;&#039;&#039; ==Anglais== &#039;... »</p> <hr /> <div>==Définition==<br /> Action de dépenser délibérément un maximum de [[jeton textuel|jetons textuels]] alloué à un [[Grand modèle de langues (GML)|grand modèle de langues (GLM)]].<br /> <br /> == Compléments ==<br /> La surconsommation de jetons est souvent le résultat de l'exécution de plusieurs agents dédiés à différents sous-tâches (typiquement de programmation) simultanément. <br /> <br /> ==Français==<br /> '''surconsommation de jetons'''<br /> <br /> '''maximisation de jetons'''<br /> <br /> ==Anglais==<br /> '''tokenmaxxing'''<br /> <br /> '''token maxxing'''<br /> <br /> '''token maxing''<br /> <br /> ==Sources==<br /> [https://en.wikipedia.org/wiki/Token_maxxing Forbes - tokenmaxxing]<br /> <br /> [https://en.wikipedia.org/wiki/Token_maxxing Wikipedia - token maxxing]<br /> <br /> [https://www.lesaffaires.com/mon-entreprise/management-et-rh/tokenmaxxing-quand-lia-cree-de-nouvelles-inegalites-rh/ Les affaires]<br /> <br /> [https://www.01net.com/actualites/comment-le-tokenmaxxing-transforme-lusage-de-lia-en-competition-chez-les-geants-de-la-tech.html 01net]<br /> <br /> [[Categorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Segment_textuel&diff=128191 Segment textuel 2026-06-09T18:32:51Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Segment textuel vers Jeton textuel</p> <hr /> <div>#REDIRECTION [[Jeton textuel]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Jeton_textuel&diff=128190 Jeton textuel 2026-06-09T18:32:51Z <p>Patrickdrouin : Patrickdrouin a déplacé la page Segment textuel vers Jeton textuel</p> <hr /> <div>==Définition==<br /> En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').<br /> <br /> ==Compléments==<br /> Un jeton textuel peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.<br /> <br /> Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux. <br /> <br /> &lt;hr/&gt;<br /> Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication. <br /> <br /> &lt;hr/&gt;<br /> Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.<br /> <br /> ==Français==<br /> '''jeton textuel'''<br /> <br /> '''jeton'''<br /> <br /> '''segment textuel'''<br /> <br /> '''segment de texte'''<br /> <br /> '''symbole'''<br /> <br /> '''unité sous-lexicale'''<br /> <br /> '''unité lexicale'''<br /> <br /> '''partie de mot'''<br /> <br /> ==Anglais==<br /> '''token'''<br /> <br /> ==Sources==<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&amp;i=1&amp;srchtxt=tokenizer&amp;index=alt&amp;codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']<br /> <br /> [https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&amp;version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]<br /> <br /> [https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']<br /> <br /> [https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]<br /> <br /> [https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]<br /> <br /> [https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Jeton_textuel&diff=128188 Jeton textuel 2026-06-09T18:28:29Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> En '''[[traitement automatique de la langue naturelle]]''', le jeton est l'unité de base pour l'analyse de textes produite par un '''[[segmenteur]]''' (en anglais ''tokenizer'').<br /> <br /> ==Compléments==<br /> Un jeton textuel peut correspondre à un mot, à une partie de mot, une suite de caractères ou même parfois à une seule lettre ou symbole.<br /> <br /> Traditionnellement, en '''[[Traitement automatique de la langue naturelle|TALN]]''', les algorithmes travaillaient au niveau du mot ou des unités lexicales, mais depuis l'arrivée des techniques d'apprentissage profond, la segmentation s'effectue plutôt au niveau sous-lexical. Un atout important du traitement sous-lexical est d'éviter les mots ''hors-vocabulaire'', puisqu'on peut plus facilement créer de nouvelles unités lexicales à partir d'éléments sous-lexicaux. <br /> <br /> &lt;hr/&gt;<br /> Attention, on appelle les unités résultant de la segmentation des '''jetons''', mais le terme '''jeton''' est aussi utilisé en cybersécurité et dans les réseaux de communication. <br /> <br /> &lt;hr/&gt;<br /> Pour la suite du traitement, le jeton résultant est souvent converti en un nombre entier. On dit alors que le jeton est encodé. Le processus inverse, le décodage part de la représentation par un nombre entier vers un jeton.<br /> <br /> ==Français==<br /> '''jeton textuel'''<br /> <br /> '''jeton'''<br /> <br /> '''segment textuel'''<br /> <br /> '''segment de texte'''<br /> <br /> '''symbole'''<br /> <br /> '''unité sous-lexicale'''<br /> <br /> '''unité lexicale'''<br /> <br /> '''partie de mot'''<br /> <br /> ==Anglais==<br /> '''token'''<br /> <br /> ==Sources==<br /> <br /> [https://www.btb.termiumplus.gc.ca/tpv2alpha/alpha-fra.html?lang=fra&amp;i=1&amp;srchtxt=tokenizer&amp;index=alt&amp;codom2nd_wet=1#resultrecs ''Termium - Tokenizer'']<br /> <br /> [https://www.culture.gouv.fr/content/download/365680/pdf_file/50_termes_cl%C3%A9s_de_l%27IA-2025.pdf?inLanguage=fre-FR&amp;version=2 ''50 termes clés de l'intelligence artificielle'', Ministère de la culture, Commission d'enrichissement de la langue française (2025). - Jeton textuel]<br /> <br /> [https://fr.wikipedia.org/wiki/Analyse_lexicale Wikipedia - ''Analyse lexicale'']<br /> <br /> [https://www.sciencedirect.com/science/article/pii/S0167865518303271 ''A unified multilingual handwriting recognition system using multigrams sub-lexical units'', Swaileh et al. 2019]<br /> <br /> [https://link.springer.com/chapter/10.1007/978-3-319-77113-7_1, ''Overview of Character-Based Models for Natural Language Processing'', Adel et al. 2018]<br /> <br /> [https://en.wikipedia.org/wiki/Lexical_analysis Wikipedia - Lexical Analysis]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Nettoyage_de_donn%C3%A9es&diff=124418 Nettoyage de données 2026-04-28T18:45:14Z <p>Patrickdrouin : </p> <hr /> <div>==Définition==<br /> Le nettoyage de données est l'opération de détection et de correction d'erreurs présentes dans des jeux de données brutes stockées dans des bases de données ou dans des fichiers. Ces données peuvent avoir plusieurs types d'erreurs comme des erreurs de frappe, de format, de syntaxe etc. <br /> <br /> Le processus de nettoyage, ou « prétraitement des données », identifie les données erronées et les corrige automatiquement avec un programme informatique. Une fois traitées, ces données peuvent être présentées dans un format normalisé, ce qui aide les humains et les ordinateurs à les interpréter. Les nettoyeurs de type '''[[ETL]]''' ont été les premiers à voir le jour.<br /> <br /> ==Français==<br /> '''nettoyage de données''' <br /> <br /> '''traitement des données'''<br /> <br /> '''curation des données''' &lt;small&gt;calque de l'anglais&lt;/small&gt;<br /> <br /> ==Anglais==<br /> '''data cleansing'''<br /> <br /> '''data cleaning'''<br /> <br /> '''data scrubbing'''<br /> <br /> '''data curation'''<br /> <br /> '''data cooking''' &lt;small&gt;(familier)&lt;/small&gt;<br /> <br /> ==Sources==<br /> <br /> [https://fr.wikipedia.org/wiki/Nettoyage_de_donn%C3%A9es Source : Wikipedia, ''Nettoyage de données''.]<br /> <br /> [https://en.wikipedia.org/wiki/Data_cleansing Source : Wikipedia, ''Data cleansing''.]<br /> <br /> [https://www.techopedia.com/definition/14676/cooked-data Source : Techopedia, ''Cooked Data''.]<br /> <br /> [http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=8873874 Source : GDT - Traitement des données ]<br /> <br /> <br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> {{Modèle:GDT}}<br /> <br /> [[Catégorie:Traitement de données]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=LightMem&diff=124412 LightMem 2026-04-28T18:26:21Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nom propre, cadre de gestion de la mémoire des '''[[Grand modèle de langues (GML)|grands modèles de langues]]''' qui minimise la redondance tout en préservant les informations et en réduisant les coûts de calcul grâce à la création d'une mémoire externe des interactions des utilisateurs.<br /> <br /> == Compléments ==<br /> Cependant, ce cadre de gestion de la mémoire pose des défis éthiques majeurs en matière de confidentialité des utilisateurs. De plus, la mémoire peut également absorber et perpétuer les préjugés ou les informations erronées provenant des données saisies par les utilisateurs.<br /> <br /> == Français ==<br /> '''LightMem'''<br /> <br /> '''LightMEM'''<br /> <br /> == Anglais ==<br /> '''LightMem'''<br /> <br /> '''LightMEM'''<br /> <br /> ''' Lightweight and Efficient Memory-Augmented Generation'''<br /> <br /> ''Memory management framework that minimizes redundancy while preserving information and reducing computational costs of LLMs by creating an external memory of user interactions.''<br /> <br /> ''It introduces critical ethical challenges to user privacy and the memory can also absorb and perpetuate biases or misinformation from user input.''<br /> <br /> ==Sources==<br /> [https://arxiv.org/abs/2510.18866 Source : arxiv]<br /> <br /> [https://github.com/zjunlp/LightMem Source : GitHub]<br /> <br /> [https://huggingface.co/papers/2510.18866 Source : huggingface]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]<br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120839 Rappel 2026-04-21T19:29:52Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes dans un ensemble de réponses donné. <br /> <br /> Voir [[précision]]<br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Pr%C3%A9cision&diff=120838 Précision 2026-04-21T19:27:22Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nombre de réponses pertinentes parmi l'ensemble des réponses fournies par un système. <br /> <br /> Voir aussi [[justesse]] et [[rappel]].<br /> <br /> == Français ==<br /> '''précision''' <br /> <br /> == Anglais ==<br /> '''precision'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Pr%C3%A9cision&diff=120837 Précision 2026-04-21T19:26:26Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Nombre de réponses pertinentes parmi l'ensemble des réponses fournies par un système. <br /> <br /> Voir aussi '''[[justesse]]'''.<br /> <br /> == Français ==<br /> '''précision''' <br /> <br /> == Anglais ==<br /> '''precision'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120836 Rappel 2026-04-21T19:24:47Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes. <br /> <br /> Voir [[précision]]<br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=Rappel&diff=120835 Rappel 2026-04-21T19:24:11Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Capacité d'un système à retrouver l'ensemble des réponses pertinentes. <br /> <br /> == Francais ==<br /> '''rappel''' <br /> <br /> == Anglais ==<br /> '''recall'''<br /> <br /> ==Sources==<br /> [https://developers.google.com/machine-learning/glossary/ Source : Google machine learning glossary ]<br /> <br /> [https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Source : L'APPRENTISSAGE PROFOND]<br /> <br /> [[Category:GRAND LEXIQUE FRANÇAIS]]<br /> [[Category:Apprentissage profond]]<br /> [[Category:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120834 ROUGE 2026-04-21T19:22:13Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de [[traduction automatique]] dans le domaine du [[traitement automatique de la langue naturelle]]. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales ([[rappel]]) est plus importante que d'obtenir une formulation exacte ([[précision]]), ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120833 ROUGE 2026-04-21T19:20:51Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de [[traduction automatique]] dans le domaine du [[traitement automatique de la langue naturelle]]. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales est plus importante que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120832 ROUGE 2026-04-21T19:19:55Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques de similarité qui se basent sur les [[N-grammes|n-grammes]] utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de '''[[traduction automatique]]''' dans le domaine du '''[[traitement automatique de la langue naturelle]]'''. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales est plus importante que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:Publication]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=ROUGE&diff=120831 ROUGE 2026-04-21T19:17:35Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de mesures ou métriques utilisées pour évaluer les logiciels de [[génération automatique de texte]] et de '''[[traduction automatique]]''' dans le domaine du '''[[traitement automatique de la langue naturelle]]'''. <br /> <br /> Voir aussi '''[[BLEU]]'''<br /> <br /> == Compléments ==<br /> Dans le cadre d'une tâche de génération automatique de texte, la reprise des idées principales (''''recall'' ou rappel'') et la précision (''''precision'''') sont plus importantes que d'obtenir une formulation exacte, ainsi ROUGE est calculé en comptant le nombre de mots ou de '''[[N-gramme|n-grammes]]''' qui se recoupent.<br /> <br /> *ROUGE est l'acronyme de « Recall-Oriented Understudy for Gisting Evaluation ».<br /> *ROUGE peut être calculé à l'aide de bibliothèque (''library'') '''[[SacreBLEU]]'''. <br /> *En raison des points faibles de ROUGE, ROUGE 2.0 à été proposé en 2018. <br /> *Même s'il s'agit d'un ensemble de métriques, on retrouve souvent la mention ''ROUGE score'' dans les textes.<br /> <br /> == Français ==<br /> ''' ROUGE'''<br /> <br /> == Anglais ==<br /> ''' ROUGE'''<br /> <br /> '''Recall-Oriented Understudy for Gisting Evaluation'''<br /> <br /> ROUGE stands for &quot;''Recall-Oriented Understudy for Gisting Evaluation''&quot; and it is a set of metrics and a software package used for evaluating automatic summarization and machine translation software in natural language processing. It is computed by counting the number of overlapping words or n-grams since capturing key ideas and recall is more important than exact wording for the summarization task.<br /> <br /> == Sources ==<br /> [https://aclanthology.org/W04-1013/ Source : ACL Anthology]<br /> <br /> [https://arxiv.org/abs/1803.01937 Source : arxiv]<br /> <br /> [https://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Source : Geeks for Geeks]<br /> <br /> [https://en.wikipedia.org/wiki/ROUGE_(metric) Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120830 GML comme juge 2026-04-21T19:09:23Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Ensemble de techniques de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk (2024) - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120829 GML comme juge 2026-04-21T19:08:19Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk (2024) - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_en_tant_que_juge&diff=120828 GML en tant que juge 2026-04-21T19:06:42Z <p>Patrickdrouin : Patrickdrouin a déplacé la page GML en tant que juge vers GML comme juge par-dessus une redirection</p> <hr /> <div>#REDIRECTION [[GML comme juge]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120827 GML comme juge 2026-04-21T19:06:41Z <p>Patrickdrouin : Patrickdrouin a déplacé la page GML en tant que juge vers GML comme juge par-dessus une redirection</p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk 2024 - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin https://datafranca.org/wiki/index.php?title=GML_comme_juge&diff=120826 GML comme juge 2026-04-21T19:06:23Z <p>Patrickdrouin : </p> <hr /> <div>== Définition ==<br /> Une (famille de) technique(s) de '''[[traitement automatique de la langue naturelle]]''' qui utilise un '''[[grand modèle de langues (GML)]]''' pour évaluer le travail d'un autre GML. <br /> <br /> == Compléments ==<br /> Une '''[[requête générative|requête]]''' effectuée dans le cadre d'une évaluation par un GML comporte en général les trois éléments suivants: le contexte de la tâche et les textes à évaluer, une explication des critères d'évaluation et un format de réponse qui encode la décision du « GML juge ».<br /> <br /> *Important: Cette technique ne supprime pas la nécessité du jugement humain.<br /> *Les GML (comme juge) performants peuvent établir une corrélation étroite avec les jugements humains sur de nombreuses tâches. Cependant, ils présentent des biais systématiques et des défaillances. <br /> *Dans certains cas, on peut donner au GML qui sert de juge un ou plusieurs textes de référence. <br /> <br /> == Français ==<br /> ''' GML comme juge'''<br /> <br /> ''' GML en tant que juge'''<br /> <br /> == Anglais ==<br /> ''' LLM-as-a-judge'''<br /> <br /> ''A (family of) technique(s) in natural language processing that uses one large language model (LLM) to evaluate another LLM’s work. A typical LLM-as-a-Judge setup consists of three elements: an input that contains the task context and candidate outputs to be evaluated, a prompt that explains the evaluation criteria, and a response format that encodes the judge's decision.''<br /> <br /> ''Strong LLM (judges) can correlate closely with human judgments on many tasks. However, it has systematic biases and failure modes. The task can have reference(s) or not. But most importantly, it doesn’t eliminate the need for human judgment.''<br /> <br /> == Sources ==<br /> [https://hal.science/hal-04782667v1/file/Techniques%20d%27audit%20des%20LLM%20VF%20HAL.pdf Duprieu et Berkouk 2024 - GML comme juge]<br /> <br /> [https://arxiv.org/abs/2411.15594 Source : arxiv]<br /> <br /> [https://towardsdatascience.com/llm-as-a-judge-a-practical-guide/ Source : towards data science]<br /> <br /> [https://en.wikipedia.org/wiki/LLM-as-a-Judge Source : Wikipedia]<br /> <br /> [[Catégorie:GRAND LEXIQUE FRANÇAIS]]</div> Patrickdrouin