Optimisation directe des préférences - Historique des versions

Pitpitt le 10 août 2026 à 18:31

2026-08-10T18:31:31Z

← Version précédente		Version du 10 août 2026 à 14:31
Ligne 20 :		Ligne 20 :
	[https://arxiv.org/abs/2305.18290 Source : arxiv ]		[https://arxiv.org/abs/2305.18290 Source : arxiv ]

	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Patrickdrouin le 4 août 2026 à 19:21

2026-08-04T19:21:41Z

← Version précédente		Version du 4 août 2026 à 15:21
Ligne 5 :		Ligne 5 :
	L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue\|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].		L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue\|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].

	Alors que les modèles de ~~langue non supervisés à grande échelle~~ acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement ~~en raison~~ de la nature ~~totalement non supervisée~~ de ~~leur formation~~.		Alors que les grands modèles de langues acquièrent par le biais de texte une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement de par la nature floue du jeu de données d'entraînement (la langue).

	Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable.		Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable.

Patrickdrouin le 4 août 2026 à 19:11

2026-08-04T19:11:19Z

← Version précédente		Version du 4 août 2026 à 15:11
Ligne 3 :		Ligne 3 :

	== Compléments ==		== Compléments ==
			L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'[[échantillonnage]] à partir du [[modèle de langue\|modèle de langue]] lors du réglage fin ou de l'exécution d'un réglage important des [[hyperparamètres]].

	~~L'algorithme résultant est stable, performant~~ et ~~léger en termes~~ de ~~calcul~~, ~~éliminant le besoin~~ d'~~échantillonnage à partir du modèle~~ de ~~langue lors du réglage fin ou~~ de ~~l'exécution d'un réglage important des hyperparamètres~~.		Alors que les modèles de langue non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

	~~Alors que les~~ modèles de ~~langage~~ non ~~supervisés~~ à ~~grande échelle acquièrent une connaissance générale du monde~~ et ~~certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation~~.		Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable.

	Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable.
	== Français ==		== Français ==
	''' optimisation directe des préférences '''		''' optimisation directe des préférences '''
Ligne 18 :		Ligne 18 :

	==Sources==		==Sources==

	[https://arxiv.org/abs/2305.18290 Source : arxiv ]		[https://arxiv.org/abs/2305.18290 Source : arxiv ]

	[[Catégorie:Publication]]		[[Catégorie:Publication]]

Claude COULOMBE le 4 août 2026 à 19:07

2026-08-04T19:07:34Z

← Version précédente		Version du 4 août 2026 à 15:07
Ligne 8 :		Ligne 8 :
	Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.		Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

	Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH).		Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH) qui est souvent complexe et instable.

	~~Cependant, le ARRH~~ est ~~une procédure~~ complexe et ~~souvent~~ instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.
	== Français ==		== Français ==
	''' optimisation directe des préférences '''		''' optimisation directe des préférences '''

Patrickdrouin le 4 août 2026 à 19:02

2026-08-04T19:02:59Z

← Version précédente		Version du 4 août 2026 à 15:02
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
	L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification.		L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans l'[[apprentissage par renforcement avec rétroaction humaine]] (ARRH) qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème d'ARRH standard avec seulement une simple perte de classification.

	== Compléments ==		== Compléments ==

Patrickdrouin le 4 août 2026 à 19:00

2026-08-04T19:00:55Z

← Version précédente		Version du 4 août 2026 à 15:00
Ligne 1 :		Ligne 1 :
	== Définition ==		== Définition ==
			L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification.

			== Compléments ==

			L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.

	Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.		Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

Ligne 5 :		Ligne 11 :

	Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.		Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.

	L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.

	== Français ==		== Français ==
	''' optimisation directe des préférences '''		''' optimisation directe des préférences '''
Ligne 20 :		Ligne 23 :
	[https://arxiv.org/abs/2305.18290 Source : arxiv ]		[https://arxiv.org/abs/2305.18290 Source : arxiv ]

	[[Catégorie:~~GRAND LEXIQUE FRANÇAIS~~]]		[[Catégorie:Publication]]

Pitpitt le 27 août 2024 à 13:43

2024-08-27T13:43:17Z

← Version précédente		Version du 27 août 2024 à 09:43
Ligne 20 :		Ligne 20 :
	[https://arxiv.org/abs/2305.18290 Source : arxiv ]		[https://arxiv.org/abs/2305.18290 Source : arxiv ]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Pitpitt : Pitpitt a déplacé la page Direct Preference Optimization vers Optimisation directe des préférences

2024-08-27T13:41:49Z

Pitpitt a déplacé la page Direct Preference Optimization vers Optimisation directe des préférences

← Version précédente	Version du 27 août 2024 à 09:41
(Aucune différence)

Bouchard le 26 août 2024 à 16:57

2024-08-26T16:57:23Z

← Version précédente		Version du 26 août 2024 à 12:57
Ligne 13 :		Ligne 13 :
	== Anglais ==		== Anglais ==
	''' Direct Preference Optimization '''		''' Direct Preference Optimization '''

	''' DPO '''		''' DPO '''

Bouchard le 26 août 2024 à 16:57

2024-08-26T16:57:08Z

← Version précédente		Version du 26 août 2024 à 12:57
Ligne 1 :		Ligne 1 :
	==~~en construction~~==		== Définition ==
			Alors que les modèles de langage non supervisés à grande échelle acquièrent une connaissance générale du monde et certaines compétences de raisonnement, il est difficile d'obtenir un contrôle précis de leur comportement en raison de la nature totalement non supervisée de leur formation.

			Les méthodes existantes pour obtenir une telle maniabilité collectent des étiquettes humaines sur la qualité relative des générations de modèles et affinent le modèle de langue non supervisé pour l'aligner sur ces préférences, souvent avec l'apprentissage par apprentissage par renforcement à rétroaction humaine (ARRH).

			Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.

	~~== Définition ==~~		L'optimisation directe des préférences (DPO) est une paramétrisation du modèle de récompense dans le ARRH qui permet d'extraire la politique optimale correspondante sous forme fermée, ce qui permet de résoudre le problème ARRH standard avec seulement une simple perte de classification. L'algorithme résultant est stable, performant et léger en termes de calcul, éliminant le besoin d'échantillonnage à partir du modèle de langue lors du réglage fin ou de l'exécution d'un réglage important des hyperparamètres.
	~~XXXXXXXXX~~

	== Français ==		== Français ==
	''' ~~XXXXXXXXX~~ '''		''' optimisation directe des préférences '''

	== Anglais ==		== Anglais ==
	''' Direct Preference Optimization'''		''' Direct Preference Optimization '''
			''' DPO '''
	While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining such steerability collect human labels of the relative quality of model generations and fine-tune the unsupervised LM to align with these preferences, often with reinforcement learning from human feedback (RLHF). However, RLHF is a complex and often unstable procedure, first fitting a reward model that reflects the human preferences, and then fine-tuning the large unsupervised LM using reinforcement learning to maximize this estimated reward without drifting too far from the original model. In this paper we introduce a new parameterization of the reward model in RLHF that enables extraction of the corresponding optimal policy in closed form, allowing us to solve the standard RLHF problem with only a simple classification loss. The resulting algorithm, which we call Direct Preference Optimization (DPO), is stable, performant, and computationally lightweight, eliminating the need for sampling from the LM during fine-tuning or performing significant hyperparameter tuning. Our experiments show that DPO can fine-tune LMs to align with human preferences as well as or better than existing methods. Notably, fine-tuning with DPO exceeds PPO-based RLHF in ability to control sentiment of generations, and matches or improves response quality in summarization and single-turn dialogue while being substantially simpler to implement and train.

	==Sources==		==Sources==


	[https://arxiv.org/abs/2305.18290 Source : arxiv ]		[https://arxiv.org/abs/2305.18290 Source : arxiv ]



	[[Catégorie:vocabulary]]		[[Catégorie:vocabulary]]

Optimisation directe des préférences - Historique des versions

Pitpitt le 10 août 2026 à 18:31

Patrickdrouin le 4 août 2026 à 19:21

Patrickdrouin le 4 août 2026 à 19:11

Claude COULOMBE le 4 août 2026 à 19:07

Patrickdrouin le 4 août 2026 à 19:02

Patrickdrouin le 4 août 2026 à 19:00

Pitpitt le 27 août 2024 à 13:43

Pitpitt : Pitpitt a déplacé la page Direct Preference Optimization vers Optimisation directe des préférences

Bouchard le 26 août 2024 à 16:57

Bouchard le 26 août 2024 à 16:57

Pitpitt : Pitpitt a déplacé la page Direct Preference Optimization vers Optimisation directe des préférences