« Insertion de jeton » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (12 versions intermédiaires par 4 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Technique utilisée dans le '''[[préentraînement]]''' d’un modèle qui est | Technique utilisée dans le '''[[préentraînement]]''' d’un '''[[modèle de langue|modèle]]''' qui est similaire au '''[[masquage de jeton]]''' où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul '''[[jeton génératif]]'''. | ||
== Français == | == Français == | ||
''' | ''' insertion de jeton génératif''' | ||
''' insertion de jeton''' | |||
== Anglais == | == Anglais == | ||
''' | ''' text infilling''' | ||
== | == Sources == | ||
[https://arxiv.org/abs/2405.12630 Source : arxiv] | [https://arxiv.org/abs/2405.12630 Source : arxiv] | ||
[https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | [https://yangyutu.github.io/llm_book.github.io/docs/chapter_foundation/t5.html Source : GitHub] | ||
[[Catégorie: | [[Catégorie:GRAND_LEXIQUE_FRANÇAIS]] | ||
[[Catégorie:Publication]] | |||
Dernière version du 29 septembre 2026 à 14:48
Définition
Technique utilisée dans le préentraînement d’un modèle qui est similaire au masquage de jeton où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul jeton génératif.
Français
insertion de jeton génératif
insertion de jeton
Anglais
text infilling
Sources
Contributeurs: Arianne Arel, Claude Coulombe, Patrick Drouin, wiki
