Autorégressif (RA) modèles, longtemps dominant dans la génération linguistique, sont
de plus en plus appliqués à la synthèse d'images mais sont souvent considérés comme moins
compétitifs par rapport aux modèles basés sur la diffusion. Une limitation principale est la
nombre important de jetons d'image requis pour les modèles AR, ce qui contraint
efficacité de la formation et de l'inférence, ainsi que la résolution de l'image. Pour aborder
ce, nous présentons Token-Shuffle, une méthode nouvelle mais simple qui réduit le
nombre de jetons d'image dans Transformer. Notre idée clé est la dimension
redondance des vocabulaires visuels dans les grands modèles linguistiques multimodaux (MLLM),
où les codes visuels de basse dimension de l'encodeur visuel sont directement mappés à
vocabulaires linguistiques de grande dimension. Tirer parti de cela, nous considérons deux clés
opérations: mélange de jetons, qui fusionne les jetons spatialement locaux le long du canal
dimension pour diminuer le nombre de jetons d'entrée, et jeton-unshuffle, lequel
démêle les jetons déduits après les blocs de Transformer pour restaurer l'espace
arrangement pour la sortie. Entraînement conjoint avec des invites textuelles, notre stratégie
ne nécessite aucun encodeur de texte pré-entraîné supplémentaire et permet aux MLLM de prendre en charge
synthèse d'images à très haute résolution dans une prédiction unifiée du prochain jeton
manière tout en maintenant une formation et une inférence efficaces. Pour la première fois, nous
repousser les limites de la génération de texte en image AR à une résolution de 2048×2048
avec des performances de génération gratifiantes. Dans le benchmark GenAI, notre modèle 2.7B
réalise 0.77 score global sur les invites difficiles, modèles AR surperformants LlamaGen
par 0.18 et modèles de diffusion LDM par 0.15. Humain exhaustif à grande échelle
les évaluations démontrent également notre capacité importante à générer des images en termes de
alignement du texte, défaut visuel, et aspect visuel. Nous espérons que Token-Shuffle
peut servir de conception fondamentale pour une image haute résolution efficace
génération au sein des MLLM.
Cet article explore les excursions dans le temps et leurs implications.
Télécharger PDF: