Autoregressivo (AR) modelli, a lungo dominante nella generazione del linguaggio, Sono
sempre più applicati alla sintesi di immagini ma spesso sono considerati meno
competitivo rispetto ai modelli basati sulla diffusione. Una limitazione principale è la
numero sostanziale di token immagine richiesti per i modelli AR, che vincola
sia l’efficienza dell’addestramento che quella dell’inferenza, così come la risoluzione dell'immagine. Per indirizzare
Questo, presentiamo Token-Shuffle, un metodo nuovo ma semplice che riduce il
numero di token immagine in Transformer. La nostra intuizione chiave è quella dimensionale
ridondanza di vocabolari visivi in ​​Multimodal Large Language Models (MLLM),
dove i codici visivi a bassa dimensione del codificatore visivo vengono direttamente mappati
vocabolari linguistici ad alta dimensione. Sfruttando questo, consideriamo due chiavi
operazioni: mescolamento di gettoni, che unisce token spazialmente locali lungo il canale
dimensione per diminuire il numero del token di input, e token-unshuffle, Quale
districa i token dedotti dopo che Transformer si blocca per ripristinare lo spazio
disposizione per l'uscita. Formazione congiunta con istruzioni testuali, la nostra strategia
non richiede alcun codificatore di testo preaddestrato aggiuntivo e consente il supporto di MLLM
sintesi di immagini ad altissima risoluzione in una previsione unificata del token successivo
modo mantenendo un addestramento e un’inferenza efficienti. Per la prima volta, Noi
spingere il limite della generazione di testo in immagine AR fino a una risoluzione di 2048×2048
con prestazioni generazionali gratificanti. Nel benchmark GenAI, il nostro modello 2.7B
raggiunge 0.77 punteggio complessivo sui suggerimenti difficili, sovraperformando i modelli AR LlamaGen
di 0.18 e modelli di diffusione LDM di 0.15. Umano esaustivo su larga scala
le valutazioni dimostrano anche la nostra prominente capacità di generazione di immagini in termini di
allineamento del testo, difetto visivo, e aspetto visivo. Ci auguriamo che Token-Shuffle
può servire come progetto fondamentale per un'immagine efficiente ad alta risoluzione
generazione all’interno dei MLLM.

Questo articolo esplora i giri e le loro implicazioni.

Scarica PDF: