Lo studio attuale descrive un metodo economicamente vantaggioso per l’adattamento di grandi dimensioni
modelli linguistici (LLM) per la consulenza accademica pensando a contesti di studio all'estero
e per l'applicazione in metodi di acculturazione con poche risorse. Con il
Modello Mistral-7B-Instruct applicato con un adattamento di basso rango (LoRA) metodo e
un metodo di quantizzazione a 4 bit, il modello è stato sottoposto ad addestramento in due distinti
fasi relative allo scopo di questo studio di migliorare la specificità del dominio mentre
mantenimento dell’efficienza computazionale. In fase 1, il modello è stato condizionato
con un set di dati sintetico tramite l'API Gemini Pro, e in Fase 2, è stato addestrato
con set di dati curati manualmente dal progetto StudyAbroadGPT da raggiungere
migliorato, risposte contestualizzate. Le innovazioni tecniche comportate
quantizzazione efficiente in termini di memoria, adattamento efficiente in termini di parametri, e continuo
analisi dell'allenamento tramite Pesi & Pregiudizi. Dopo l'allenamento, questo studio
dimostrato una riduzione della perdita di allenamento di 52.7%, 92% precisione nel
raccomandazioni specifiche per dominio, raggiunto 95% formattazione basata sul markdown
supporto, e un tasso di esecuzione medio di 100 campioni al secondo su GPU standard
attrezzatura. Questi risultati supportano l’applicazione efficace di
LLM mirati all'istruzione all'interno di consulenti educativi, soprattutto in risorse scarse
scenari istituzionali. Le limitazioni includevano una ridotta generalizzabilità e
l'applicazione di un set di dati generato sinteticamente, ma questo quadro lo è
scalabile per aggiungere nuova consulenza accademica multilingue potenziata e in tempo reale
processi. Le direzioni future potrebbero includere piani per l'integrazione di
generazione aumentata dal recupero, applicare routine di quantizzazione dinamica, E
connessione a database accademici in tempo reale per aumentare l'adattabilità e
precisione.
Questo articolo esplora i giri e le loro implicazioni.
Scarica PDF: