La présente étude décrit une méthode rentable pour adapter les grands
modèles de langage (LLM) pour des conseils académiques dans le contexte d'études à l'étranger
et pour application dans les méthodes d’acculturation à faibles ressources. Avec le
Modèle Mistral-7B-Instruct appliqué avec une adaptation de bas rang (LoRA) méthode et
une méthode de quantification sur 4 bits, le modèle a suivi une formation dans deux domaines distincts
étapes liées à l’objectif de cette étude d’améliorer la spécificité du domaine tout en
maintenir l'efficacité informatique. En phase 1, le modèle a été conditionné
avec un jeu de données synthétique via l'API Gemini Pro, et en phase 2, il a été formé
avec des ensembles de données sélectionnés manuellement du projet StudyAbroadGPT pour atteindre
amélioré, réponses contextualisées. Innovations techniques impliquées
quantification efficace en mémoire, adaptation efficace en fonction des paramètres, et continu
analyse de formation via Weights & Biais. Après la formation, cette étude
démontré une réduction de la perte d’entraînement de 52.7%, 92% précision dans
recommandations spécifiques au domaine, atteint 95% formatage basé sur les démarques
soutien, et un taux d'exécution médian de 100 échantillons par seconde sur GPU disponible dans le commerce
équipement. Ces résultats soutiennent l’application efficace de
LLM adaptés à l'enseignement au sein des conseillers pédagogiques, surtout dans les pays à faibles ressources
scénarios institutionnels. Les limites comprenaient une généralisabilité réduite et
l'application d'un ensemble de données généré synthétiquement, mais ce cadre est
évolutif pour ajouter de nouveaux conseils académiques multilingues augmentés et en temps réel
processus. Les orientations futures pourraient inclure des plans pour l’intégration de
génération augmentée par récupération, appliquer des routines de quantification dynamique, et
se connecter à des bases de données académiques en temps réel pour accroître l'adaptabilité et
précision.
Cet article explore les excursions dans le temps et leurs implications.
Télécharger PDF: