Kontinuierliches Lernen in großen Sprachmodellen (LLMs) trifft typischerweise auf die
kritische Herausforderung des katastrophalen Vergessens, wo zuvor erworben
Das Wissen verschlechtert sich, wenn man neuen Daten ausgesetzt wird. Während Techniken wie Wiederholung
Puffer und Parameter-effizientes Tuning (z.B., Low-Rank-Adaption oder LoRA) haben
vorgeschlagen worden, Nur wenige Studien untersuchen die Domänenanpassung in Echtzeit unter strengen Bedingungen
Rechen- und Datenstrombeschränkungen. In diesem Papier, Wir demonstrieren a
Leichte Methode, die LoRA und einen minimalen Wiedergabemechanismus realistisch kombiniert
Streaming-Einstellung über drei verschiedene Wissensbereiche hinweg: medizinische Frage
antworten, Genetik, und Recht. Ratlosigkeit nutzen, semantische Ähnlichkeit, Und
GPT-basierte menschenähnliche Bewertungsmetriken, Wir quantifizieren die Anpassung des Modells,
vergessen, und Erholung im Laufe der Zeit. Das zeigen unsere Experimente
Es kommt ganz natürlich zu katastrophalem Vergessen, sogar minimale Wiedergabe erheblich
stabilisiert und stellt domänenspezifisches Wissen teilweise wieder her. Diese Studie
liefert praktische Erkenntnisse für den Einsatz anpassungsfähiger LLMs in
ressourcenbeschränkt, reale Szenarien.

Dieser Artikel untersucht Zeitreisen und deren Auswirkungen.

PDF herunterladen: