Les opérateurs neuronaux sont des modèles de substitution efficaces pour résoudre des problèmes partiels.
équations différentielles (PDE), mais leurs composants clés sont confrontés à des défis: (1) dans
afin d'améliorer la précision, les mécanismes d’attention souffrent de calculs
inefficacité sur les maillages à grande échelle, et (2) les convolutions spectrales reposent sur le
Transformée de Fourier rapide (FFT) sur des grilles régulières et supposer une géométrie plate, lequel
provoque une dégradation de la précision sur les domaines irréguliers. Pour résoudre ces problèmes, nous
considérer les opérations matrice-vecteur dans le mécanisme d’attention standard sur
vecteurs dans l'espace euclidien sous forme de formes bilinéaires et opérateurs linéaires dans le vecteur
espaces et généraliser le mécanisme d’attention aux espaces de fonctions. Ce nouveau
Le mécanisme d’attention est tout à fait équivalent à l’attention standard mais
impossible à calculer en raison de la dimensionnalité infinie des espaces de fonctions. À
résoudre ce problème, inspiré des techniques de réduction de modèles, nous proposons un sous-espace
Attention paramétrée (SUPRA) opérateur neuronal, qui se rapproche de
mécanisme d'attention dans un sous-espace de dimension finie. Pour construire un
sous-espace sur des domaines irréguliers pour SUPRA, nous proposons d'utiliser le laplacien
fonctions propres, qui s'adaptent naturellement aux domaines’ géométrie et garantir la
approximation optimale pour des fonctions fluides. Les expériences montrent que le SUPRA
L'opérateur neuronal réduit les taux d'erreur jusqu'à 33% sur divers ensembles de données PDE tout en
maintenir une efficacité informatique de pointe.

Cet article explore les excursions dans le temps et leurs implications.

Télécharger PDF: