Les conditions de parole et de voix peuvent altérer les propriétés acoustiques de la parole,
ce qui pourrait avoir un impact sur les performances des modèles paralinguistiques pour l'affect pour
les personnes avec un discours atypique. Nous évaluons des modèles accessibles au public pour
reconnaître l'affect catégoriel et dimensionnel de la parole sur un ensemble de données de
discours atypique, comparer les résultats à des ensembles de données de discours typiques. Nous
étudier trois dimensions de l'atypique de la parole: intelligibilité, ce qui est
lié à la prononciation; monoplace, qui est lié à la prosodie, et
dureté, qui est lié à la qualité de la voix. Nous regardons (1) distributionnel
les tendances des prédictions d'effet catégoriel au sein de l'ensemble de données, (2) distributionnel
comparaisons de prédictions d’effets catégoriels avec des ensembles de données similaires d’effets typiques
discours, et (3) forces de corrélation entre les prédictions de texte et de parole pour
discours spontané pour la valence et l'excitation. Nous constatons que la sortie de l’affect
les modèles sont significativement influencés par la présence et le degré de parole
atypiques. Par exemple, le pourcentage de discours prédit comme étant triste est
significativement plus élevé pour tous les types et niveaux de discours atypiques par rapport
à des ensembles de données vocales typiques similaires. Dans le cadre d'une enquête préliminaire visant à améliorer
robustesse pour discours atypique, nous constatons que des modèles de réglage fin sur
les données vocales atypiques pseudo-étiquetées améliorent les performances sur la parole atypique
sans impacter les performances sur la parole typique. Nos résultats soulignent la nécessité
pour des ensembles de données de formation et d'évaluation plus larges pour les modèles d'émotions vocales, et pour
des approches de modélisation robustes aux différences de voix et de parole.

Cet article explore les excursions dans le temps et leurs implications.

Télécharger PDF: