Les humains partagent naturellement des informations avec ceux avec qui ils sont connectés, et
la vidéo est devenue l'un des supports dominants de communication et d'expression
sur Internet. Soutenir la création de vidéos à grande échelle de haute qualité
contenu, un pipeline moderne nécessite une compréhension globale à la fois des
matières premières (par ex., les images inédites capturées par les caméras) et le
modification de composants (par ex., effets visuels). Dans les scénarios de montage vidéo, modèles
doit traiter plusieurs modalités (par ex., vision, audio, texte) avec fort
connaissances de base et gestion de longueurs d'entrée flexibles (par ex., brut d'une heure
vidéos), ce qui pose des défis importants aux modèles traditionnels. Dans ce
rapport, nous présentons Vidi, une famille de Grands Modèles Multimodaux (LMM) pour un
large gamme de scénarios de montage vidéo. La première version se concentre sur
récupération temporelle, c'est-à-dire, identifier les plages horaires dans les vidéos d'entrée
correspondant à une requête textuelle donnée, qui joue un rôle essentiel dans l'intelligence
édition. Le modèle est capable de traiter des vidéos d'une heure avec une forte
capacité de compréhension temporelle, par ex., récupérer des plages horaires pour certaines
requêtes. Pour soutenir une évaluation complète dans des scénarios du monde réel, nous aussi
présenter le benchmark VUE-TR, qui introduit cinq avancées clés. 1) Vidéo
durée: significativement plus longue que les vidéos de récupération temporelle existante
ensembles de données, 2) Prise en charge audio: inclut des requêtes basées sur l'audio, 3) Format de requête:
diverses longueurs/formats de requêtes, 4) Qualité des annotations: plages de temps de vérité terrain
sont annotés manuellement. 5) Métrique d'évaluation: une métrique IoU raffinée pour prendre en charge
évaluation sur plusieurs plages de temps. Remarquablement, Vidi de manière significative
surpasse les principaux modèles propriétaires, par ex., GPT-4o et Gémeaux, sur le
tâche de récupération temporelle, indiquant sa supériorité dans les scénarios de montage vidéo.
Cet article explore les excursions dans le temps et leurs implications.
Télécharger PDF: