One word for another? Analysis and comparison of eight automatic transcription platforms
Un mot pour un autre ? Analyse et comparaison de huit plateformes de transcription automatique
Résumé
This article compares the functionalities and results of eight automatic transcription platforms (Go Transcribe, Happy Scribe, Headliner, Sonix, Video Indexer, Vocalmatic, Vocapia and YouTube), for audio samples in French. We propose an original methodology, designed through an interdisciplinary work, to compare the transcriptions. It combines three complementary approaches: (1) a quantitative approach which compares the textual outcomes using a common metric, the Word Error Rate (WER), (2) a fine-grained approach to classify and understand the errors generated by the platforms, and finally (3) an approach estimating the amount of transcription time which can be saved for each file on each platform. We show that no platform surpassed the others for all the samples, but two nevertheless stood out: Vocapia and Sonix, each with their own areas of expertise. Regardless of the type of file or platform, listening and correcting the text remains a necessary step. However the use of such tools can save up to 75% of time compared with manual transcription. Yet, the use of these online tools can create major problems relating to data confidentiality and security. Finally, we reflect on the interdisciplinary setting that made this project possible. Résumé Cet article compare les fonctionnalités et résultats de huit outils de transcription automatique (Go Transcribe, Happy Scribe, Headliner, Sonix, Video Indexer, Vocalmatic, Vocapia et YouTube), pour des extraits audio de langue française. Une méthodologie innovante, fruit d'un travail interdisciplinaire, est proposée pour comparer les transcriptions. Elle repose sur un assemblage de trois approches complémentaires : (1) une approche quantitative de comparaison de textes à partir d'une métrique couramment employée, le Word Error Rate (WER), (2) une approche fine de classification et compréhension des erreurs générées par les plateformes, et enfin (3) une estimation du potentiel de gain de temps de transcription pour chacun des fichiers et des plateformes. In fine, aucune plateforme ne serait plus efficace que les
Cet article compare les fonctionnalités et résultats de huit outils de transcription automatique (Go Transcribe, Happy Scribe, Headliner, Sonix, Video Indexer, Vocalmatic, Vocapia et YouTube), pour des extraits audio de langue française. Une méthodologie innovante, fruit d’un travail interdisciplinaire, est proposée pour comparer les transcriptions. Elle repose sur un assemblage de trois approches complémentaires : (1) une approche quantitative de comparaison de textes à partir d’une métrique couramment employée, le Word Error Rate (WER), (2) une approche fine de classification et compréhension des erreurs générées par les plateformes, et enfin (3) une estimation du potentiel de gain de temps de transcription pour chacun des fichiers et des plateformes. In fine, aucune plateforme ne serait plus efficace que les autres pour l’ensemble des extraits audio mais deux outils se démarquent : Vocapia et Sonix, chacun ayant ses domaines de prédilection. Quel que soit le type de fichier ou de plateforme, un temps de réécoute et de correction reste indispensable à l’issue des traitements, pour un gain de temps final observé pouvant aller jusqu’à 75 % par rapport à une transcription manuelle. Par ailleurs, l’utilisation de ces outils en ligne peut engendrer des problèmes importants liés à la confidentialité et la sécurité des données. Pour finir, nous revenons sur l’expérience de travail interdisciplinaire qui a rendu ce projet possible.
Domaines
Sciences de l'Homme et Société| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|
