Il existe de nombreux outils et applications qui permettent de faire du deepfake de sa voix de manière simple et rapide, notamment pour modifier la voix d’une personne ou la faire correspondre aux mouvements de ses lèvres.
Dans cet article, nous allons vous présenter le Lipsync, une technique de synchronisation labiale qui consiste à faire en sorte que semblent synchronisés, d’une part, le mouvement des lèvres d’une personne ou d’un personnage, et d’autre part, les paroles ou les sons qu’il est censé prononcer.
Le Lipsync, c’est quoi ?
Le Lipsync est une technique qui existe depuis longtemps dans le domaine de l’audiovisuel. Elle est utilisée par les chanteurs, les acteurs ou les animateurs pour faire croire au public qu’ils chantent ou parlent réellement, alors qu’ils suivent à l’oreille un enregistrement préalablement effectué. On parle aussi de Playback.
Le Lipsync est aussi utilisé pour doubler une œuvre dans une langue étrangère, en adaptant le texte aux mouvements préexistants des lèvres. Le Lipsync peut être réalisé manuellement, en essayant de synchroniser le mieux possible le son et l’image, ou automatiquement, en utilisant des algorithmes d’intelligence artificielle qui analysent les expressions faciales et génèrent des mouvements de lèvres correspondants.
Wav2lip, une IA qui permet de faire du Lipsync automatiquement
Wav2lip est un outil open source qui utilise une IA pour faire du Lipsync automatiquement. Il suffit de fournir une vidéo et un fichier audio dans un Google Colab, et Wav2lip se charge de synchroniser les mouvements de lèvres du visage dans la vidéo avec le son dans le fichier audio. Wav2lip utilise un réseau neuronal profond qui apprend à partir de milliers d’exemples de vidéos avec du son.
Il peut ainsi produire des résultats réalistes et naturels, même avec des visages en mouvement ou des expressions variées. Wav2lip peut être utilisé pour faire du deepfake vocal, en changeant la voix d’une personne dans une vidéo, ou pour faire du doublage, en adaptant la voix à une autre langue.
Lalamu, une application et un service web gratuit pour faire du Lipsync
Lalamu est une application et un service web gratuit qui permettent de faire du Lipsync facilement et rapidement. Il suffit de choisir une vidéo parmi celles proposées sur le site ou d’en télécharger une depuis son ordinateur ou son smartphone, puis de choisir une voix parmi celles disponibles ou d’en enregistrer une avec son micro.
Lalamu se charge ensuite de synchroniser les mouvements de lèvres du visage dans la vidéo avec la voix choisie ou enregistrée en utilisant l’IA Wav2Lip. Lalamu peut être utilisé pour s’amuser à changer la voix d’une célébrité, d’un ami ou de soi-même dans une vidéo, ou pour créer des contenus originaux et créatifs lorsqu’on ne souhaite pas se mettre en avant.
Sur le site de démo, les enregistrements sont limités à 30 secondes. Sur l’application Android, on peut dépasser cette limite moyennant le visualisation de plusieurs publicités.
Quelques vidéos de Lipsync
Pour vous donner une idée du rendu du Lipsync, voici quelques exemples de vidéos réalisées avec Lalamu (site de démo Web de Lalamu).
J’ai ajouté ma voix dans le film les Affranchis
J’ai ajouté ma voix sur mon visage avec mes lèvres statiques
J’ai ajouté une voix de Family Guy sur mon visage statique
Tuto Lalamu en vidéo
Si vous voulez apprendre à utiliser Lalamu pour faire du Lipsync, voici un tutoriel vidéo TikTok de mon cru qui vous explique les étapes à suivre :
Voilà, vous savez maintenant comment deepfaker votre voix facilement grâce à l’IA et au Lipsync. N’hésitez pas à tester ces outils et à partager vos créations avec moi ! Et si vous avez aimé cet article, n’oubliez de le partager ! 😉
Une réponse sur « Deepfake voix : Comment truquer une vidéo facilement grâce à l’IA et au Lipsync ? »
[…] rendu est bluffant et réaliste, bien loin des logiciels de lipsync traditionnels. En utilisant FaceFusion, on a vraiment l’impression que la personnalité […]