Connais-tu HeyGen Video Translate ? Ce service de traduction / doublage automatique a littéralement casseé Internet depuis 1 semaine tellement son rendu est bluffant et proche de ce que ferait un doubleur professionnel.
Problème : Après 2 minutes de trucage gratuit (quand le service n’est pas en file d’attente), il faut passer à la caisse et payer 29$ pour 15 minutes de doublage.
Heureusement pour toi, j’ai trouvé 3 outils d’IA gratuits qui permettent de doubler une voix dans la langue de ton choix, l’ajouter à une vidéo en mode synchronisation des lèvres et améliorer la qualité de la vidéo doublée.
Les 3 outils qui permettent de reproduire l’effet HeyGen en vidéo
HeyGen Video Translate utilise :
- ElevenLabs pour créer un modèle de voix instantanée à partir de 30 secondes d’audio.
- Le modèle de machine learning Wav2Lip pour créer la synchronisation des lèvres avec la voix
- Un modèle d’IA SRGAN pour améliorer la netteté des lèvres et du visage doublée
Elevenlabs : Comment doubler une voix facilement en français, anglais, espagnol ?
En fait, Eleven Labs, c’est l’outil de text to speech qu’utilise HeyGen pour générer son clonage de voix instantané et multilingues.
HeyGen a cassé Internet, mais si il n’y avait pas l’IA de synthèse vocale Elevenlabs derrière, ils auraient juste casser ta voix.
Tu peux pour 1$ créer un clone instantané de ta voix (offre starter avec Instant Voice Cloning) et l’utiliser ensuite dans toutes les langues avec une limite très large de 40 000 caractères, ce qui correspond à 3h de voix !
Pour avoir le clone de voix parfait, enregistre toi avec un micro USB et un filtre anti-pop dans une pièce insonorisé en lisant 5 minutes de texte à haute voix comme je l’ai fait pour mon livre audio « Tous Influenceurs ».
Quand tu uploades ta voix dans VoiceLabs, décris-là ensuite avec du texte et quelques hashtags.
Une fois ta voix créée, retourne sur l’outil Speech Synthesis, sélectionne la voix clonée, mets 30% en stabilité et 80% en clarté.
Choisis le modèle v2 multilingues.
Et écris ton texte dans la langue de ton choix en t’aidant de ChatGPT. Exemple de texte en espagnol :
Voici ma voix clonée :
en Français
en Anglais
en Espagnol
Lalamu : une interface user friendly pour créer l’effet Wav2Lip
On a la voix, mais pas encore le visage, pour ce faire, il suffit d’utiliser Lalamu.
Tu uploades une vidéo de 30 secondes de toi en mp4 et ton clone de voix en mp3 créé par ElevenLabs et tu peux générer ensuite ton lip sync.
CapCut upscaler pour améliorer la qualité de la vidéo
Bon la qualité proposé par Lalamu n’est pas top, mais avec l’outil en ligne Capcut upscaler, tu vas pouvoir agrandir la vidéo en résolution 4k tout en améliorant la qualité !
CapCut pour créer des sous-titres automatiques
Après, toujours avec le même outil Capcut tu peux générer grâce à l’IA comme ceci des sous-titres automatiques.
J’ai d’ailleurs un tuto pour toi que tu peux consulter ici
2 réponses sur « HeyGen Video Translate sans limites grâce à 3 outils d’IA gratuits »
[…] modèles d’IA comme Whisper ou Eleven Labs facilitent énormément le sous-titrage et le doublage automatique des vidéos. Cela ouvre la porte […]
[…] Elevenlabs + Synclabs te permet d’avoir HeyGen Instant avatar totalement gratuit. […]