CorentinJ/Real-Time-Voice-Cloning : Clone a voice in 5 seconds to generate arbitrary speech in real-time

Apparemment, ceci ferait le job :
▻https://aliaksandrsiarohin.github.io/first-order-model-website

et les sources ici :
▻https://github.com/AliaksandrSiarohin/first-order-model

Mais les deepfakes ne sont pas tant une histoire de puissance de la machine, comme toutes les deep choses, le machine learning ne marche que si tu as une quantité de données monstrueuses à lui donner à manger en amont. Donc qu’il y ait des algorithmes libres, du code libre, etc, aboutit rarement à grand chose vu que ce qui importe depuis des années c’est acquérir des big datas à fournir à ces algo.

Once trained on a set

J’ai pas réussi à l’installer chez moi, mais il me semble justement que le « First order model » ci-dessus, il fournit des données de référence pour différentes situations (notamment les visages).

J’ai vu cette vidéo sur Youtube, apparemment c’est pas ultra-compliqué à mettre en œuvre, sans justement avoir à collecter et analyser des milliers des vidéos :
▻https://www.youtube.com/watch?v=AtnjRWjpyfA

Yes ! J’en ai un peu chié (en fait, pas « un peu » : carrément… parce qu’installer tout ça sur un Mac M1, c’est pas évident quand on est une bille comme moi et qu’on ne sait pas à quoi servent toutes ces « dépendances »), et voici un tout tout premier essai :
▻https://i.imgur.com/Pklg3Qd.mp4

Va falloir travailler les réglages, les images, avoir sans doute une vidéo qui bouge moins, et sans doute retirer mes lunettes quand je me filme… Mais bon, ça m’a compilé le truc…

En progrès : Abraham Fontanel avec un accent parigot. Je me suis filmé à la lumière, j’ai retiré mes lunette, et j’ai moins tourné la tête.
▻https://i.imgur.com/OhxOpe9.mp4

Par contre, pytorch n’utilise pas l’accélération matérielle sur Apple Silicon, du coup c’est assez lent à calculer (ça a calculé cette vidéo en 14 minutes).

Je sens que des idées te viennent pour la médiation en musée, à faire parler les tableaux sur les tables tactiles :p

On s’amuse en famille…

▻https://i.imgur.com/Juourlw.mp4

@rastapopoulos C’est mon premier but, oui. Juste là maintenant tout de suite, j’ai planqué 3 petites animations dans la page d’accueil de Fabre dans mon canapé :
►https://fabre.montpellier3m.fr

(Je ne sais pas si ça restera, ou si au contraire on pourra en ajouter. C’est assez iconoclaste comme principe…)

▻https://i.imgur.com/G2Qmr0A.mp4

Ah, j’ai enfin réussi à installer l’autre script, « Face détection », qui permet de fabriquer des recadrages optimisés de la vidéo de référence. Et évidemment ça donne de meilleurs résultats…

▻https://i.imgur.com/pLp2ErQ.mp4

Autre essai : réinstaller la vidéo produite dans le tableau d’origine. Comme la vidéo produite ne fait que 256x256 pixels, elle est vraiment très petite. Mais si je peux réinstaller le visage sur le corps dans le tableau, ça me redonnerait une certaine latitude.

Avec mon premier essai, ça donne ça :

►https://i.imgur.com/6MLfry7.mp4

(Pas mal, je trouve. Pour améliorer le résultat, il faudrait sans doute faire attention à ne pas bouger les épaules.)

Est-ce que ça fonctionne avec les statues ? (MyHeritage ne fonctionne pas du tout avec les statues.) Hé ben oui… c’est un peu plus sensible, mais le résultat a pas mal :

▻https://i.imgur.com/nk7DlUh.mp4

Nouvel essai, avec le monologue qui a bouleversé mon adolescence. Et donc l’algorithme d’intelligence artificielle n’est pas très intelligent : il se fait complètement perturber par… la pluie qui tombe. M’enfin c’est super-émotivationnant quand même, cette scène…
▻https://i.imgur.com/atWzTjn.mp4

Pour illustrer le principe :

1. Je filme (ou je récupère) une vidéo d’une personne face caméra qui dit des choses :

▻https://www.youtube.com/watch?v=nBXPDnD4gyc

2. Je recadre cette vidéo dans un carré centré sur le visage de la personne.

3. Je prend un tableau du musée, et là-dedans je découpe aussi un carré centré sur le visage.

4. Je passe mon script, et j’obtiens une vidéo carrée, de 256x256 pixels, du tableau du musée en train d’imiter la vidéo d’origine.

5. Je mets cette petite vidéo dans un logiciel de montage (en l’occurence la version gratuite de Da Vinci Resolve), je remets la piste son d’origine. Et ça me donne les vidéos carrées ci-dessus.

6. Et si je veux une « grande » vidéo, je reprends le tableau complet, et j’y insère la vidéo carrée sur le visage, pour que ça me fasse le tableau entier… animé.

▻https://vimeo.com/520427914

Il existe un outil au principe similaire, mais appliqué au son de la voix :
▻https://github.com/CorentinJ/Real-Time-Voice-Cloning

qu’est-ce qui fait que c’est limité à 256 pixels ?

Le script est configuré en 256x256. J’ai essayé de modifier le script lui-même, ainsi que le fichier de config (.yaml), mais ça ne fonctionne pas bien du tout. Je suspecte qu’il faudrait recalculer aussi les fichiers de référence (« checkpoints »), en refaisant tout l’apprentissage (je ne suis même pas certain que ce soit ça).

Et pour l’instant c’est largement en dehors de mes compétences (et de mon ordinateur, au moins tant que pytoch n’est pas optimisé pour Apple Silicon).

Je ne sais plus si j’avais référencé (#shameless_autopromo) le fait que le musée Fabre nous avait finalement commandé quelques petites films pour annoncer la réouverture du musée…

Avec Diala incarnant évidemment l’héroïne d’un poème orientaliste (Albaydé, tiré de Victor Hugo) :
▻https://vimeo.com/528703934

Diala donnant la réplique au conservateur du musée :
▻https://vimeo.com/528703968

Et Bibi parce que j’ai vu le Cid au collège :
▻https://vimeo.com/528704035/92764c9d48