Meta dévoile de nouveaux outils d'IA de synthèse texte-musique pour concurrencer ceux de Google
Avec l’IA, savoir taper une invite pourrait être la seule compétence dont vous avez besoin pour générer une chanson.
L'intelligence artificielle s'est lentement glissée dans l'industrie musicale, créant des chansons virales, ramenant d'entre les morts les voix de nos chanteurs préférés et se qualifiant même pour un Grammy (en quelque sorte). Meta a publié de nouveaux outils d'IA qui rendront l'utilisation de l'IA pour générer de la musique encore plus facile.
Mardi, Meta a dévoilé AudioCraft, un ensemble de modèles d'IA génératifs capables de créer de la musique « de haute qualité et réaliste » à partir de texte, selon Meta.
🎵 Aujourd'hui, nous partageons des détails sur AudioCraft, une famille de modèles d'IA génératifs qui vous permet de générer facilement de l'audio et de la musique de haute qualité à partir de texte.https://t.co/04XAq4rlap pic.twitter.com/JreMIBGbTF
Audiocraft se compose de trois modèles d'IA générative de Meta : MusicGen, AudioGen et EnCodec. MusicGen et AudioGen génèrent tous deux du son à partir de texte, l'un générant de la musique et le second générant des effets audio et sonores spécifiques.
Vous pouvez visiter MusicGen sur HuggingFace et jouer avec la démo. Pour l'invite, vous pouvez décrire n'importe quel type de musique que vous aimeriez entendre, de n'importe quelle époque. Par exemple, Meta partage l'exemple "Une chanson pop entraînante des années 80 avec une batterie lourde et des pads de synthé en arrière-plan".
EnCodec est un codec audio composé de réseaux de neurones qui compressent l'audio et reconstruisent le signal d'entrée. Dans le cadre de cette annonce, Meta a publié la version la plus améliorée d'Encodec qui permet des générations de musique de meilleure qualité avec moins d'artefacts, selon le communiqué.
Meta a également publié les modèles AudioGen pré-entraînés, qui permettent aux utilisateurs de générer des sons environnementaux et des effets sonores tels que les aboiements d'un chien ou les craquements du sol.
Enfin, Meta a partagé les poids et le code des trois modèles open source afin que les chercheurs et les praticiens puissent les exploiter pour former d'autres modèles.
Meta partage dans la version qu'AudioCraft a le potentiel de devenir un nouveau type d'instrument standard comme les synthétiseurs le sont autrefois.
"Avec encore plus de contrôles, nous pensons que MusicGen peut devenir un nouveau type d'instrument, tout comme les synthétiseurs lors de leur apparition", a déclaré Meta.
Ce n’est pas le premier modèle d’IA générative de cette nature. Google a lancé MusicLM en janvier, son propre modèle capable de transformer du texte en musique. Un récent article de recherche a révélé que Google utilise également l’IA pour reconstruire la musique à partir de l’activité du cerveau humain.