Dans ce dossier spécial sur la synthèse de l'IA, nous essayons de répondre à la question : un synthétiseur logiciel alimenté par l'IA pourrait-il un jour imiter un Roland Jupiter-8 ?

L’IA est partout ces jours-ci, rédigeant vos actualités et vous aidant à mixer vos chansons. Les synthétiseurs alimentés par l’IA sont cependant rares. Tout cela est sur le point de changer. Lisez la suite pour savoir comment.

Synthèse de l'IA

Seriez-vous surpris de lire que les phrases ci-dessus ont été écrites par une IA ? Moi aussi, car ce n’était pas le cas. Mais le fait que cela aurait pu être vrai en dit long sur la soudaine prévalence de l’IA dans nos vies. Les reportages écrits par l’IA comme ChatGPT deviennent normaux. L’IA s’infiltre également dans la musique, avec des chansons écrites par des algorithmes et des voix informatiques se faisant passer pour des chanteurs célèbres. C'est un nouveau monde courageux.

Pour nous, producteurs de musique, qui souhaitons créer des chansons en utilisant l’IA, il existe de nombreuses options. Des outils de mixage et de mastering d'iZotope et Sonible à Myxt, un espace de travail musical collaboratif, il existe de nombreuses façons musicales d'exploiter l'intelligence artificielle.

Un domaine qui n'est pas encore entièrement mis en ligne est Synthèse de l'IA—L'IA générant réellement le son. Bien qu’encore à ses balbutiements, cela se produit. Voyons où en est la technologie aujourd’hui et où elle pourrait aller. (Notez que ce qui suit n'est pas destiné à être une liste exhaustive mais juste un aperçu de la technologie actuellement disponible.)

Synthétiseurs matériels avec synthèse AI

Compte tenu de la nouveauté de la technologie, ainsi que de la puissance de traitement requise, il n'est pas surprenant que Synthétiseur matériel compatible avec la synthèse IA sont rares. Le principal instrument à noter est le Neurone de Hartmann, un synthétiseur polyphonique numérique du début des années 2000. Avec une technologie apparemment basée sur les réseaux de neuronesle Neuron permettait aux utilisateurs de re-synthétiser et échantillons de processus qui avait été converti en modèles informatiques numériques.

Plus à jour, mais encore au stade de prototype, est Neurorack, ce que le développeur Acids appelle « le tout premier synthétiseur en temps réel basé sur l’IA ». Le Synthé Eurorack s'appuie sur le NVIDIA Jetson Nano, un nano-ordinateur doté de 128 GPU et de quatre processeurs. Neurorack est capable de générer des sons d'impact et peut être contrôlé avec CV à partir d'autres modules. C’est à surveiller.

Acides Neurorack

Bien qu'il ne s'agisse pas de synthèse en soi, quelques-uns des synthés matériels récents de Roland, tels que le Jupiter-X et Juno-X avoir I-Arpège, un Arpégiateur alimenté par l'IA réalisé en collaboration avec l'Université Meiji Gakuin.

Roland Jupiter-X

Synthétiseurs logiciels avec synthèse AI

Il se passe également des choses intéressantes avec la synthèse de l’IA du côté logiciel. NSynth (Neural Audio Synthesis) est un application basée sur un réseau neuronal qui vous permet « d'interpoler entre des paires d'instruments pour créer de nouveaux sons », selon les mots de Magenta, le développeur (les Creative Labs de Google étaient également impliqués). NSynth est disponible en tant que périphérique MaxForLive, en tant qu'instrument Web appelé NPlayer et en tant que NSynth Super, un périphérique matériel DIY.

Magenta NSynth

Système par guk.AI est un Plugin alimenté par l'IA que vous pouvez utiliser dans votre DAW. UN programme générateur de sons, il vous permet de choisir le point de départ en fonction du type et du caractère, puis l'IA génère un nouveau son pour vous. Vous pouvez ensuite l'ajuster davantage avec un certain nombre de macros. Le plugin est disponible à la location ou à l'achat et il existe également une option gratuite.

Système Guk.ai

Tambours émergents est un boîte à rythme, pas un synthétiseur, mais l'approche de la synthèse est similaire. Le plugin d'Audiolab utilise un IA entraînée aux sons de percussions pour générer des échantillons de batterie nouveaux et uniques. Vous pouvez modifier les sons avec un certain nombre de paramètres, tels que la hauteur, l'enveloppe et le filtre, en fonction de vos besoins.

Tambours émergents

L'avenir de la synthèse de l'IA

C'est une chose très excitante, mais je ne peux m'empêcher de penser que d'autres choses pourraient se produire. Si l'IA peut chanter comme The Weekend et Liam Gallagher, ne pourrait-elle pas aussi sonner comme un Jupiter-8 ou un CS-80 ? Pour obtenir des réponses, je me suis tourné vers deux experts, Martin Broerse du développeur de plugins musicaux Martinic et Jessica Powell, PDG et co-fondatrice d'AudioShake, qui fait Logiciel d'isolation de tige alimenté par l'IA.

Vous connaissez peut-être Martinic pour ses émulations détaillées de l'Akai AX73. L'équipe a également aidé YouTuber Doctor Mix à réaliser son logiciel gratuit ChatGPT codé Synthétiseur AI Doctor Mix. J'ai demandé à Martin à quel point l'IA était actuellement utile pour créer des synthés logiciels. « À l’heure actuelle, l’IA est encore un un tout-petit qui écrit du code, » il a dit. « Sur le Doctor Mix AI Synth, cela entraînait d'énormes différences de volume et un ADSR statique. Mais comme vous pouvez le voir ici, vous pouvez toujours faire de la musique très cool avec.

AX73

Jessica d'AudioShake, lorsqu'on lui a posé la même question, a donné une réponse intéressante : «Si nous parlons de génération de mix complet, d’une manière générale, la meilleure « musique IA » à l’heure actuelle n’est pas l’IA générative. Il s'agit plutôt d'utiliser tiges sous licence fournis par des compositeurs – ou des stems créés par AudioShake au nom de ces compositeurs – à des services qui utilisent la théorie musicale classique et une certaine IA, pour combiner ces stems de nouvelles manières et générer de la nouvelle musique à partir de cela. Mais la musique entièrement générée par l’IA s’améliore de plus en plus. Et déjà, vous pouvez entendre une génération d’instruments au son de bonne qualité.»

AudioShake

La synthèse IA peut-elle copier un Jupiter-8 ?

Passons maintenant à la question à un million de dollars. Pouvez-vous prévoir un moment où l’IA pourrait être utilisée pour copier le son de célèbres synthétiseurs, un peu comme nous pouvons entraîner l’IA à chanter comme Drake ou Liam Gallagher d’Oasis aujourd’hui ?

« Je pense L'IA peut copier des synthétiseurs célèbres« , répondit Martin, « mais je pense que cela ne se produira pas dans les plugins VST/AU/CLAP/AAX mais sur des sites Web qui créent des chansons complètes sans utiliser de DAW. Ceci est dû au fait temps de calcul et Les modèles d'IA seront très gros et cela perturberait l'audio sur le matériel actuel si vous (essayiez de) l'implémenter localement. Je pense qu'il peut déjà être créé avec des modèles TensorFlow aujourd'hui

Jessica a eu une réponse similaire. « Finalement, bien sûr. Vous pouvez déjà en avoir une idée en insérant des invites autour de styles spécifiques dans des services tels que Riffusion. C'est amusant de jouer avec

Le principal problème de la synthèse de l’IA est la puissance de calcul

Le barrière principale cependant, comme Martin l'a mentionné, c'est Puissance de calcul. Cependant, il voit une voie à suivre.

« Je pense les choses peuvent changer si les ordinateurs du studio et de la maison devenaient beaucoup plus puissants », a-t-il déclaré. « Pour le moment, nous devons encore écrire du code C++ très optimisé pour ne pas utiliser trop de mémoire et de puissance CPU afin de faire fonctionner les émulations sans perturber le système. Pour le moment, cela serait impossible sur le matériel actuel avec un AI Synth. Dans le avenir Le cryptage des sites Web devrait être piratable d’ici quelques heures par… des supercalculateurs.

Parce que cette étape à l'horizon rendra impossible le cryptage actuel, on s'attend à ce que lorsque cela se produira, pour exécuter des logiciels bancaires, les ordinateurs locaux devront être remplacés par des ordinateurs 100 fois plus puissants pour rendre possible un nouveau cryptage sécurisé pour les opérations bancaires. On peut donc dire que les hackers… permettront à l’avenir de créer des plugins d’émulation VST/AU/CLAP/AAX basés sur des modèles d’IA qui seront aussi performants que notre manière actuelle de modéliser les instruments

Des modèles d’IA qui seront aussi performants que les plugins de modélisation actuels. Je ne peux pas attendre.

En savoir plus sur la synthèse de l'IA :

  • Tout sur les synthétiseurs
  • Tout sur l'intelligence artificielle dans les plugins

Vidéos:

*Remarque : cet article contient des liens promotionnels qui nous aident à financer notre site. Ne vous inquiétez pas : le prix pour vous reste toujours le même ! Si vous achetez quelque chose via ces liens, nous recevrons une petite commission. Merci pour votre soutien!