Dans un mouvement légèrement inattendu, Google a publié les détails de l’interface physique expérimentale NSynth Super pour l’algorithme NSynth. Inattendu dans la mesure où je n’imaginais pas Google se lancer dans la synthèse matérielle, mais seulement « légèrement » car ils ont manifesté un intérêt via leur travail avec le Web MIDI dans Google chrome et leurs divers doodles Google musicalement interactifs. Donc de quoi est-il question?
NSynth Super
Il s’agit d’une expérience en cours menée par Magneta, un projet de recherche au sein de Google qui explore comment les outils d’apprentissage automatique peuvent aider l’art et la musique de nouvelles façons. Cette machine est basée sur l’algorithme NSynth qui utilise un réseau neuronal profond pour comprendre les caractéristiques du son, puis utiliser ces connaissances pour créer de nouveaux sons. Cela ressemble-t-il énormément à de la modélisation physique et acoustique ? Oui, mais plus intelligent en quelque sorte.
En jouant avec l’algorithme, ils ont développé du matériel pour permettre aux gens d’interagir et de jouer avec les sons d’une manière plus humaine et moins scientifique. Le NSynth Super est un prototype créé en collaboration avec Google Creative Lab. Il permet de bidouiller dans l’espace entre 4 sources sonores disposées dans les angles. Lorsque vous déplacez votre doigt sur l’écran inspiré de Kaos Pad, vous ne mélangez pas les sons, mais l’algorithme génère des sons complètement nouveaux basés sur le mélange des caractéristiques des 4 originaux.
Dans la vidéo ci-dessous, ils ont échantillonné 16 sources sonores sur 15 hauteurs et les ont insérées dans l’algorithme. Plus de 100 000 nouveaux sons sont sortis de l’autre côté. Cela semble impressionnant, mais n’allez-vous pas essentiellement vous retrouver avec des milliers de sons très similaires ? Composez les sons avec les 4 boutons et NSynth combinera les qualités acoustiques de ces sons par rapport à la position de votre doigt.
Ce type de modélisation acoustique par morphing n’est pas vraiment nouveau. Je me souviens avoir combiné des caractéristiques acoustiques sur le Technics WSA1 en 1995. Et depuis lors, la modélisation physique est devenue une fonctionnalité standard dans la synthèse matérielle et logicielle. Je suppose que ce qui est nouveau ici, c’est la génération de sons par interpolation de données tirées de sources existantes. La question sera toujours de savoir si cela génère quelque chose de valeur ou d’utilité musicale ?
Open source
Le NSynth Super est disponible en tant que projet open source. Vous pouvez entièrement construire le vôtre, peut-être avec une boîte un peu moins impressionnante. Mais toutes les bibliothèques utilisées sont open source et le code, les schémas et les modèles de conception sont disponibles en téléchargement sur GitHub. Il n’y a pas de produit ou de kit réel que vous pouvez acheter, si vous voulez entrer dans le NSynth, vous devrez retrousser vos manches et vous salir les mains.
Magenta
Regardez la vidéo ci-dessous pour toute l’histoire de Magenta et de quoi il s’agit. Haut la main qui veut être ce Doug ? La chose la plus intéressante qu’il a dite était que « nous n’essayons pas de rendre la musique plus facile, nous essayons de construire une sorte d’outil d’apprentissage automatique qui donne aux musiciens de nouvelles façons de s’exprimer ». Je me demande s’ils recrutent…
Plus d’information
- Page Web de NSynth.
- Page de ressources Github.
Vidéo
