StaffPad Piano Capture : utilise l'IA pour traduire les performances en notes

StaffPad, l'application de notation pour iPad et Surface, peut utiliser Piano Capture, alimenté par l'IA, pour écouter une performance réelle et la transcrire directement dans une partition lisible.

StaffPad

Il a toujours été un logiciel de composition de partitions d’une élégance unique. Il utilise le toucher et le stylet/crayon de l'iPad et des ordinateurs portables hybrides pour écrire des partitions comme vous le feriez sur papier. Sa capacité à reconnaître votre gribouillage manuscrit comme de la musique est tout à fait remarquable. Au fil des années, il s'est étendu de la Microsoft Surface à l'Apple iPad Pro et a rassemblé une bibliothèque orchestrale de haute qualité en cours de route.

Cette dernière mise à jour ajoute des outils innovants de détection de hauteur et la possibilité de gérer une entrée MIDI et d'exécuter de la vidéo sur sa propre portée.

Capture de piano

La détection de hauteur et la technologie son vers MIDI existent depuis des décennies, alors qu'est-ce qui rend Piano Capture innovant ? Des logiciels tels que Melodyne peuvent extraire le MIDI et les notes de l'audio enregistré. Mais ce qui a été plus difficile, c'est la capacité à interpréter ces données MIDI d'une manière qui ait du sens sur une partition. Il faudrait généralement tellement d'édition pour en faire une partition de piano décente qu'il serait probablement plus facile de l'écrire à main levée directement dans StaffPad.

StaffPad a donc utilisé l'apprentissage automatique sur l'appareil pour analyser des milliers d'heures de musique provenant d'un pipeline de formation spécial appelé Pianola. Il a généré le contenu via des pianos acoustiques à contrôleur numérique et des bibliothèques d'échantillons et a simulé toutes sortes de scénarios et d'environnements réels. Le système parcourt ensuite les enregistrements et détermine comment recréer l'entrée audio. Au fil du temps, il apprend à reconnaître à quoi ressemblent les hauteurs et les durées des notes et peut ainsi mieux retranscrire la performance. L’IA met ensuite un peu d’ordre dans le tout, et le résultat est fabuleux.

Ce qui est génial, c'est son fonctionnement élégant. Il vous suffit de poser votre iPad Pro ou Surface sur votre pupitre, de le configurer pour l'enregistrement et la lecture. Tout fonctionne sur l'appareil, avec les micros intégrés, il n'est donc pas nécessaire de configurer une interface audio ou des microphones externes. StaffPad a toujours été le logiciel de notation le moins « informatique » du marché, et il propose désormais une manière très peu technique de capturer des performances en direct. Il n'est pas nécessaire non plus que ce soit en direct car vous pouvez faire la même chose avec du matériel enregistré.

Capture MIDI

C'est vraiment ahurissant que jusqu'à présent StaffPad ait utilisé exclusivement une méthode de notation manuscrite. La possibilité de noter à partir d'un clavier de contrôleur MIDI est attendue depuis longtemps, mais MIDI Capture rend cela possible désormais. Ainsi, alors que Piano Capture facilite la transcription de votre piano, MIDI Capture vous aidera à utiliser un clavier MIDI pour noter tout le reste directement.

Score cinématographique

L'autre nouveauté de cette grosse mise à jour est la prise en charge de chaque portée vidéo. Vous obtenez une bande de vignettes en haut de la partition et pouvez avoir une fenêtre affichant la vidéo qui suit la lecture. Fantastique pour ceux qui écrivent pour le cinéma.

Capture de piano StaffPad

Mise à jour

Piano Capture, MIDI Capture et Video Staff sont tous contenus dans la dernière mise à jour de StaffPad, qui est gratuite pour tous les utilisateurs actuels. Je suis un utilisateur de longue date, mais je n'ai pas encore vu la mise à jour moi-même, mais on me dit que cela peut être un peu lent via le Microsoft Store. Sinon, il est disponible au prix de 89,99 $ dans l'App Store d'Apple ou le Microsoft Store.

• Site Web StaffPad.