Alignement audio-audio pour le suivi de partition dans un contexte de musique mixte
Le suivi de partition permet de déterminer, en écoutant le flux musical produit par un interprète, où il en est dans sa partition. Cette information peut servir à synchroniser des voix électroniques en suivant les variations temporelles du musicien ou de la musicienne et assurant ainsi une synchronisation musicale entre les interprètes humains et l’électronique.
L’objectif du projet est d'intégrer un algorithme de suivi de partition conçu par le Prof. Miller Puckette au système Antescofo existant et de vérifier le système résultant sur deux pièces emblématiques du répertoire de la musique mixte, Pluton (1988) de Philippe Manoury pour piano, et Persistence (2022) de Roger Reynolds pour violoncelle.
L'approche proposée s'écarte du suivi actuel en alignant un flux audio en temps réel avec un modèle audio pré-enregistré au lieu d'une partition symbolique. Quelques expériences préliminaires s'appuyant sur l'algorithme Gesture Follower développé initialement par Frédéric Bevilacqua et al. pour le suivi de geste, renforcent la pertinence de cette approche appliquée à l'audio, mais soulèvent également des questions qui seront abordées dans cette étude.
L'une des leçons du système Antescofo est l'importance d'un couplage fort entre la machine d'écoute et le langage de programmation utilisé pour contrôler le calcul en temps réel nécessaire à la réalisation de l'électronique. Le passage d'un alignement basé sur des événements à un alignement audio continu, nécessite de repenser ce couplage et les stratégies de synchronisation développées dans le langage.
Le Collegium Musicæ soutient ce projet dans le cadre de son axe-programme « Improvisation, apprentissage, intelligence artificielle ».
Agenda
- Novembre 2022 - mars 2023 : scission des systèmes Antescofo en deux modules indépendants : la machine d'écoute et le langage de programmation temporisé et réactif. Développement d'une API de communication entre les deux modules.
- Janvier - mars 2023 : conception de l'algorithme d'alignement audio, à partir du prototype et du Gesture Follower développés . Développement d'une API interactive.
- Mars - mai 2023 : conception du réglage automatique du système par apprentissage automatique.
- Février - juillet 2023 : stage de M2 destiné à l'implémentation et validation du nouvel algorithme de suivi de score. Création d'une base de données de cas d'utilisation incluant Pluton et Persistence. Mise en place d'un paramétrage par une approche d'apprentissage automatique.
- Avril - mai 2023 : fusion des deux API de suivi des scores dans le nouveau système Antescofo.
- Juillet 2023 : livraison d'un prototype fonctionnel à valider dans des productions réelles.
Supervision
- Miller Puckette, Université de California, San Diego;
- Baptiste Caramiaux, ISIR, Sorbonne Université ;
- Frédéric Bevilacqua, STMS, Sorbonne Université ;
- Jean-Louis Giavitto, STMS, Sorbonne Université.
