L'objectif de recherche de ce projet interdisciplinaire est de modéliser et d'améliorer la co-créativité telle qu'elle apparaît dans les interactions musicales improvisées entre des agents humains et artificiels dans un spectre de pratiques allant de l'interaction avec des agents logiciels à la réalité mixte impliquant la physicalité instrumentale et l'incarnation. Cela implique une conception de la co-improvisation homme-machine fondée sur des oppositions structurantes telles que : anticipation / surprise, réactivité / planification, découverte / action, but / conformisme, etc. Ces qualités inspirées de l'observation des grands improvisateurs humains soulèvent des défis de recherche importants lorsqu'il s'agit de les maîtriser par des approches d'ingénierie, de cognition et d'apprentissage automatique. L'improvisation est donc au cœur de ce projet et constitue en fait un élément fondamental de la musicalité créative de la coopération, ainsi qu'un levier anthropologique fascinant pour les interactions humaines en général.

Comment augmenter les capacités des agents numériques avec une créativité informatique accrue, afin qu'ils puissent développer des interactions musicales convaincantes avec les humains.
Comment améliorer l'ergonomie matérielle et logicielle de l'interaction homme-machine (IHM). Une bonne conception ergonomique doit prendre en compte de nombreux facteurs et, entre autres, le contexte de la performance musicale dans lequel le dispositif sera utilisé.
Comment augmenter les capacités humaines en élargissant leur potentiel créatif individuel et social, grâce à de nouvelles stratégies de collaboration, afin qu'ils puissent s'immerger naturellement dans des schémas musicaux complexes impliquant l'intelligence numérique, l'instrumentalité ou la réalité mixte.

Le projet de recherche proposé vise à produire deux types de résultats différents mais imbriqués, à la fois scientifiques et artistiques. Le résultat scientifique attendu de cette recherche contribuera au pool de modèles et d'outils interactifs d'IA mis gratuitement à la disposition des musiciens et des chercheurs, ouvrant de nouvelles voies dans les modèles et l'architecture de (co-)créativité. Sur le plan musical, elle ouvrira des possibilités inédites de création, d'interprétation et d'interaction musicales augmentées, avec la possibilité de travailler sur un certain nombre d'improvisations et de compositions mixtes qui feront partie intégrante du travail de doctorat. Il permettra également d'évaluer l'acceptabilité esthétique et sociale des agents d'intelligence artificielle dans la création musicale, ainsi que l'intégration de nouveaux instruments augmentés avec la physique réelle implantant ces extensions d'intelligence artificielle, modifiant éventuellement les relations entre l'artiste et le public et perturbant leurs schémas perceptifs et émotionnels.

Marco Fiorini est un musicien et chercheur italien qui se consacre à l'improvisation et aux nouvelles formes d'expression musicale, avec une formation mixte artistique et scientifique.
Il est diplômé en Sound and Music Computing de l'Université d'Aalborg à Copenhague au Danemark, en guitare jazz et en musique électronique du Conservatoire de Bologne et en ingénierie informatique de l'Université de Bologne en Italie. Il fait partie de l'équipe Représentations Musicales du laboratoire STMS à l'IRCAM, où il mène des projets de recherche artistique et scientifique avec des musiciens tels que Jöelle Léandre, Lorenzo Colombo, Sylvain Luc, György Kurtág Jr, Jean Marc Montera, Horse Lords et tellKujira. Il est engagé dans des recherches liées au projet ERC REACH, en particulier sur le logiciel d'improvisation co-créative Somax2, et explore de nouvelles formes d'interaction dans la musique improvisée avec des agents artificiels dans le cadre d'une thèse de doctorat à l'Université de la Sorbonne à Paris. Il a donné de nombreux concerts, présentations et ateliers dans plusieurs pays, oscillant entre l'improvisation libre, la composition spontanée, la performance sonore et l'art sonore et se produisant dans de prestigieux festivals d'improvisation et de musique contemporaine tels que ManiFeste (Centre George Pompidou, Paris), Klang (Royal Danish Academy of Music, Copenhague), Mixtur (ESMUC, Barcelone), Improtech, Le Mans Sonore.

Marco Fiorini débute sa thèse financée par le Collegium Musicæ à l'automne 2023.

La soutenance eut lieu en anglais le lundi 31 Août 2026 à 15h en Salle Stravinsky. Elle est disponible sur Youtube : https://youtube.com/live/Gh8u30oYD68

Composition du jury :

Gérard ASSAYAG – IRCAM - STMS – Directeur de thèse
Alain BONARDI – Université Paris 8 – Rapporteur 
Cheng-Zhi Anna HUANG – Massachusetts Institute of Technology – Rapporteuse
George E. LEWIS – Columbia University New York – Examinateur 
Nicolas OBIN – Sorbonne Université - IRCAM - STMS – Examinateur 
Stefania SERAFIN – Technical University of Denmark – Examinatrice 

Résumé :

L’objet principal de cette thèse est la conception et l’implémentation d’instruments co-créatifs pour l’interaction musicale improvisée. Cette thèse se concentre sur l’introduction d’une agentivité partagée et de comportements autonomes dans l’improvisation musicale humain-machine, faisant passer la conception de la technologie numérique d’un outil passif et réactif à un système musical interactif complet. Opérant dans le cadre théorique du projet ERC REACH (reach.ircam.fr), cette recherche étudie la manière dont les agents artificiels, tels que les agents REACH Somax2, peuvent être dotés de capacités cognitives et perceptuelles suffisantes pour soutenir des dialogues musicaux convaincants, spontanés et symbiotiques avec des interprètes humains.

Pour y parvenir, cette thèse aborde trois lacunes critiques des systèmes musicaux interactifs actuels. Premièrement, sur le plan technique, nous contribuons à combler le « fossé perceptif » en développant un flux de travail d’écoute artificielle en temps réel dédié aux modes de jeu instrumentaux (IPTs). Implémenté via l’externe Max/MSP ipt~ et entraîné sur le jeu de données open-source EG-IPT grâce à un pipeline de bout en bout, cela confère aux agents artificiels une conscience gestuelle plus profonde de leurs partenaires humains, allant au-delà du suivi traditionnel de la hauteur et de l’amplitude. Deuxièmement, nous abordons le « fossé d’autonomie » en introduisant SoVo, un nouvel agencement machinique hybride qui navigue de manière fluide dans la dialectique entre un instrument artificiel purement réactif et un musicien artificiel indépendant. Troisièmement, nous nous attaquons au « fossé d’imagination » en étendant l’environnement basé sur des corpus Somax2 avec des modèles prédictifs d’apprentissage profond, fournissant un premier prototype basé sur le mécanisme de l’Anticipatory Music Transformer pour augmenter en temps réel le corpus d’un agent artificiel. Ce couplage architectural introduit des mécanismes d’anticipation dans le processus de génération, permettant au système de projeter des futurs musicaux stylistiquement cohérents qui s’étendent au-delà des limites fixes de son corpus préexistant.

Notre travail emploie une approche interdisciplinaire de conception basée sur la pratique (recherche-création) pour étudier les potentiels et les affordances offerts par de tels systèmes dans l’écosystème de la performance musicale en conditions réelles et des pratiques créatives. Plutôt que d’évaluer ces modèles de manière isolée, nous avons examiné l’utilisation de ces systèmes co-créatifs par des utilisateurs experts, tels que des improvisateurs et compositeurs professionnels. Enfin, ce travail a pleinement intégré les résultats d’interactions fréquentes avec des musiciens experts dans la conception itérative des modèles et des architectures. À travers de nombreuses répétitions, des ateliers et des performances sur scène dans des conditions réelles, nous avons recueilli des évaluations qualitatives et des retours phénoménologiques pour valider et affiner nos choix scientifiques et technologiques. Cette évaluation située démontre en fin de compte l’émergence de formes de cognition distribuée, de dynamiques co-créatives et d’une agentivité musicale partagée, et ouvre la voie à une réflexion philosophique et esthétique plus large sur la place et la structure du sujet musical au sein de ces assemblages cyber-humains radicalement nouveaux.