Baptiste Caramiaux

Bio

I am a CNRS researcher at ISIR, Sorbonne Université, since October 2020. Previoulsy I was CNRS researcher at LRI (now LISN), Université Paris-Saclay, from 2018 to 2020. I have worked as associate researcher in the Computing Department at Godsmiths College, University of London, and in the Psychology Department at McGill University in Montreal (as Marie-Sklodowska Curie Fellow). I am also a researche collabortor at the London-based company  HyperSurfaces. I hold a PhD from Université Pierre et Marie Curie (now Sorbonne Université) and IRCAM (Music and Technology centre, part of the Centre Pompidou in Paris).

Contact

Office H11, Pyramide – T55, 4 Place Jussieu 65, 75005 Paris
Email: firstname . lastname @ sorbonne-universite.fr
Personal website: https://baptistecaramiaux.com
Twitter with @caramiaux.

Research interests

  • Interactive machine learning
  • Human-AI Interaction
  • Movement learning and skill acquisition
  • Music interaction and perception

Projects

  • ARCOL project (coordinator), an ANR-funded project under the young researcher programme (2020-2023)
  • ELEMENT project, an ANR-funded project coordinated by IRCAM, with LISN at Université Paris-Saclay (2018-2021)
  • CNRS-funded project INTACT (PEPS) (2018)
  • MIM project, a EU-funded project under the Marie-Sklodowska Curie programme (global fellowship) (2016-2018)

Supervision

Post-docs

  • Hugo Scurto
  • Antoine Loriette

PhD Students

  • Vaynee Sungeelee – Interactive Reinforcement Co-learning
  • Oleksandra Vereschak – Trust in Human-AI Interaction, with Gilles Bailly (CNRS)
  • Téo Sanchez – Machine Teaching in Creative Practices, with Wendy Mackay (Inria)
  • Miguel Renom – Reasoning in Digital Tool Use, with Michel Beaudouin-Lafon (Université Paris-Saclay)
  • Jean-Philippe Rivière (defended Dec. 2020) – Capturing traces in dance learning support tools, with Sarah Fdili Alaoui and Wendy Mackay (Université Paris-Saclay)
Publications HAL

2021

titre
How do People Train a Machine? Strategies and (Mis)Understandings
auteur
Téo Sanchez, Baptiste Caramiaux, Jules Françoise, Frédéric Bevilacqua, Wendy Mackay
article
CSCW 2021 - The 24th ACM Conference on Computer-Supported Cooperative Work and Social Computing, Oct 2021, Virtual, United States
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-03182950/file/V5cscw162-sanchezA.pdf BibTex
titre
Prototyping Machine Learning Through Diffractive Art Practice
auteur
Hugo Scurto, Baptiste Caramiaux, Frédéric Bevilacqua
article
Proceedings of the 2021 ACM Conference on Designing Interactive Systems (DIS 2021), Jun 2021, Virtual Event, Unknown Region. ⟨10.1145/3461778.3462163⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03267282/file/scurto2021prototyping_authorsversion.pdf BibTex
titre
Designing Deep Reinforcement Learning for Human Parameter Exploration
auteur
Hugo Scurto, Bavo van Kerrebroeck, Baptiste Caramiaux, Frédéric Bevilacqua
article
ACM Transactions on Computer-Human Interaction, Association for Computing Machinery, 2021, 28 (1), pp.1-35. ⟨10.1145/3414472⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03124053/file/tochi2021authorsversion.pdf BibTex

2020

titre
The different facets of timbre: data-driven modelling of musical instruments sounds perception
auteur
Etienne Thoret, Baptiste Caramiaux, P Depalle, S Mcadams
article
e-FA2020 ( e-Forum Acusticum 2020), Dec 2020, Lyon (en ligne), France
Accès au bibtex
BibTex
titre
Learning metrics on spectrotemporal modulations reveals the perception of musical instrument timbre
auteur
Etienne Thoret, Baptiste Caramiaux, Philippe Depalle, Stephen Mcadams
article
Nature Human Behaviour, Nature Research 2020, ⟨10.1038/s41562-020-00987-5⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03033757/file/thoret2020_HAL.pdf BibTex
titre
Artificial Intelligence in Music and Performance: A Subjective Art-Research Inquiry
auteur
Baptiste Caramiaux, Marco Donnarumma
article
Handbook of Artificial Intelligence for Music: Foundations, Advanced Approaches, and Developments for Creativity, In press
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03046229/file/2007.15843.pdf BibTex
titre
Making Mappings: Examining the Design Process
auteur
Travis West, Baptiste Caramiaux, Marcelo Wanderley
article
NIME'20 - New Interfaces for Musical Expression, Jun 2020, Birmingham, United Kingdom
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03046218/file/making_mappings.pdf BibTex
titre
Research for CULT Committee - The Use of Artificial Intelligence in the Cultural and Creative Sectors
auteur
Baptiste Caramiaux
article
[Research Report] CULT Committee, European Parliament. 2020
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-02960567/file/IPOL_BRI%282020%29629220_EN.pdf BibTex
titre
Machine Learning Approaches For Motor Learning: A Short Review
auteur
Baptiste Caramiaux, Jules Françoise, Wanyu Liu, Téo Sanchez, Frédéric Bevilacqua
article
Frontiers in Computer Science, Lausanne: Frontiers Media SA, In press
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-02558779/file/caramiaux_etal_ml_motorlearning.pdf BibTex

2019

titre
Capturing Movement Decomposition to Support Learning and Teaching in Contemporary Dance
auteur
Jean-Philippe Rivière, Sarah Alaoui, Baptiste Caramiaux, Wendy Mackay
article
Proceedings of the ACM on Human-Computer Interaction , Association for Computing Machinery (ACM), 2019, Proceedings of the ACM on Human-Computer Interaction, 3 (CSCW), pp.1-22. ⟨10.1145/3359188⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-02378487/file/HALVersion_2019_CSCW__CapturingDecomposition__Revised.pdf BibTex
titre
AI in the media and creative industries
auteur
Baptiste Caramiaux, Fabien Lotte, Joost Geurts, Giuseppe Amato, Malte Behrmann, Frédéric Bimbot, Fabrizio Falchi, Ander Garcia, Jaume Gibert, Guillaume Gravier, Hadmut Holken, Hartmut Koenitz, Sylvain Lefebvre, Antoine Liutkus, Andrew Perkis, Rafael Redondo, Enrico Turrin, Thierry Viéville, Emmanuel Vincent
article
[Research Report] New European Media (NEM). 2019, pp.1-35
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-02125504/file/NEM%20White%20Paper%20-%20AI%20in%20the%20creative%20industry.pdf BibTex

2018

titre
Perceiving Agent Collaborative Sonic Exploration In Interactive Reinforcement Learning
auteur
Hugo Scurto, Frédéric Bevilacqua, Baptiste Caramiaux
article
SMC 2018 - 15th Sound and Music Computing Conference, Jul 2018, Limassol, Cyprus
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01849074/file/smc2018_paper_153_camera_ready.pdf BibTex
titre
How Do Dancers Learn To Dance?
auteur
Jean-Philippe Rivière, Sarah Fdili Alaoui, Baptiste Caramiaux, Wendy Mackay
article
MOCO 2018 - 5th International Conference on Movement and Computing, Jun 2018, Gênes, Italy. pp.1-8, ⟨10.1145/3212721.3212723⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01849604/file/main.pdf BibTex
titre
Human dissimilarity ratings of musical instrument timbre: A computational meta-analysis
auteur
Etienne Thoret, Baptiste Caramiaux, Philippe Depalle, Stephen Mcadams
article
Journal of the Acoustical Society of America, Acoustical Society of America, 2018, 143 (3), pp.1745-1746. ⟨10.1121/1.5035697⟩
Accès au bibtex
BibTex
titre
Embracing First-Person Perspectives in Soma-Based Design
auteur
Kristina Höök, Baptiste Caramiaux, Cumhur Erkut, Jodi Forlizzi, Nassrin Hajinejad, Michael Haller, Caroline Hummels, Katherine Isbister, Martin Jonsson, George Khut, Lian Loke, Danielle Lottridge, Patrizia Marti, Edward Melcer, Florian Müller, Marianne Graves Petersen, Thecla Schiphorst, Elena Segura, Anna Ståhl, Dag Svanaes, Jakob Tholander, Helena Tobiasson
article
Informatics, MDPI, 2018, 5 (1), ⟨10.3390/informatics5010008⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01699005/file/informatics-05-00008.pdf BibTex
titre
Dissociable effects of practice variability on learning motor and timing skills
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Marcelo Wanderley, Caroline Palmer
article
PLoS ONE, Public Library of Science, 2018, 13 (3:e0193580), pp.1--18. ⟨10.1371/journal.pone.0193580⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01726186/file/caramiaux2018dissociable.pdf BibTex

2017

titre
Individuality in Piano Performance Depends on Skill Learning
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Caroline Palmer, Marcelo Wanderley
article
4th International Conference on Movement Computing MOCO 17, Jun 2017, London, United Kingdom. pp.1 - 7, ⟨10.1145/3077981.3078046⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01577872/file/moco2017individuality.pdf BibTex
titre
Datasets for the Analysis of Expressive Musical Gestures
auteur
Alvaro Sarasúa, Baptiste Caramiaux, Atau Tanaka, Miguel Ortiz
article
4th International Conference on Movement Computing, Jun 2017, London, United Kingdom. pp.1-4, ⟨10.1145/3077981.3078032⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01577889/file/sarasua2017datasets.pdf BibTex
titre
A Knowledge-based, Data-driven Method for Action-sound Mapping
auteur
Federico Visi, Baptiste Caramiaux, Michael Mcloughlin
article
NIME 2017 : New Interfaces for Musical Expression, May 2017, Copenhagen, Denmark
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01577885/file/paper0043.pdf BibTex
titre
Designing action-sound metaphors using motion sensing and descriptor-based synthesis of recorded sound materials
auteur
Frédéric Bevilacqua, Norbert Schnell, Jules Françoise, Eric O Boyer, Diemo Schwarz, Baptiste Caramiaux
article
Routledge Companion to Embodied Music Interaction, 2017, 978- 1-138-65740-3
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01572629/file/Bevilacqua_etal_2016_CreatingAction-SoundMetaphorsfromrecordedmaterials.pdf BibTex
titre
Dynamic Bayesian networks for musical interaction
auteur
Baptiste Caramiaux, Jules Françoise, Frédéric Bevilacqua
article
The Routledge Companion to Embodied Music Interaction, 2017, 978- 1-1386-5740-3
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01572631/file/caramiaux2017dynamic.pdf BibTex

2016

titre
Perspectives on Real-time Computation of Movement Coarticulation
auteur
Frédéric Bevilacqua, Baptiste Caramiaux, Jules Françoise
article
3rd International Symposium on Movement and Computing, Jul 2016, Thessaloniki, Greece. pp.1 - 5, ⟨10.1145/2948910.2948956⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01577876/file/bevilacqua2016coarticulation.pdf BibTex
titre
Human-Centered Machine Learning
auteur
Marco Gillies, Rebecca Fiebrink, Atau Tanaka, Baptiste Caramiaux, Jérémie Garcia, Frédéric Bevilacqua, Alexis Heloir, Fabrizio Nunnari, Wendy Mackay, Saleema Amershi, Bongshin Lee, Nicolas D 'Alessandro, Joëlle Tilmanne, Todd Kulesza
article
Conference on Human Factors in Computing Systems (CHI 2016), ACM, May 2016, San Jose, California, United States. pp.3558-3565, ⟨10.1145/2851581.2856492⟩
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-01437057/file/2016%20CHI%20Workshop%20HCML.pdf BibTex
titre
Machine Learning in Expressive Gestural Interaction
auteur
Baptiste Caramiaux
article
2016
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01323611/file/HCML2016_paper_21.pdf BibTex

2015

titre
Optimising the Unexpected: Computational Design Approach in Expressive Gestural Interaction
auteur
Baptiste Caramiaux
article
Conference on Human Factors in Computing Systems (CHI), Apr 2015, Séoul, South Korea
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01266573/file/chi2015_workshop_optimisation.pdf BibTex

2014

titre
Adaptive Gesture Recognition with Variation Estimation for Interactive Systems
auteur
Baptiste Caramiaux, Nicola Montecchio, Atau Tanaka, Frédéric Bevilacqua
article
ACM Transactions on Interactive Intelligent Systems , Association for Computing Machinery (ACM), 2014, 4 (4), pp.35. ⟨10.1145/2643204⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01266046/file/caramiaux2014gvf.pdf BibTex
titre
Interactive Sound Texture Synthesis Through Semi-Automatic User Annotations
auteur
Diemo Schwarz, Baptiste Caramiaux
article
Springer International Publishing; Aramaki, M., Derrien, O., Kronland-Martinet, R., Ystad, S. Sound, Music, and Motion, Lecture Notes in Computer Science, Vol. 8905, pp.372-392, 2014
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161076/file/index.pdf BibTex
titre
Sensori-motor Learning in Movement-Sound Interactive Systems: a Review
auteur
Eric Boyer, Baptiste Caramiaux, Sylvain Hanneton, Agnes Roby-Brami, Olivier Houix, Patrick Susini, Frédéric Bevilacqua
article
[Technical Report] STMS - Sciences et Technologies de la Musique et du Son UMR 9912 IRCAM-CNRS-UPMC; ISIR, Université Pierre et Marie Curie UMR CNRS 7222; Laboratoire de Psychologie de la perception UMR CNRS 8242, Université Paris Descartes. 2014
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01360123/file/legos_sota_v1.1.pdf BibTex
titre
Mapping Through Listening
auteur
Baptiste Caramiaux, Jules Françoise, Norbert Schnell, Frédéric Bevilacqua
article
Computer Music Journal, Massachusetts Institute of Technology Press (MIT Press), 2014
Accès au bibtex
BibTex
titre
The Role of Sound Source Perception in Gestural Sound Description
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Tommaso Bianco, Norbert Schnell, Olivier Houix, Patrick Susini
article
ACM Transactions on Applied Perception, Association for Computing Machinery, 2014, 11 (1), p.1
Accès au bibtex
BibTex

2013

titre
De-MO : Designing Action-Sound Relationships with the MO Interfaces
auteur
Frédéric Bevilacqua, Norbert Schnell, Nicolas Rasamimanana, Julien Bloit, Emmanuel Flety, Baptiste Caramiaux, Jules Françoise, Eric Boyer
article
CHI '13 Extended Abstracts on Human Factors in Computing Systems, Apr 2013, Paris, France, France. pp.2907-2910
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01061217/file/Bevilacqua_et_al._-_2013_-_De-MO_Designing_Action-Sound_Relationships_with_the_MO_Interfaces.pdf BibTex
titre
De-MO : Designing Action-Sound Relationships with the MO Interfaces
auteur
Frédéric Bevilacqua, Norbert Schnell, Nicolas Rasamimanana, Julien Bloit, Emmanuel Fléty, Baptiste Caramiaux, Jules Françoise, Eric Boyer
article
ACM CHI Conference on Human Factors in Computing Systems, Apr 2013, PARIS, France. pp.2907-2910
Accès au bibtex
BibTex
titre
MubuFunkScatShare: gestural energy and shared interactive music
auteur
Atau Tanaka, Norbert Schnell, Baptiste Caramiaux
article
CHI '13 Extended Abstracts on Human Factors in Computing Systems, Apr 2013, Paris, France. ⟨10.1145/2468356.2479594⟩
Accès au bibtex
BibTex
titre
Beyond recognition: using gesture variation for continuous interaction
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Atau Tanaka
article
CHI EA '13: CHI '13 Extended Abstracts on Human Factors in Computing Systems, 2013, NA, France. pp.2109-2118
Accès au bibtex
BibTex

2012

titre
A Hierarchical Approach for the Design of Gesture-to-Sound Mappings
auteur
Jules Françoise, Baptiste Caramiaux, Frédéric Bevilacqua
article
9th Sound and Music Computing Conference, Jul 2012, Copenhagen, Denmark. pp.233-240
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00847203/file/index.pdf BibTex
titre
Movement Qualities as Interaction Modality
auteur
Sarah Fdili Alaoui, Baptiste Caramiaux, Marcos Serrano, Frédéric Bevilacqua
article
Designing Interactive Systems (DIS'2012), Jun 2012, Newcastle, United Kingdom. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161433/file/index.pdf BibTex
titre
Segmenting and Parsing Instrumentalists' Gestures
auteur
Baptiste Caramiaux, Marcelo Wanderley, Frédéric Bevilacqua
article
Journal of New Music Research, Taylor & Francis (Routledge), 2012, 1 (41), pp.13-29
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161436/file/index.pdf BibTex

2011

titre
Gestural auditory and visual interactive platform
auteur
Baptiste Caramiaux, Sarah Fdili Alaoui, Tifanie Bouchara, Gaétan Parseihian, Marc Rébillat
article
14th International Conference on Digital Audio Effects (DAFx-11), Sep 2011, Paris, France. pp.69
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00619308/file/DAFx11_Final.pdf BibTex
titre
From dance to touch: movement qualities for interaction design
auteur
Sarah Fdili Alaoui, Baptiste Caramiaux, Marcos Serrano
article
ACM Conference on Human Factors in Computing Systems (CHI) , May 2011, Vancouver, Canada. ⟨10.1145/1979742.1979792⟩
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-01663145/file/chi2011_wip_fdilialaoui.pdf BibTex
titre
From Dance to Touch: Movement Qualities for Interaction Design
auteur
Sarah Fdili Alaoui, Baptiste Caramiaux, Marcos Serrano
article
CHI, May 2011, Vancouver, Canada. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161268/file/index.pdf BibTex
titre
Gestural Embodiment of Environmental Sounds: an Experimental Study
auteur
Baptiste Caramiaux, Patrick Susini, Tommaso Bianco, Frédéric Bevilacqua, Olivier Houix, Norbert Schnell, Nicolas Misdariis
article
New Interfaces for Musical Expression (NIME), 2011, NA, France
Accès au bibtex
BibTex
titre
Sound Selection by Gestures
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Norbert Schnell
article
New Interfaces for Musical Expression (NIME), 2011, NA, France. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161280/file/index.pdf BibTex
titre
Analyzing Sound Tracings - A Multimodal Approach to Music Information Retrieval
auteur
Kristian Nymoen, Baptiste Caramiaux, Mariusz Kozak, Jim Torresen
article
ACM Multimedia, Workshop MIRUM, 2011, NA, France. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161292/file/index.pdf BibTex

2010

titre
Analysing Gesture and Sound Similarities with a HMM-based Divergence Measure
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Norbert Schnell
article
Sound and Music Computing, Jul 2010, Barcelona, Spain. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161273/file/index.pdf BibTex
titre
Study on Gesture-Sound Similarity
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Norbert Schnell
article
Music and Gesture, Mar 2010, Montreal, Canada. pp.1-1
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161425/file/index.pdf BibTex
titre
Towards a Gesture-Sound Cross-Modal Analysis
auteur
Baptiste Caramiaux, Frédéric Bevilacqua, Norbert Schnell
article
Springer Verlag. Gesture in Embodied Communication and Human-Computer Interaction, LNAI 5934, pp.158-170, 2010
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01161271/file/index.pdf BibTex

2009

titre
Interpolation multiresolution de formes 2D
auteur
Mélanie Cornillac, Baptiste Caramiaux, Stefanie Hahmann, Georges-Pierre Bonneau
article
Revue Electronique Francophone d'Informatique Graphique, Association Française d'Informatique Graphique, 2009, 3 (1), pp.21-29
Accès au bibtex
BibTex

2008

titre
Bicubic G1 interpolation of arbitrary quad meshes using a 4-split
auteur
Stefanie Hahmann, Georges-Pierre Bonneau, Baptiste Caramiaux
article
GMP 2008 - 5th International Conference on Geometric Modeling and Processing, Apr 2008, Hangzhou, China. pp.17-32, ⟨10.1007/978-3-540-79246-8_2⟩
Accès au bibtex
BibTex

2007

IMG1.jpg
titre
Multiresolution morphing for planar curves
auteur
Stefanie Hahmann, Georges-Pierre Bonneau, Baptiste Caramiaux, Mélanie Cornillac
article
Computing, Springer Verlag, 2007, 79 (2-4), pp.197-209. ⟨10.1007/s00607-006-0198-7⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00319634/file/HBCC07-computing.pdf BibTex
titre
Interpolation multirésolution de formes 2D
auteur
Mélanie Cornillac, Baptiste Caramiaux, Stefanie Hahmann, Georges-Pierre Bonneau
article
GTMG 2007 - Groupe de travail en Modélisation Géométrique, Mar 2007, Valenciennes, France
Accès au bibtex
BibTex