Dessinez un tambour ou un saxophone pour évoquer une composition multi-instrumentale. Regardez dans la webcam, parlez et regardez votre bouche bouger sur l’écran – la porte d’une réaction en chaîne réconfortante.
C’est ce que vivent les visiteurs de la bibliothèque musicale du MIT Lewis lorsqu’ils interagissent avec deux nouvelles installations numériques, “Doodle Tunes” et “Sounds from the Mouth”, créées par le Center for Art and Technology (CAST) 2022-23, l’artiste invité Andreas Refsgaard en collaboration avec Caleb Hall, bibliothécaire des technologies musicales et des médias numériques. La résidence a été initiée par Avery Boddy, chef de division de la Lewis Music Library, qui a reconnu le talent de Refsgaard pour révéler le caractère ludique des technologies émergentes. Les subtilités du codage et de l’apprentissage automatique peuvent sembler intimidantes pour les nouveaux arrivants, mais la pratique de Refsgaard en tant que programmeur créatif, concepteur d’interaction et éducateur cherche à ouvrir le champ à tous. Avec des ateliers, des conférences d’artistes, des visites de classe et une exposition, la résidence a été imprégnée de son sens de l’humour unique – un mélange de bizarreries animées et de légèreté décontractée.
Lire la vidéo
Apprentissage automatique et arts avec l’artiste invité du MIT Andreas Revsgaard
Apprendre par le rire
Basé à Copenhague, Revsgaard est un véritable innovateur dans le domaine de l’apprentissage automatique. “Je m’intéresse aux façons dont nous pouvons nous exprimer à travers le code”, explique-t-il. “J’adore établir des connexions non conventionnelles entre les entrées et les sorties, où l’ordinateur agit comme un traducteur – un gadget peut vous permettre de jouer de la musique avec vos yeux, ou un poème d’amour peut naître d’une image de burrito.” Le propre rôle de Refsgaard dans l’innovation ne consiste pas directement à résoudre des problèmes ou à lancer des startups qui changent le monde. Au lieu de cela, il cherche simplement à “cliquer sur la boîte”, en fournissant des modèles open source accessibles pour susciter de nouvelles idées et applications créatives.
Programmés par Refsgaard et présentant un ensemble personnalisé de sons créés par Hall, “Doodle Tunes” et “Sounds from the Mouth” démontrent comment des compositions originales peuvent être créées grâce à une combinaison de gestes humains spontanés et de résultats produits de manière algorithmique. Dans “Doodle Tunes”, un algorithme d’apprentissage automatique est formé sur un ensemble de données de dessins de différents instruments : piano, batterie, guitare basse ou saxophone. Lorsque l’utilisateur dessine une de ces images sur un écran tactile, un son est généré ; Plus vous ajoutez d’outils, plus la configuration est complexe. Voices of the Mouth fonctionne en suivant votre visage et en prenant des selfies. Lorsque le participant fait face à une webcam et ouvre la bouche, un plan sauté indépendant des notes de piano est créé. Pour essayer les projets par vous-même, faites défiler jusqu’à la fin de cet article.
Bibliothèques illimitées
Les grincements de saxophone et les battements de batterie numériques ne sont pas les seuls sons qui émanent des zones où les projets sont installés. “Mon bureau est à proximité”, dit Hall. “Alors, quand j’entends soudainement des rires, je sais exactement ce qui se passe.” Cette nouvelle dimension sonore de la Lewis Music Library s’inscrit dans l’éthique de l’environnement dans son ensemble – conçue comme une plaque tournante du campus pour des expériences acoustiques, la bibliothèque n’a jamais été conçue pour être complètement silencieuse. La résidence de Refsgaard est un nouvel accent sur la programmation progressive dirigée par Boddie, alors que la stratégie de la bibliothèque évolue vers une concentration sur les collections numériques et la technologie musicale.
“En plus de servir d’espace d’étude tranquille et d’accès aux ressources physiques, nous voulons que la bibliothèque soit un lieu où les utilisateurs se rassemblent, collaborent et explorent ensemble”, déclare Bodhi. “Cette résidence a été très réussie à cet égard. Grâce aux ateliers, nous avons pu connecter des individus de toute la communauté du MIT et de leurs disciplines uniques. Nous avons eu des gens de la Sloan School of Management, de la Schwarzman School of Computing et de la Music et les arts du théâtre travaillent tous ensemble, causant le chaos et créant des outils qui fonctionnent parfois… et parfois non.”
Erreur et coïncidence
L’une des principales caractéristiques du travail de Refgaard est l’intégration de l’erreur. Les problèmes occasionnels font partie de la finesse technique, et ils atténuent également le battage médiatique autour de l’IA; Un algorithme est seulement aussi bon que son ensemble de données, et cet ensemble est affecté par les préjugés et les omissions humains. Au cours d’une discussion publique d’artistes, “Machine Learning and the Arts”, les membres du public ont été initiés au modèle artistique anormal de Refsgaard et initiés à des projets tels que Booksby.ai (une bibliothèque en ligne de romans de science-fiction générés par l’intelligence artificielle), Is It Funny ? (une tentative de distinction entre les images “amusantes” et “ennuyeuses”), et un Eye Conductor (une interface pour jouer de la musique via des mouvements oculaires et des gestes faciaux). Les défauts des installations de l’exposition ont été franchement reconnus (il est vrai que “Doodle Tunes” est parfois confondu avec une représentation au saxophone d’un écureuil), et Refsgaard a encouragé les membres du public à suggérer des améliorations possibles.
Cette ouverture d’esprit a donné le ton des ateliers “Art, Algorithmes et Intelligence Artificielle” et “Machine Learning for Interaction Designers”, qui se veulent adaptés aux débutants comme aux experts curieux. Les visites de Refsgaard aux cours de technologie musicale ont exploré les façons dont la créativité humaine peut être amplifiée grâce à l’apprentissage automatique et comment naviguer dans l’échelle mobile entre l’intention artistique et les résultats inattendus. “Selon moi, le succès est lorsque les participants interagissent avec le matériel et proposent de nouvelles idées. La première étape de l’apprentissage consiste à comprendre ce qui est enseigné – et la prochaine étape consiste à appliquer cette compréhension d’une manière que l’enseignant n’aurait pas prévue .”
Incertitude et opportunité
Le travail de Refsgaard incarne certaines des valeurs fondamentales et des questions essentielles à l’évolution des bibliothèques du MIT – les problèmes de numérisation, de calcul et d’accès ouvert. En choisissant de donner libre accès à ses démos ludiques, il renonce à la propriété de ses idées ; Le modèle d’apprentissage automatique peut agir comme un dispositif d’apprentissage pour l’étudiant, et il peut également être investi par l’entreprise. Pour Refsgaard, le jeu est un moyen de traiter les implications éthiques des technologies émergentes, et Hall s’est retrouvé aux prises avec ces questions dans le processus de création des sons pour les deux installations. “Si vous écrivez les échantillons audio, mais que quelqu’un d’autre les arrange en tant que compositions, qui possède la musique ? Ou est-ce que l’IA possède la musique ? C’est une période très intéressante de travailler dans la technologie musicale ; nous entrons dans un territoire inexploré.”
Pour Refsgaard, l’incertitude est la sauce secrète de ses prouesses techniques algorithmiques. “J’aime faire des choses où je suis surpris du résultat final”, dit-il. “Je cherche ce juste milieu entre quelque chose de familier et quelque chose d’inattendu.” Comme il l’explique, la grande surprise se résume simplement au bruit, mais il y a quelque chose d’amusant dans la possibilité qu’un instrument puisse confondre un saxophone avec un écureuil. La tâche du programmeur créatif est d’ajuster constamment la relation entre les capacités de l’homme et de la machine – de trouver et de suivre la musique.
“Doodle Tunes” et “Sounds from the Mouth” sont exposés à la MIT Lewis Music Library (14E-109) jusqu’au 20 décembre. Cliquez sur les liens pour interagir avec les projets en ligne.