TD SONG

Sculpture Sonore – Contrôler Ableton Live par le Geste avec TouchDesigner et MediaPipe

Introduction

Un article plus détaillé ainsi qu'une version publique du projet sont en cours de réalisation, n'hésitez pas si vous avez la moindre questions sur le projet.
Je vous laisse un petit article qui détaille rapidement le projet ainsi qu'une vidéo de démonstration.

L'objectif de ce projet était de briser la barrière entre l'instrument numérique et l'interprète. En utilisant la vision par ordinateur, j'ai créé un système où le mouvement des mains permet le contrôle en temps réel de paramètre musicaux.

Le Workflow Technique

Mon architecture se divise en trois grandes étapes : la capture de données, le traitement du signal (CHOPs), et la communication MIDI/OSC.

1. Tracking et Capture (MediaPipe & TOPs)

Le point de départ est le composant MediaPipe dans TouchDesigner. Il analyse le flux vidéo en temps réel pour extraire les "landmarks" (points de repère) des mains.

• Données brutes : Les données sont converties en coordonnées numériques (CHOPs) représentant la position X, Y et Z de mes mains, doigts et l'écarts entre les différents éléments.

  
  

2. Le Pont Ableton (TDAbleton)

C'est ici que la magie opère. Grâce au package TDAbleton, TouchDesigner communique directement avec le moteur audio :

• Liaison en temps réel : Chaque mouvement est lié à un abletonParameter.

• Interactivité : En levant la main, je peux déclencher des effets, moduler des synthétiseurs ou gérer le mixage de manière organique, sans jamais toucher à une souris ou un contrôleur physique.

Défis relevés

• Latence : Optimisation du traitement des mouvements pour garantir une réponse instantanée entre le geste et le son.

• Précision : Calibration des zones de mouvement pour éviter les déclenchements accidentels.