跳到正文
DEV Community· Petra·· 3 小時前AI 評分48

Sovereign Bodies:身體化為數據的蜕變

Cuerpos Soberanos: Metamorfosis del Cuerpo en Datos

AI 導讀

Sovereign Bodies 是一個互動裝置,透過本地 AI 智能體把舞動的身體轉化成影片,所有處理都在同一部機器上完成,資料不會傳送至雲端或外部伺服器。裝置以 MediaPipe、ViViT 和本地 LLM 分析動作,再由智能體指揮影片後製;開放原始碼,並獲選參展 CVPR Art Gallery 2026。

正文

Sovereign Bodies is an interactive installation where a local AI agent turns a moving body into a film. No cloud, no external logging: the body never leaves the room.

Qué es

Sovereign Bodies: Metamorfosis del Cuerpo en Datos es una instalación interactiva donde el cuerpo del espectador no solo se escanea: se vuelve el material de una pieza audiovisual que un agente dirige de principio a fin. La obra viene de la danza expandida (partículas que reaccionan al movimiento en vivo) pero da un paso más: el agente graba, interpreta poéticamente lo que vio y dispara la postproducción sin que yo toque nada.

La pregunta que sostiene la pieza no es técnica: ¿quién posee los datos que genera un cuerpo cuando se mueve?

Cómo funciona

Cuatro fases, todas en la misma máquina:

1. Captura. MediaPipe extrae los landmarks en tiempo real: 478 puntos de Face Mesh, 21 por mano y 33 de pose. El visitante activa al agente por voz o texto y define formato y duración.

2. Análisis. Las coordenadas se guardan en JSON y pasan por tres lectores: ViViT para clasificar el tipo de danza, un motor de Análisis Laban (tiempo, peso, espacio y flujo) para medir la energía real del movimiento, y un LLM local que sintetiza todo en una interpretación legible.

3. Dirección y postproducción. El agente, construido con LangChain y modelos locales (Ollama / Qwen), decide en JSON y ejecuta herramientas: levanta un servidor en segundo plano, renderiza el metraje y dispara el style transfer con StreamDiffusion.

4. Archivo. Cada sesión se empaqueta con marca de tiempo: coordenadas, metadatos, video crudo y video generado. La intervención efímera del cuerpo queda documentada.

Stack: Python, OpenCV (SimpleBlobDetector, partículas), MediaPipe, ViViT, LangChain, Ollama / Qwen, StreamDiffusion, Three.js.

La decisión cara: nada sale de la máquina

El procesamiento es local y el código es abierto. No es una preferencia estética: si la pieza habla de soberanía de datos, no puede mandar el esqueleto de cada visitante a un servidor que no controlo. Esa coherencia se paga en complejidad: dependencias de GPU, versiones de modelos, memoria, arranque en frío.

También me obligó a leer el movimiento con más cuidado. Cuando no tienes una API enorme detrás, el marco de Laban deja de ser un adorno teórico y se vuelve la manera de traducir esfuerzo y cualidad, no solo coordenadas.

Dónde verla

Seleccionada para CVPR Art Gallery 2026. Documentación, videos y demo del agente: petrasynthetic.com/agente.


Referencia de investigación: Olof Misgeld sobre mediación del movimiento en danzas folclóricas suecas, traída aquí a la pregunta política por la propiedad de los datos del cuerpo.

來源:DEV Community · dev.to