Saltar al contenido

Síntesis de sonido basada en la física para juegos y sistemas interactivos

Sobre el curso

Este curso introduce los fundamentos del Procesamiento de Señales Digitales y la acústica computacional, motivados por la física vibracional de los objetos y sistemas del mundo real. Construiremos a partir de una simple masa-muelle y péndulo para demostrar la oscilación, aprenderemos a simular esos sistemas en el ordenador, y también probaremos que estas simples oscilaciones se comportan como una onda sinusoidal. De ahí pasamos a las cuerdas pulsadas y a las barras pulsadas, mostrando ambas soluciones como ondas viajeras combinadas y armónicas de ondas sinusoidales combinadas. Continuamos construyendo y simulando sistemas más complejos que contienen muchos objetos vibrantes y resonadores (instrumentos de cuerda, tambor, placa), y también aprendemos a simular ecos y reverberación de habitaciones. A través de este proceso, aprenderemos sobre señales digitales, filtros, osciladores, armónicos, análisis espectral, sistemas lineales y no lineales, modelos de partículas, y todos los bloques de construcción necesarios para sintetizar esencialmente cualquier sonido. El software libre y de código abierto que se proporciona hará posible que cualquier persona pueda utilizar modelos físicos en su arte, en el sonido de juegos o películas, o en cualquier otra aplicación.

HORARIO *

El curso se extiende hasta el 31 de agosto de 2016

Sesión 1: El Dominio del Tiempo: Sonido, Audio Digital, Archivos PCM, Ruido Vs. Pitch, A Hint Of Spectra

Síntesis de sonido basada en la física para juegos y sistemas interactivos
Síntesis de sonido basada en la física para juegos y sistemas interactivos

a) Sonido en el aire, ondas viajeras b) Audio digital, muestreo, cuantificación, aliasing c) Archivos de sonido, tablas de ondas, manipulación de PCM d) Pitch (vs. Ruido), análisis espectral 0.1 e) Detección de Pitch/ruido en el dominio del tiempo: ZeroXings, AMDF, AutocorrelaciónSesión 2: Física, Osciladores, Sines & Spectra, Síntesis Espectral/Aditiva

a) Sistema Masa-Muelle-Damper, también Péndulo simple b) Análisis/síntesis de Fourier, Análisis de espectro 1.0 c) Más sobre síntesis aditiva de onda senoidalSesión 3: Filtros digitales, Síntesis modal

a) Filtros digitales, respuesta de impulso finito (FIR) b) Linealidad, variación temporal, convolución c) Filtros digitales de respuesta de impulso infinito (IIR) d) Filtro de resonador BiQuad, síntesis modalSesión 4: Síntesis de modelado físico: sistemas 1D

a) Sistemas 1-D, Cuerdas, Solución Modal (Fourier) b) Cuerdas II: Solución de Guía de Onda (D$0027Alembert) c) Sistemas 1-D, Barras, Tubos, soluciones d) Síntesis Avanzada de Guía de Onda para sistemas 1-DSesión 5: Modelado Físico II: Sistemas 2 y 3-D

a) Sistemas 2-D, placas, tambores, modos de orden superior Soluciones de Fourier (sinusoidales y/o modales), Soluciones de guía de ondas b) Sistemas 3-D, salas, resonadores, Mallas, Guías de ondas c) Resonador/Vista modal y solución de sistemas 3-D Botellas de pop y otros resonadores agrupadosSesión 6: Síntesis sustractiva, sonidos vocales y modelos

a) Síntesis sustractiva, síntesis de voz, formantes b) Predicción lineal, LPC c) FOFs d) Síntesis FM: Cuernos, Campanas, VocesSesión 7: Granos, partículas y modelos estadísticos

a) Ondas b) Síntesis granular c) Modelos de partículas, síntesis modal estadística d) Viento, agua, mar y otros sonidos silbantesSesión 8: Extensión y refinamiento de los modelos de síntesis física

a) Síntesis de forma de onda, modelado de la distorsión b) Sistemas variables en el tiempo c) Rigidez, filtros de paso total, guías de onda en banda d) Síntesis conmutada e) JULIO en KS, cuerdas, demosSesión 9: Tying It All Together: Aplicaciones, Sonificación, Interacciones y Control

a) Síntesis escaneada b) No te olvides del portátil!!! SMELT: c) Control de la síntesis con mandos de juego (Wii, TouchOSC móvil, más) d) Síntesis a pie, un sistema completo e) Audio de procedimiento: Conduciendo la síntesis desde el proceso, el estado del juego, etc. f) Sonificación del conjunto de datos* Este curso se desarrolla en el modo de Programación Adaptativa. Puede aprender más sobre cómo funciona la Programación Adaptativa en este artículo de ayuda

Lo que necesitas para tomar este curso

  • Software: ChucK (también opcionalmente STK, PeRColate para Max/MSP, Procesamiento, GL/Glut)

Libros de texto recomendados (altamente) & Prerrequisitos:

  • Síntesis de sonido real para aplicaciones interactivas (descuento Kadenze disponible: Usuarios gratuitos=20%, Premium=50%)
  • Familiaridad con el lenguaje de programación ChucK
  • Introducción a la Programación para Músicos y Artistas Digitales (curso Kadenze ChucK)
  • Programación para Músicos y Artistas Digitales (Libro ChucK, Descuento Kadenze)
  • Sistema operativo: Mac OS X, Windows o Linux (se recomienda Planet CCRMA)
  • Deseado: familiaridad con el álgebra. No se requiere cálculo.
  • Es útil tener: algunas cosas personales que hagan ruido: una guitarra u otro instrumento de cuerda, un tambor, una cacerola, un cuenco de oración, vasos, tazones, voz…

INSTRUCTORES DE CURSO

Perry Cook

Perry R. Cook es Profesor Emérito de Ciencias de la Computación (también de Música) en la Universidad de Princeton, consejero fundador/consultor de la compañía de música social SMule, y profesor consultor en CalArts, Stanford CCRMA. Junto con Dan Trueman, cofundó la Orquesta de Computadoras Portátiles de Princeton, que recibió una Beca de la Iniciativa de Aprendizaje Digital de MacArthur en 2005. Con Ge Wang, Cook es co-autor del Lenguaje de Programación ChucK. Su último libro es «Programming for Digital Musicians and Artists», con Ajay Kapur, Spencer Salazar y Ge Wang. Ganador de una beca Guggenheim en 2003, Cook está (todavía) trabajando en un nuevo libro, «La Bella Voce e La Macchina (La bella voz y la máquina), una historia de la tecnología y la voz expresiva». Perry es también cofundador de Kadenze.

Julius Smith

Julius O. Smith normalmente enseña una secuencia de cursos de procesamiento de señales de música y supervisa la investigación relacionada en el Centro de Investigación Informática en Música y Acústica (CCRMA). Es formalmente un profesor de música y (por cortesía) de ingeniería eléctrica. En 1975, recibió su título de BS/EE de la Universidad de Rice, donde se inició en el campo del procesamiento de señales digitales y el modelado para el control. En 1983, obtuvo el grado de doctorado/EE de la Universidad de Stanford, especializándose en técnicas de diseño de filtros digitales e identificación de sistemas, con aplicación al modelado de violines. Su historial de trabajo incluye el Departamento de Procesamiento de Señales de Electromagnetic Systems Laboratories, Inc., trabajando en sistemas para comunicaciones digitales, el Departamento de Sistemas Adaptativos de Systems Control Technology, Inc., trabajando en problemas de investigación en filtrado adaptativo y estimación espectral, y NeXT Computer, Inc., donde fue responsable del sonido, la música y el software de procesamiento de señales para la estación de trabajo informática NeXT. El profesor Smith es miembro de la Audio Engineering Society y de la Acoustical Society of America. Es autor de cuatro libros en línea y de numerosas publicaciones de investigación en su campo.