Soundbarrier_Soundscrolls

Sound Scrolls è un progetto realizzato a partire da alcune riflessioni sugli orizzonti progettuali dischiusi dalla possibilità di manipolare e comporre suoni e immagini attraverso un'azione diretta sul codice informatico.
Prendendo spunto principalmente dal concetto di "transcodifica", elaborato nell'ambito della teoria dei media da Lev Manovich (2004), e dalle ricerche sulle sinestesie nel design della comunicazione cinetica e audiovisiva di Dina Riccò (1999 e 2007), nonché dagli studi sull' "audiovisione" di Michel Chion (1999), Sound Scrolls si propone di sondare alcune delle nuove strategie di connessione tra immagini in movimento e suono rese possibili dal fatto che entrambi, sui media digitali, possono essere manipolati e trattati mediante processi simili.

Il concetto di transcodifica si riferisce esattamente a quest'ultimo punto, ossia al fatto che sul digitale suoni e immagini sono composti sostanzialmente della stessa "materia", ossia sequenze di impulsi elettrici codificati in un linguaggio macchina.
Questa vicinanza materiale consente una serie di operazioni di "traduzione" diretta, gestita matematicamente, tra i due regimi mediali: un suono può appunto essere "transcodificato" in un'immagine, e viceversa.

A partire da questo "dato" tecnico divengono ipotizzabili una grande quantità di direzioni progettuali.
Nel caso specifico di Sound Scrolls il punto di partenza è costituito da un flusso video "classico": gli esperimenti che Oskar Fischinger sul finire degli anni '30, e quindi in epoca predigitale, stava già con lungimiranza portando avanti nel campo dell'ibridazione di suono e immagine.

I "sound scrolls" erano degli schemi grafici astratti, che imitavano la forma di un'onda sonora, che Fischinger componeva con l'esplicita intenzione di dar vita, a partire dal medesimo "segnale", ad un'opera audiovisiva coerente. Il progetto Sound Scrolls propone di re-inventare il procedimento fischingeriano mediante le potenzialità dischiuse dal medium digitale.

Una serie di sequenze cinematografiche originali dei lavori di Fischinger vengono digitalizzati e analizzati in tempo reale da un software; da queste immagini vengono estratti, mediante un software appositamente realizzato per il progetto, dei dati numerici relativi ad alcuni aspetti visivi, quali luminosità media del fotogramma, quantità di movimento, riconoscimento di forme, ecc.

Questi dati vengono poi convertiti in una serie di parametri in grado di controllare degli algoritmi di sintesi sonora. Tutto il processo avviene in real-time, in modo tale che l'immagine viene letteralmente "suonata" man mano che scorre.

Parallelamente gli stessi dati vengono utilizzati anche per controllare delle visualizzazioni grafiche che, sovrapposte alle immagini, consento di "vedere in azione" il processo di analisi.
Un computer, sul quale è messo in esecuzione il software, riceve il segnale video da un normale lettore dvd. Il segnale è analizzato e "smistato" verso due canali: uno, elaborato graficamente, conduce ad un videoproiettore; l'altro, "tradotto" in segnali MIDI, viene inviato ad un altro computer che elaborano il suono.

Le modalità di analisi del segnale sorgente sono diverse, e ad ognuna corrisponde una visualizzazione grafica differente e una diversa modalità di generazione del suono. Lo switching tra una modalità e l'altra è attivato rapidamente e in tempo reale mediante semplici comandi da tastiera. In questo modo la gamma di elaborazioni audio-visive ottenibili viene moltiplicata e inoltre può essere gestita in un contesto performativo.

L'esecuzione del progetto prevede l'utilizzo di due proiezioni affiancate. La prima con le immagini originali e inalterate dei film di partenza, la seconda con le visualizzazioni grafiche. L'affiancamento consente allo spettatore di seguire in tempo reale il procedimento di analisi dell'immagine e di percepire con maggiore precisione il collegamento di tale processo con il flusso di eventi sonori così attivato, risolvendosi nella produzione di un'esperienza sinestetica fortemente immersiva.