Kaleidosmusic

Kaleidosmusic è un progetto musicale-artistico per la creazione di video dall’aspetto psichedelico, ma strutturati secondo una logica di mappatura dello spettro sonoro su quello visivo. L’obiettivo non è infatti quello di replicare modelli già ampiamente diffusi, ma di permettere ai fruitori di fare un’esperienza percettiva basata sulla sinestesia reciproca tra musica e immagini (e viceversa). In altre parole, l’obiettivo (forse un pò ambizioso) è quello di far “vedere” i suoni e “sentire” i colori attraverso una percezione combinata ma sempre coerente.

Kaleidosmusic è un progetto artistico per la composizione di musica e video al fine di indurre sinestesie incrociate.

Cosa non è Kaleidosmusic

Prima di introdurre qualche elemento legato al funzionamento dell’algoritmo, vorrei premettere ciò che Kaleidosmusic non è:

  • Un sistema per produrre video con variazioni casuali di colori (e.g., mutazioni continue di un plasma)
  • Un modello per indurre ipnosi o stati alterati di coscienza
  • Un modello per veicolare messaggi subliminali di alcun tipo

Quali sono i principi fondamentali di Kaleidosmusic

Senza entrare in dettagli eccessivamente tecnici, l’algoritmo di Kaleidosmusic è basato su alcuni passi fondamentali che sono implementati in Python, Scipy e Librosa. Il primo consiste nell’analisi spettrale delle frequenze contenute in campioni stereo di durata fissa. Assumendo di avere un brano musicale M, esso viene discretizzato in una sequenza A contenente N campioni ai:

Sequenza discreta del campione musicale

Ciascun campione ai è composto da una tupla (ai1,ai2) contenente i date dei due canali stereo. A questo punto, i due canali contentente una serie temporale vengono ricampionati e sovrapposti (da stereo, la serie diventa mono) e preparati per essere sottoposti a SDFT (Short-time Discrete Fourier Trasform) attraverso un processo di windowing:

Il segnale audio è sottoposto a un processo di windowing

I frammenti ottenuti da ciascuna finestra vengono quindi sottoposti a FFT (Fast Fourier Transform) per ricavarne lo spettro in frequenza F:

Fast Fourier Transform dei segnali musicali campionati

A questo punto, l’algoritmo effettua una mappatura tra i picchi di frequenza sonora e le corrispondenti frequenze dello spettro di luce visibile. I picchi del campione corrispondono alle note dominanti e agli armonici di ordine superiore indotti da quest’ultime, come mostrato in figura:

Attraverso una serie di filtraggi, i picchi vengono combinati e pesati in base alla loro importanza relativa e il risultato viene trasformato in un fotogramma dell’animazione finale (che sarà in sincronia perfetta con l’audio).

Attenzione

I video generati tramite l’algoritmo di Kaleidosmusic contengono variazioni cromatiche molto rapide che coprono lo spettro compreso tra il rosso e il violetto. L’effetto prodotto può essere pertanto pericoloso per tutti i soggetti che soffrono di epilessia, di disturbi psicotici o di qualsiasi altra patologia neuropsichiatrica che può esacerbarsi attraverso la stimolazione visiva violenta. Di conseguenza, in tutti questi casi, se ne sconsiglia assolutamente la visione!

Esempi di Kaleidosmusic

Tutti i video vengono solitamente pubblicati sia sul mio canale YouTube che nella sezione dei post. Qui ci sono alcuni esempi.

F. Chopin – Waltz in La min. B150 Postumo

YouTube player

L. van Beethoven – Bagatella n. 25 in La min. “Per Elisa”

YouTube player


Se ti piace il mio lavoro, puoi sempre fare una donazione per supportare la mia attività. Basta un caffè! E non dimenticarti di iscriverti alla mia newsletter settimanale!


Share this post on:
FacebookTwitterPinterestEmail