摘 要：
基于數據可聽化的起源、概念以及主要特征，闡述了數據可聽化作品的制作流程，以及主要制作方法和工具，特別針對實現數據可聽化與視聽藝術的交互問題進行了討論，并展望了數據可聽化在舞臺藝術中的應用前景。
當前，由于移動設備的普及，數據可視化向各個領域滲透，幫助人們分析事物，直觀地展現信息，并且數據的歸納具有高效性。盡管如此，數據可視化也并非完美無缺，如大量的數字和各式各樣的圖表易造成人們的視覺疲勞、對視力殘障人士不友好等。于是，相關領域研究人員意圖探尋數據被人類“聽見”，隨著音頻軟件的更新進步，以及對音頻交互技術的探索，由此一個全新的概念——數據可聽化（Data Sonification）被越來越多的相關從業者提及和研究，借此更好地利用人們的聽覺器官。
在文娛領域，表現形式愈加多樣化，交互藝術、“元宇宙（Metaverse）”等形式、概念不斷融合發展。很多藝術家希望通過虛擬現實（VR, Virtual Reality）展現視覺作品，還有不少學者正在探究將聲音與繪畫作品相結合，幫助觀賞者更好地理解作品，同時制造身臨其境的效果。
基于此，筆者闡述視覺藝術數據可聽化與舞臺劇、影視戲劇相融合的相關研究，以及未來其發展的潛在價值等，重點介紹當前數據可聽化與視覺藝術的研究進程，整理并總結以畫作可聽化為例的可聽化制作流程，以及數據可聽化在舞臺藝術領域的應用前景。
1 數據可聽化的定義及分類
聽覺呈現(Auditory Display)仍然是一門新興的學科，在1992年，Krammer成立了一項組織稱為“國際聽覺顯示學會”（ICAD, International Community for Auditory Display）。該組織的學者給出了可聽化（Sonification）的定義，即使用非語音音頻（Non-Speech Audio）來傳遞信息或感知數據[1]。然而這個定義對于信息傳遞的含義仍不夠明確，比如是否必須以計算機等電子設備為媒介進行傳輸。因此，Krammer和Walker等人在1999年提出了更精準的定義：可聽化是數據關系轉化為聲學信號并用于傳輸或解釋信息[2]。這為數據可聽化（Data Sonification）的定義建立了一個雛形。學者McLean和Dean明確了數據可聽化的定義[3]：數據可聽化是指將模型生成的數據、實驗中捕獲的數據或通過觀察收集的數據反映到音頻信號或聲音合成模型的一個或多個參數，以便更好地理解、交流或推測模型、實驗或系統。
其后，Hermann[4]又總結了數據可聽化的四個特征，當使用數據作為輸入并產生聲音信號（最終可成為激勵或觸發信號）的大前提下：（1）聲音反映了輸入數據的客觀屬性或關系；（2）轉變是系統性的，即數據如何導致聲音變化有一個精確的定義；（3）可聽化是可復制的，給定相同的數據和同樣的互動（或觸發器），產生的聲音在結構上一致；（4）系統可以使用不同的數據，也可以使用重復的數據。
對于可聽化的分類，加州圣巴巴拉大學的學者McGee引用J. Keller 從數據處理方法的角度分為三類[5]：標準可聽化（Iconic Sonification），比如使用雨聲和風聲來表達天氣變化；直接轉換可聽化（ D i r e c t Sonification，或稱Audification），即直接用頻率（20 Hz～22 kHz）的變化表示數據；音樂可聽化（Musical Sonification），用樂器的聲音，加上設計好的速度和旋律進行制作。
2 數據可聽化的制作流程
近年來，學者對于包括圖片在內的視覺藝術作品可聽化的探究聚焦于可聽化的方法與算法，并開展探究觀賞者心理的實驗 [6]。關于數據可聽化的方法研究主要集中在兩個方面：一是有關音樂方面，即音樂結構[7]，二是關于圖片或畫作的視覺特性及相關參數[8]。對于算法的研究，通過算法實時追蹤人們欣賞視覺作品時的感覺[9]。現以繪畫視覺藝術作品為例梳理數字可聽化的主流制作方法，包括對視覺作品中關鍵信息的提取和布局，以及普遍使用的數據可聽化的制作工具。
2.1 視覺作品的信息提取
首先，提取畫面的信息，并列舉出呈現聲音的特性，這個過程非常重要，被稱作“布局策略”（Mapping Strategies）。
弗吉尼亞理工大學研究人員聚焦于通過可聽化的算法讓視覺藝術更好地轉化為音樂。他們將畫作中每一色塊的色調（ H u e ）、明暗度（ Brightness ）、畫面的空白度（ Saliency ），還有作品的尺寸大小以及藝術風格逐一進行量化，分別對應音頻參數的音調（Pitch）、速度（Tempo）、調式（Mode）、響度（Loudness）和音樂風格（Musical Composition）[10]。研究者Sarah Lucioni對星空、蒙娜麗莎和創造亞當等幾幅經典畫作進行可聽化設計，創作音樂作品。她通過使用Pyo音頻處理庫進行Python編程，將畫中的每一個色塊的RGB數值（光譜值）進行量化（RGB：0～255），然后轉化成聲音（頻率范圍：100 Hz～800 Hz）[11]。圣塔克拉拉大學計算機學院的學者使用SOVIA交互系統使得畫家莫奈的畫作以視聽的方式呈現，整個過程是通過Python語言來完成的，他們收集了369部莫奈的風景畫作，對作品中出現的景物進行歸類[12]。如畫作《亞嘉杜的罌粟花田》（Poppy Field at Giverny, 1890）信息的聽取，如圖1所示，框中的景物被捕捉并依次分類，之后被設計成不同的聲音。由此，當點擊一個方框時，就會發出對應的聲音，混入背景音樂之中。
很多相關領域的學者基于HSL顏色體系（Hue色調, Saturation飽和度，Luminosity亮度）來定義聲音與色彩的關系。日內瓦大學的學者研究如何讓盲人欣賞畫作，將不同色調的數值與不同的樂器音色相對應，例如雙簧管對應紅色色調、小號對應青色色調等。他們總結了一套公式將色調值轉化為樂器音色的算法[13]：
圖1 采用SOVIA方式的視聽化設計（圖片來源：WikiArts）
其中，hh表示音頻呈現的音色所對應的色調值；增益 g 的定義式是：
分別代表包括紅、橙、黃、綠、青、藍和紫色的兩個連續色調的數值，通過這種排列方式使得兩個色調的過渡是平順的）。
2.2 可聽化制作的方法與工具
可聽化作品的制作有各種方法，音頻軟件和編程是兩種非常直觀易理解的方式。
2.2.1 音頻軟件
Pure Data（Pd）和Max作為音頻交互工具能夠設計可聽化算法進行作曲，有選擇地收集各類數據轉換為聲音的形式展現，而且還能夠通過圖形、折線圖的方式動態呈現數據的變化。
斯坦福大學音樂計算機研究院嘗試用Pure Data進行算法作曲，意圖將收集的太陽系的數據轉換成聲音的形式；在他們設計的SoSH工具中，包含有基本模塊(Patch) modefilter_ standalone.pd，如圖2所示；其中，使用了五組“波形濾波器（Mode-Filter）的子模塊（Sub-Patch），呈現五個不同音調同時運行的效果，如圖3所示[14]。
圖2 基本模塊modefilter_standalone.pd（圖片來源：斯坦福大學音樂計算機研究院）
圖3 子模塊波形濾波器（圖片來源：斯坦福大學音樂計算機研究院）
相比Pure Data，Max還能通過設置選取想要的樂器音色（還有 Abelton 也具有此功能） 。如果意圖展現可聽化的人機交互（ H C I , Human-computer interaction），通過MIDI接口將一塊Micro:bit連接電腦主機，是目前學者以及大眾在制作可聽化作品最常用的方法。在進行制作時，除了選取合適的音頻參數，需要考慮以下兩點：其一，將所有參數定在一個合適的區間，即選擇聽感上較為舒適的頻率范圍和音色；其二，將布置好的數據輸出至MIDI合成器或音頻設備等。許多音樂制作人嘗試使用Micro:bit制成手套，并通過Mini.mu與Pure Data設計編程，將手勢的轉動模擬出電音打擊墊的演奏，如圖4所示。有的制作人選擇Java編程語言，運用代碼方式分別將Micro:bit與計算機及Micro:bit手套連接（具體代碼可詳見Micro:bit官網）[15]。他們使用了Hairless MIDI和loopMIDI兩個程序對MIDI設備進行虛擬連接，在Pure Data界面中，當每一個傳感器通過各個gemidi通道傳輸數據時，使用notein模塊來完成此任務，如圖5所示。
圖4 打擊墊演示截圖（圖片來源：Micro:bit官網）
圖5 notein模塊中的MIDI數據分配（圖片來源：Micro:bit官網）
2.2.2 編程語言
可聽化制作另一種方便快捷的方法是通過編程實現，Python是目前使用較多的一種語言。NASA工程師、可聽化專家Matt Russio介紹了使用Python編程將數據轉化為聲音的基本方法。在他們看來，通過python設計一個可聽化作品需要五個步驟[16]：布局（Mapping）,哪些數據分別對應哪些音頻參數；極值（Polarity），數值越大對應的是更高還是更低的頻率；范圍（Range），對于每一個選中的音頻參數，它的音頻范圍是什么，每一個音符需要維持多長時間；各個音頻參數在可聽化設計中的占比，加強還是壓縮（Scaling, Stretch/Compress）；量化（Quantization），是否考慮將一些數據在可聽化設計中改變其速度、節奏，讓整段音樂變得豐富。
3 數據可聽化與視聽藝術交互的討論
前文討論了數據可聽化與視覺藝術相結合的前沿研究，音畫結合使得觀眾能更好地欣賞藝術作品。但當前很多學者有一個疑問，什么樣的可聽化作品是成功的？Kramer等美國學者搜集了許多被視為成功的可聽化作品，并舉例了在三個領域中的應用或工具[17]：第一，他們認為目前為止最成功的一個可聽化產品之一便是“Geiger-counter”,這件樂器可以探測不可見的危險等級并發出警報聲；第二，可聽化另一個富有潛力的領域便是視覺康復方面，傳感器可以幫助視力障礙者有效治療；第三，可聽化與教育領域結合的工具也是研究的重點之一，研究表明多數人通過聽覺能更好地理解信息的趨勢、聚集、關聯性以及數據中一段簡單的統計特征，不亞于閱讀[18]。
然而，仍然有少數研究人員認為數據可聽化的發展有一定的局限性和缺陷，甚至有的學者認為數據可聽化在不久的將來會慢慢淡出人們的視野。美國伍斯特學院的學者Neuhoff列舉了幾個質疑和弊端[19]：第一，視覺與聽覺的同步精確度是否能有保證；第二，聽覺存在個體差異；第三，每位聽覺測試者在感受音頻交互的過程中，在不同維度、不同方面對作品的理解是不一樣的；第四，數據可聽化是一門跨學科的研究，相關領域的學者與音頻工程師對于數據的理解會有所差異，這會導致呈現的作品、對于數據的評估和整理出現一定程度上的分歧。學者Supper提出，數據可聽化更多地是一種娛樂化的方式，而不是從科學的角度分析各類數據[20]。學者Ono和Teghtsoonian在各自文章中提出，從衡量音頻參數的角度看，如果將數據的變化與音調的高低聯系起來，會發現音高的變化只在數據提高2%以上才能被感知[21,22]。Neuhoff 也提到，當數據發生變化時，比如當一個圖形的比例或尺寸的數值改變，聆聽者會對聽到的信息產生歧義，當音調上升時，圖形的變化是擴張還是收縮是一個疑問[23]。數據可聽化的弱項還包括當幾個音頻參數都發生改變時，響度參數會影響到諸如音調或音色的感知[24]。
當然，Neuhoff也列舉了幾條數據可聽化的改進方法[25]：（1）需要堅持認為數據可聽化是一個更偏向藝術的學問；（2）應該側重于讓音頻交互設計得更巧妙，需要考慮欣賞者的感受，包括盡量避免使用音調或響度的功能造成的聽覺歧義等問題；
（3）避開“混亂的中間地帶”（Muddled Middle）,意思是不要總想著讓數據可聽化的藝術與科學數據達到一個平衡。
從視聽藝術的交互性來看，正如前文可聽化制作環節所提及的，意大利學者Polotti和Gonia認為，采用人機交互技術將手勢或是身體姿態的變化進行數據可聽化，即手勢可聽化（Gesture Sonification）實現視聽藝術融合，使人們更好地接觸并理解相關作品[26] 。對于藝術領域的可聽化設計，最基本的原則是展現作品里的必要元素，包括明確設計的目標及定義詳細的主題[27]。學者Findeli將這一觀點定義為“交互形式（Interaction Gestalts）”[28]。當前，視覺藝術的可聽化不僅僅局限于繪畫美術作品等單一方向，相關領域從業者也慢慢將這一技術搬到音樂劇、舞臺劇、雜技表演的舞臺中。Polotti和Gonia通過三種不同的舞臺劇進行試驗[29]：（1）專業雜技表演，演員并沒有跟隨一段音樂跳舞，相反是根據舞臺上聲、光的變化調整動作；（2）專業與非專業迪斯科舞蹈表演；（3）使用VSE（Visual Sonic Enaction，圖像-聲音轉換系統）進行表演。
4 數據可聽化應用于舞臺藝術中的前景
基于上述文章內容的分析與總結，就未來視覺藝術可聽化的研究而言，制作環節上的精進和創新探究有以下三方面。
第一，與視覺作品相結合的數據可聽化項目實用性是其發展的重要因素，尤其是在大眾教育和視覺殘障領域的應用有很大的潛力；第二，對于大眾教育而言，通過數據可聽化的方式能使人們更清晰易懂地理解視覺藝術作品的細節變化，音畫結合的形式也非常容易被大眾所接納；第三，對視覺殘障人士來講，可聽化作為一種欣賞視覺藝術的特殊方式給這類群體帶來了福音。
對于視覺藝術展演領域，近年來已有學者在舞臺劇或音樂表演中加入了數據可聽化的嘗試，相比在美術館或科技館小空間內的數據可聽化的創作，受眾群體和市場潛力巨大。早在2004年，有關數據可聽化的音樂會就出現在了悉尼歌劇院。在這場“聆聽想象中的聲音（Listening to Mind Listening, LML）”的音樂會上[30]，學者Wolf和Fiebrink通過數據可聽化的方式讓觀眾與音樂劇表演者進行交互，每位觀眾戴上WiFi耳機，表演者的舞蹈肢體動作被量化成參數轉化為音頻的形式實時傳遞給觀眾，讓觀眾更加專注于舞臺上的表演[31]。還有學者研究了樂器演奏與演奏姿態的可聽化互動設計，其中，Kirsty Beiharz在她的文章中提及了一種名叫“Sonic Tai Chi” 的裝置設計（2005—2006年展陳于悉尼 Powerhose 博物館的BetaSpace,設計者Joanne Jakovich），如圖6所示，它是一個通過空間交互的虛擬的視覺及音頻合成的作品，它使用計算機視覺捕捉肢體動作的數據產生可視化和可聽化的效果，形成人與視聽藝術間交互[32]。
圖6 Sonic Tai Chi視聽交互設計（圖片來源：Joanne Jakovich）
盡管到目前為止，視覺藝術可聽化的舞臺劇作品還未出現成型的大制作，基于對相關研究及實踐的分析，未來視覺藝術可聽化在舞臺上的應用具有很大的潛力，尤其是音樂劇、舞劇方面，如何將表演形式變得多樣化，如何讓觀眾融入視聽表演，是未來幾年研究的重點。筆者認為，以下兩方面的研究會有潛在價值：一是畫作藝術的數據可聽化，音頻技術及音樂制作研究者可以探索分析著名畫家的畫作或視覺作品的數據，并制作成可聽化的交響樂或電子音樂作品，甚至通過舞臺表演的形式再次呈現，包括觀眾對于這種新形式的表演的接受程度；二是舞臺劇、雜技等表演藝術的數據可聽化，利用手勢可聽化將表演者的肢體語言進行數據轉化，形成與視聽藝術的交互性，或許能成為一種新的表演形式？作品中每個部分的數據可聽化處理，是通過在演員的四肢安裝交互式裝置，根據肢體的變化進行相應頻率、節奏以及旋律的調整，這樣的方式或許能幫助更好地理解作品，也可以“拉近”觀眾與表演者的距離。不可否認這種表演模式是令人耳目一新的，然而也存在著一些問題，制作成本是不能忽視的問題，尤其是經濟成本，使用相應的交互裝置需要一定的花費；此外，是可聽化作品的質量問題，音頻工程師、音樂制作人以及舞臺劇導演和演員對于畫作的理解一定程度上決定了可聽化作品的質量，所以整部作品的制作需要對藝術方面有非常高的理解力與造詣。
還有一點值得關注，國內包括高等教育的相關領域對于視聽交互等新的交叉學科還在探索階段，其建設亟待加強。筆者認為，音頻工程系、舞臺美術系等可以設立相關專業課程，學生除了需要具備音樂、藝術等基礎知識外，也需要用一定的時間學習編程、信號處理等工科課程。
5 結語
基于數據可聽化的起源、概念以及主要特征，簡單闡述了數據可聽化作品的制作流程，包括當前一部分學者進行視覺畫作參數的采集、整理及可聽化的設計，以及主要制作方法和工具，特別針對實現數據可聽化與視聽藝術的交互問題進行了討論，并展望了數據可聽化在舞臺藝術中的應用前景。數據可聽化與視覺藝術的結合作為一個新興的發展方向前景廣闊。
選自 《演藝科技》2023年第一期 盧亦林《淺析視覺藝術的數據可聽化》。轉載請標注：演藝科技傳媒。更多詳細內容請參閱《演藝科技》。
（除原創作品外，本平臺所使用的文章、圖片、視頻及音樂屬于原權利人所有，僅用于行業學習交流，并不用于商業用途。文中觀點為作者獨立觀點，因客觀原因，或會存在不當使用的情況，如，部分文章或文章部分引用內容未能及時與原作者取得聯系，或作者名稱及原始出處標注錯誤等情況，非惡意侵犯原權利人相關權益，敬請相關權利人諒解并與我們聯絡第一時間處理，共同維護良好的網絡創作環境。）
|
