服務聽障人士的聲音可視化互動設計

　　摘要：眾所周知，聲音是由振動產生的。在傳統意義上，音樂屬于耳朵，是用聽覺體驗美感的藝術。人們在欣賞音樂時，往往是在傾聽的基礎上，通過“音響感知與情緒感受”“形象聯想與理性感悟”以及“音樂美的體驗與感悟”等階段，完成對音樂作品由感性到理性的審美體驗過程。音樂具有形象思維的特點，在情感的伴隨下，通過想象聯想，獲得音樂形象、生活情景以及意境等形象，音樂可視化變為現實。

　　關鍵詞：聲音可視化;processing編程藝術;數字媒體藝術

　　一、簡介

　　(一)項目背景及作品創意眾所周知，聲音是由振動產生的。在傳統意義上，音樂屬于耳朵，是用聽覺體驗美感的藝術。人們在欣賞音樂時，往往是在傾聽的基礎上，通過“音響感知與情緒感受”“形象聯想與理性感悟”以及“音樂美的體驗與感悟”等階段，完成對音樂作品由感性到理性的審美體驗過程。音樂具有形象思維的特點，在情感的伴隨下，通過想象聯想，獲得音樂形象、生活情景以及意境等形象，音樂可視化變為現實。我們計劃塑造一個能將音樂可視化的產品，以更好地呈現音樂所帶來的情緒。同時，我們期望這款產品在未來的迭代過程中，實現能夠幫助聽障人士感受音樂的功能。

　　媒體技術論文范例：基于大數據可視化技術的信息系統AC審計

　　(二)作品功能

　　第一部分的作品包括MySong和麥克風輸入。這兩者都是將音頻進行圖像化處理的程序，這兩者是根據音頻的振幅變化來生成圖像，所以使用Processing自身創建amplitude對象。第二部分的作品包括鍵盤鋼琴與電子琴，這一部分的作品是對于圖像音頻化的詮釋。其中，電子琴一共有32個鍵位，鍵盤上的三排字母都可以成為按鍵。最低音是G3最高音到D8，因為G3是揚聲器所能發出的最低音;而最高音則是受限于鍵盤數所以只排到D8，實際最高音未知。電子琴的琴音是電腦自生成音，與鋼琴不同，不需要data文件夾來添加音頻文件。

　　(三)系統開發平臺

　　開發工具與編程語言：Processing;源碼支持環境：Windows/Linux/MacOS，需在ProcessingDevelopmentEnvironment-processing.exe中運行;開發使用的庫文件：Minim2.2.2，Sound2.2.3;音樂、視覺效果均為團隊原創，使用工具有：AdobeIllustrator，AdobePhotoshop，庫樂隊，AdobeAudition。

　　(四)作品特色第一部分的作品包括MySong和麥克風輸入。

　　這兩者都是將音頻進行圖像化處理的程序，在使用方面，如果想要套入使用的音頻格式不是mp3，則需要去源碼中找到XXX=newSoundFile(this,”Xxx.mp3”)這一行，將雙引號中的文件名與格式改成想要播放的音頻文件。如果還是無法播放則降低音頻質量，因為受Processing自身頻譜分析限制，無法分析過高質量音頻。麥克風輸入則如其字面意思一般，通過輸入、捕捉外界聲音，利用minim庫來分析音頻，進而生成圖案變化——聲音越低沉波動越平緩，音調越高則波動越劇烈。

　　第二部分的作品包括鍵盤鋼琴與電子琴，這一部分的作品是對于圖像音頻化的詮釋。琴音是根據每個鍵位輸入的每個音所代表的頻率來產生的。在編程時考慮的聽眾感受，采用的是體感最舒適的矩形波所生成的電子音。當然，也可以通過將源碼第三行第一個單詞改成SinOsc、SawOsc、TriOsc或Pulse來分別用正弦波、鋸齒波、三角波或脈沖波形成音頻。另外，電子琴在彈奏的時候屏幕隨機出現會變化顏色的矩形，這些顏色變化是根據音頻頻率變化而產生的。

　　二、多媒體系統詳細設計

　　根據作品類別任選一類(可包含但不限于下列內容)。構想(創意)：我們作品的設計方向是圍繞著“圖像”與“音頻”這兩個概念展開的。其背后想法就是將“圖像”可聽化以及將“音頻”可視化。交互規則：我們參考了諸多樂器與麥克風的聲音呈現方式，探索視覺、觸覺對聽覺具象化的可能性。視覺藝術：采用AdobeIllustrator、AdobePhotoshop設計樣稿，在Processing中通過編程實現樣稿的可視化效果。

　　程序系統設計與編程(參考非媒體類的系統結構設計與數據庫結構設計)：全部使用Processing開發完成，調用的庫文件有：Minim2.2.2，Sound2.2.3。美術、聲效：團隊成員使用鋼琴、架子鼓錄制基礎音頻，在庫樂隊，AdobeAudition中進行優化處理。編劇、角色、道具、場景：本作品中不涉及任何人物角色、道具與場景。界面設計：由Processing封裝的基礎可視化界面。

　　二、多媒體系統詳細設計

　　根據作品類別任選一類(可包含但不限于下列內容)。構想(創意)：我們作品的設計方向是圍繞著“圖像”與“音頻”這兩個概念展開的。其背后想法就是將“圖像”可聽化以及將“音頻”可視化。交互規則：我們參考了諸多樂器與麥克風的聲音呈現方式，探索視覺、觸覺對聽覺具象化的可能性。視覺藝術：采用AdobeIllustrator、AdobePhotoshop設計樣稿，在Processing中通過編程實現樣稿的可視化效果。程序系統設計與編程(參考非媒體類的系統結構設計與數據庫結構設計)：全部使用Processing開發完成，調用的庫文件有：Minim2.2.2，Sound2.2.3。

　　美術、聲效：團隊成員使用鋼琴、架子鼓錄制基礎音頻，在庫樂隊，AdobeAudition中進行優化處理。編劇、角色、道具、場景：本作品中不涉及任何人物角色、道具與場景。界面設計：由Processing封裝的基礎可視化界面。Processing進行圖形設計的編程語言并不是Java，而是重新開發了一門類C的編程語言，這也讓非計算機科班出身的設計師很容易上手。

　　(一)構建Processing環境第一步是安裝Processing環境。去Processing.org(https://processing.org/download/)，單擊DownloadProcessing并選擇您的操作系統。此外，還需要確保Java技術已經可用。在windows上，下載解壓后直接運行processing.exe即可。這應該會彈出ProcessingDevelopmentEnvironment(PDE或ProcessingIDE)。占此窗口較大的部分是文本編輯器。如果輸入圖中所示的兩行代碼，然后單擊Run(左上角的三角形)，出現一個窗口，顯示您所輸入的簡單程序(或Processing術語所指的sketch)的結果。單擊Stop(左上角的方框)退出程序，窗口消失。

　　四、結語

　　我們作品的設計方向是圍繞著“圖像”與“音頻”這兩個概念展開的。其背后想法就是將“圖像”可聽化以及將“音頻”可視化。本作品采用視覺、觸覺等方式，令每一位體驗者充分動用五感，感受音樂的魅力，其采用的交互效果也是音樂行業值得參考的。我們期待這款產品在未來的迭代過程中能夠通過可視化的形式幫助聽障人士認識、理解音樂。

　　作者：陶雨琦

轉載請注明來自發表學術論文網：http://www.zpfmc.com/dzlw/26579.html