VR設計的探索是一場穿過VR設計邊緣的旅程。從構建空間和設計開創性的互動到如何使用戶感到精力充沛,這場旅程都囊括在內。
音頻對于VR完成真正身臨其境的體驗來說至關重要, 它不但傳達深度和情感,建立和加強互動,而且還可以指引用戶去接觸陌生的風景。 結合手部跟蹤和視覺反饋,音頻甚至有能力通過通感來創造觸覺。
接下來,我們將探討VR音頻設計的基礎知識,并將深入研究Blocks的音效。
一個出色的音頻設計師可以實現什么?
3D空間內的真實感和存在感
當提及感知深度信息的方式,立體視覺相對于傳統的顯示器的顯示方式已經是有了巨大的進步,然而他卻依舊不能面面俱到。因此,音頻將不僅僅是用來營造臨場感的工具——你聲音周圍的物品(以及所處的環境)都可以對你體會他們所處何地起到巨大的作用,尤其是當你看不見他們的時候。這幾乎應用到了3D空間中的一切,從環境音到到用戶界面。
像Unity和虛幻這樣的引擎在音頻方面不斷地進步,以此在3D空間中表現出越來越好的音頻效果,通過雙聲道立體聲、更好的混響、更好的封閉系統、更好的阻塞建模以及更多其他技術。例如在僵尸游戲中,你所能聽見的追逐你的的僵尸音效越真實,你越能感覺到不寒而栗。
情緒和氛圍
在一場VR體驗中,音樂在渲染情緒上扮演著不可或缺的角色。 Blocks受到像坂本龍一這些周邊的藝術家的影響,在帶有重低音的電子樂上有著獨特的感應。
構筑和穩固交互
音頻與游戲互動以及游戲物理引擎的開創性、成功和失敗以及整體表現是息息相關的,尤其是當用戶的雙眼被吸引到別處的時候。例如,Blocks被設計成可以表現大量的音效,從表示信號塊創建交互的高低電音到物體落到地上的回聲。
對于游戲開發者來說,這也是一把雙刃劍,這項技術依賴于設計師對于音效的時間把握,因為甚至四分之一秒的差別也可能破壞游戲體驗。
教程音頻
這是一個悲傷的事實——大部分用戶是不會閱讀用戶說明的。幸運的是,盡管書面的用戶說明不得不與流程中高度的視覺刺激來競爭以至于用戶往往懶得去看用戶說明,但是你在用戶聽什么上,有很大的控制權。
通過Unity的Mecanim系統中的抽象狀態功能,您可以輕松構建活動的系統,使您的音頻提示響應實際發生的情況,只要確保提示在流程敘事中出現,并且不要重復。
明確邊界
VR是一個令人興奮的媒體,但是首次使用時使用者可能需要花費幾分鐘才能掌握其設備的使用范圍。 我們的手部跟蹤技術只能跟蹤可以看到的內容,因此您可能希望設計出隨著用戶接近設備跟蹤范圍邊緣而淡出的交互音效來告知用戶。
喚起觸覺
在觸覺反饋缺失的情況下,視覺和聽覺的反饋可以彌補認知差距,并對于場景中的可交互要素進行加強,并且當玩家觸發這些要素時發生的反饋也會更為真實。這是因為我們的大腦“通過感官渠道不斷地綁定獲得的信息,形成對物體和事件的固有感覺”。有些用戶甚至描述了虛擬現實中的幻覺感,這些往往是與引人注目的音頻設計有一定相關性的。 為了達到這個水平的沉浸感,音頻必須是完美卡點的,并且讓用戶覺得它們符合用戶的行動。
Blocks的音頻設計
我們已經談及了它深受環境啟發的配樂,但你或許會驚訝于Blocks將是我們發展的最大挑戰之一,僅次于物理對象的交互,一種早期的Leap Motion交互引擎原型。
魔法與進步
Blocks之后的核心設計思想是我們將不再通過音效暗示你的設備是任何東西下的特定設備。例如當手臂HUD出現時,不會發生振動和發出噪音,這就是從無到有的音頻,音頻塊創造的音頻很小,表現著自然的進步。這也是我們想要表述的核心——通過神秘的力量用你的雙手創造萬物。
這種哲學也反映在物理音頻效果中,這些效果旨在表明物體本身的性質體現,而不是表現具體的材料。 當你抓住一些東西,他會發出最小的微妙點擊聲。 沒有什么花哨,只是觸覺,快速和準確的時間。
獲得準確的物理音頻效果
這是最具有挑戰性的地方,為了確保自然和身臨其境的體驗,發聲塊的物理音頻由33個不同的效果驅動,這些效果被發聲塊大小,碰撞速度等因素修正,并且一些隨機變化使每個塊具有其獨特的特征。 設計的這個方面證明是非常重要的,也是最終產品的基本組成部分。
由于這些發聲塊不具有代表性的材質(例如金屬或者玻璃)因此找到正確的音頻需要時間。在創建Block audioscape時,音頻設計師Jack Menhorn嘗試了小貓,塑料壺,紙板箱和其他家用物品。 最后的音頻套件是通過將合成器放入紙板盒中并使盒子彼此撞擊而創建的。
打破物理法則
在一個簡單幾何的抽象環境里,音頻設計是不真實和物質世界中真實的差別。有時這涉及是否要打破物理法則,當你在追求準確和取悅用戶之間抉擇,請始終選擇后者。
在現實世界中,音頻遵循逆平方律——越來越安靜, Unity游戲引擎試圖加強這一現實世界的衰落。但是,在被拋出很遠的距離之后,一塊物體安靜地落下來并不會讓玩家滿意。在Blocks中,我們創建了一個正常的衰減數米,但隨后衰減本身停止。除此之外,發聲塊是相同的音量,無論它們離你多遠。
同時,混響會隨著音調增加而增加——創造出回音效果。在現實世界中,這是不可能的,因為在空間中沒有墻壁或任何東西表明應該有混響。這只是為虛擬世界制定的規則的一部分,即使在違反物理規律的情況下,人們也會想感受到到人類的規則。
VR音頻設計的未來
想象一下你可以與咖啡杯互動的一切方法,以及每個動作如何反映在它產生的音頻中,撿起它,劃過桌子,翻倒它,將它輕輕地放下或是將它猛撞向桌子,所有這些動作都會產生不同的音頻。當然,如果它被打碎了,這就是一個關于一個空間內大量不同碎片發聲的完全不同的問題了。
這是VR音頻設計中最大挑戰的根源——規模效應。 當你不再面對一個簡單的場景與幾個對象,而是要完全實現場景與許多不同的對象,那么場景中的一切必須是互動的,包括音頻。 你需要隨時變化并保持對互動的敏感。
這就是為什么我們建議在場景中只有幾個對象,并盡可能得去強化這些對象的交互,隨著VR體驗規模和復雜性的增加,這些新的“真實體驗”,將需要比以往更豐富的音景來搭配。