亚洲第一中文-亚洲第一中文字幕-亚洲第一综合网站-亚洲丶国产丶欧美一区二区三区-国内精品久久久久影院中国-国内精品久久影视

近年來，各種新媒體技術層出不窮，發展速度越來越快，如立體投影（3D Mapping）、實時交互、虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）、混合現實（Mixed Reality，MR）、GLSL等編程語言、實時渲染游戲引擎等，不斷被應用于舞臺演出。因此，舞臺多媒體的創作越來越復雜，不再是單純的平面視頻設計，而涵蓋了立體投影實現呈現、虛擬現實劇場、現實增強/混合現實電視/網絡直播的交互實現、著色器（Shader）的編寫等，使軟件、硬件加速整合，并銜接形成新的創作流程；敘事方式也不限于傳統的線性敘事，非線性敘事（Nonlinear narrative）、充滿不確定性交互敘事（Interactive storytelling）也開始出現。

在創作理念、敘事方式、表現形式變化的過程中，出現了一種現象，創作者在嘗試新技術進行創作時忽視了運用新技術的初衷。因此，在舞臺創作過程中，如何實現藝術與技術的融合，尤其是在影像的制作中，運用媒體技術豐富視效并實現交互體驗，運用蒙太奇手法敘事，是創作者需要關注和思考的。

1 媒體技術在舞臺上的應用

從1998年的電影《羅拉快跑》開始，游戲行業就潛移默化地影響滲透著影視、新媒體行業，甚至改變著觀眾的審美習慣，使現代人習慣于游戲式的快節奏和更具帶入感的主觀運動鏡頭。主流游戲引擎（Unity、Unreal）的開發者也野心勃勃地進軍游戲行業之外的領域，例如動畫電影、演出等。專門為舞臺演出服務的實時渲染引擎也開始出現（例如Notch）。

游戲引擎的介入使得實時渲染、虛擬現實、增強現實、混合現實能夠在舞臺上實現，計算機獨立顯卡（GPU）的發展使游戲引擎實時渲染的優勢得以發揮，省去了視頻制作所需的大量渲染時間，極大地提高了創作效率。而游戲引擎在創作虛擬現實、增強現實方面的優勢使得敘事形式更加豐富，特別是交互敘事、VR劇場。舞臺投射介質越來越立體：球幕、異形成為常態；VJ（Visual Jockey，影像騎師）式的實時交互影像操控開始流行。

游戲引擎、實時渲染技術的發展及其與互動媒體的結合使得媒體藝術更好地融入大型演出、即興和實驗表演藝術中，對舞臺多媒體創作帶來深刻變化，使得媒體技術應用在跨界藝術創作中成為重要元素。

三維實時預覽、立體投影、實時交互特效、多媒體文件的播控等功能開始通過服務器整合，不同功能的硬件設備與服務器無縫銜接，形成新的創作流程。例如英國“Disguise”服務器，包括硬件和“Disguise designer”設計軟件，它和渲染引擎“Notch”、紅外跟蹤設備（例如“BlackTrax”）、慣性動補設備諾亦騰“Noitom”整合進行舞臺創作，見圖1。

1.1 服務器與動態捕捉設備結合創作

紅外跟蹤設備（ 例如“BlackTrax”）等動補設備捕捉舞臺裝置或演員的表演動作，并傳輸到渲染引擎里綁定的虛擬角色，影像跟隨舞臺角色活動同步變化，形成有空間層次的交互立體視覺效果，模糊了現實與虛幻的界限（見圖2）。

以筆者于2018年為武漢京劇院跨界融合劇《光之谷》創作的多媒體設計為例：在“Disguise”軟件中導入舞臺模型，舞臺由6塊活動的盒子和6道卷簾組成，拼接成一塊15 m×7 m的投射面。6個盒子根據演出的需要運動。第二幕咖啡廳場景，1個盒子推進到前區，使舞臺更有層次（見圖3中的3、4、5）；尾聲時，盒子依次排開全部推進到前區，與列車駛過城市的影像融為一體（見圖3中的7）。

演出使用2臺投影機：一臺正投，投射活動到前區的盒子；另一臺從高處投射后區。投影機的投影位置、亮度（流明數）、拼接融合等參數設置，都是通過Disguise完成的，并確定輸出到每臺投影機的畫面。

演出使用紅外跟蹤設備“BlackTrax”捕捉舞臺盒子的運動，并傳輸到服務器里，使影像如同活動舞臺裝置的衣裳一樣同步變化，完全附著在一起，形成有空間層次的立體視覺效果。

1.2 多媒體創作舞臺繪景式的2D平面發展到“3DMapping”

創作手法從之前舞臺繪景式的2D平面發展到立體投影“3DMapping”。=它可以將影像完美地投射到戶外建筑、汽車車身甚至鋼琴、人的面部等任何可以投射的介質上。游戲引擎的介入使設計制作的視頻能夠完美、快捷地投射在三維介質上。而高流明激光投影機的普及極大地提升了投影畫面的亮度，削弱了傳統舞臺燈光對它的影響。室內劇場演出的投影介質由傳統的天幕，臺口紗幕擴展延伸到地面和頂部。

設計師通過巧妙的創意構思，可以實現更加豐富、立體、富有變化的視覺效果，使觀眾的思維突破二維的限制，拓展出第三個維度的想象空間。視覺影像創作的內容開始擺脫舞臺繪景式的具象畫面，用簡潔抽象的畫面表現人物內心世界。同時也增加了敘事的難度，舞臺越來越復雜，影像往往分割成好幾個單元，創作影像時還需考慮各部分之間的聯系。

筆者在2017年12月北京舞蹈學院創作的舞劇《“話說”南泥灣》的多媒體創作中也嘗試運用“3DMapping”技術，在天幕、地面和側幕條投射影像，使其成為相互關聯的有機整體。演出使用4臺三萬流明的激光投影機，其中，2臺掛在頂部投射舞臺地面，另外2臺分別放置在后方左右兩側投射天幕和側幕條。運用“Disguise”服務器調整投影貼圖的疊加和融合，使臺下觀眾能夠從屏幕上看到各種瓜果蔬菜從天而落，配合歡快的舞蹈表現豐收的喜悅（圖4中的3，圖5的中2、6）；巨大的黑色石塊從天空落下，給人壓抑感（見圖4中的6）；拉石塊的麻繩從左往右延伸，相互交織、又斷開散去，配合演員左右拉伸的舞蹈動作，表現開墾南泥灣與惡劣的自然環境做斗爭的艱難（見圖5中的5）；地面凹陷，幾何狀的磨盤在窯洞前旋轉升起，與演員圍繞拉磨的動作相呼應（見圖4中的2）；表現地面起伏運動的抽象三維方塊陣列從左往右運動一直延伸到天幕，抽象的幾何圖形動畫與舞蹈動作產生互動，表現了鋤地翻土，人對大自然的改造（見圖4中的1），使整體視覺效果更加真實統一，具有視覺沖擊力。

相應地改變了傳統2D多媒體影像的創作模式，預演環節顯得尤為重要。前期創作運用了“Disguise”服務器的預演功能，使設計時就能直觀地看到舞臺合成后的最終影像效果，并及時做出調整。而之前只能看到割裂的單獨創作各部分空間的視頻影像，依靠經驗預判整體效果，進入舞臺合成時還需要大量的時間進行調整。

1.3 游戲引擎的實時渲染和編程相結合

一些“Audio Visual Show”（音樂視覺秀）將游戲引擎做好的游戲場景文件（Unity 3D），并運用編程軟件（如“Touch Design”“vvvv”等）將場景文件編輯成完整的影像內容，通過MIDI與調音臺進行同步，視覺設計師和音樂設計一起即興操控視覺的變化，而不用演出前一幀一幀渲染好視頻文件，既方便快捷又有很強的帶入感。這種創作方式最早由游戲引擎Unity的開發師高橋啟志郎（Keijiro Takahashi）開創。他本人也組建“VRDG+H”這一探索聲音和視覺形象融合的新形式實驗演出。如今，這種游戲引擎的實時渲染和編程相結合的VJ式的實時交互影像操控開始流行，中國也有一批媒體藝術家運用這種方式進行創作。

2018年中國（南京）騰訊《烎·2019潮音發布夜》上，沉浸式影像裝置“Emergence”配合樂隊演出作品《HoydeA》。通過傳感器（Kinect 2）實時采集表演者的動作和形態，將獲得的數據用計算機算法進行具象化解構，并呈現到舞臺的影像環境中，營造一種混沌但有序的失控狀態，呈現一個抽象的感受，一個由沙礫構成的虛幻世界，演出結束粒子散落一地，回到真實（見圖6）。

圖6 《烎·2019潮音發布夜》沉浸式影像裝置“Emergence”（視覺設計“In_K” ）

這種VJ式的實時交互影像操控方式強調與演員表演的交互、同步、即興，更注重節奏感、視覺沖擊力，更適合抒發情緒，表現抽象內容。另一方面，利用計算機運算的創作，以其數學獨有的美感和頻率動態特點，挖深編程藝術獨有的蒙太奇手法，增強多媒體在感觀層面上的強度和整體結構性，但如果沒有美學作為支撐，也容易造成作品千篇一律的感覺。

1.4 虛擬現實技術與沉浸式戲劇表演相結合

近年來，虛擬現實影像這一視覺藝術形式開始出現并流行，并應用于舞臺創作中，虛擬現實技術與沉浸式戲劇表演相結合使觀眾成為演員，身臨其境，呈現交互式、非線性敘事的觀演模式。一些演出團體建立VR劇場，利用游戲引擎在開發虛擬現實作品方面的優勢創作舞臺作品。例如“NAXS 涅所開發（臺北）”創作的《Render Ghost: XATAR》（VR劇場演出/裝置）。2018年，筆者在時代美術館“全息書寫”開幕展演中欣賞了該作品（見圖7）。

圖7 《Render Ghost: XATAR》的演出形式

《Render Ghost : XATAR》采用VR劇場性裝置、儀式劇場的演出形式，創作者嘗試將光、聲與虛擬現實相結合。觀者身著防塵衣，配戴虛擬顯示器，在聲光與濃霧的包覆之下，徒步繞行于游戲引擎實時生成的信息叢生的人類世高塔與廢墟中。在巨大的音效、濃霧、強風、粒子與鐳射激光的包圍下，虛實邊界不斷加速交融，以儀式劇場的角度探索人類處于信息歷史中的坐標，想象由現實躍向虛擬的巨大墜落、變形、失速與超越，拓寬了感知。

這些表演不同于用預編程的虛擬角色的表演，由專業演員站在動作捕捉臺上表演，引領觀者完成故事，每一次故事都不會完全相同。這種交互敘事方式也給創作者帶來挑戰，需要熟悉邏輯性和線性的計算機系統。

5G網路的發展可以使世界各地的觀眾參與到實時交互敘事的VR劇場中來。虛擬現實開發者（例如Oculus）已經將這一技術與沉浸式戲劇相結合（例如《不眠之夜》“Sleep No More”），開發VR沉浸式劇場。而目前的局限在于，穿戴設備（VR眼鏡等）略顯笨重，每次穿戴都需要調整。可以期待，隨著5G網絡的發展，虛擬現實技術與劇場相結合將具有廣闊的發展前景，能夠在虛擬世界把演員帶到觀眾家中。

1.5 增強現實技術和游戲式的交互敘事的結合

增強現實效果通過電視、網絡直播呈現，現場的觀眾并不能裸眼欣賞到，而特效也需要前期設計好，作為現場舞臺效果的延伸，表現實景難以呈現的魔幻效果。增強現實技術可以利用對攝影機影像的位置、角度的精算、圖像分析等技術，讓屏幕上的虛擬世界與現實場景結合并互動，使實時交互表演成為可能。其核心技術是追蹤技術，現階段的追蹤技術主要有主動式紅外追蹤與被動式紅外追蹤。

主動式紅外追蹤需要在整個舞臺空間內布置紅外追蹤攝像頭，校準后，具有紅外發射裝置的發射器就可以追蹤紅外空間內的位置信息；而被追蹤人員身上攜帶有追蹤點設備，當其在舞臺上移動，所產生的位置信息會被傳回追蹤服務器中產生六軸坐標點，送到渲染服務器（如Notch），實時地針對位置渲染視覺特效。主動式紅外追蹤可以滿足現場復雜環境下超大范圍內的穩定追蹤。

被動式紅外追蹤是在攝像機自由運動的范圍內，將標記點“Marker”貼在地面。校準后，攝像機的運動信息就能實時送到服務器（如Disguise）。被動式紅外追蹤主要應用于室內光環境穩定的精準追蹤。

舞臺上運用混合現實通常是這兩種追蹤方式的整合體，然后再配合渲染引擎的實時渲染達到所需的效果。利用這兩項技術解決視覺特效與角色動作或場景的同步性，并進行3D拍攝。

以2018年德國科隆的基督音樂節（Einfach Himmlisch 2018 Christian Music festival，Cologne,Germany）為例，視覺設計師在所有攝像機跟蹤設置好后，設計了AR環境作為視覺的延伸，將三維動畫軟件“C4d”與“Notch”相結合，動畫師用“C4D”建模合成動畫；將模型導入“Notch”，使用“Notch”的粒子動畫和克隆創建特效，Notch可以在現場實時修改AR鏡頭里動畫項目的參數；這些處理好的AR特效文件經“Notch”傳輸到“disguise”服務器，AR內容被分成RGB渲染，disguise里面的“Notchblocks”模塊將關鍵幀key/matte/alpha轉化為信號，與視頻實時混合為播放信號，實時傳送到網站、電視臺播放。于是觀眾可以看到體育館里隨著音樂升起的教堂、流動的發光河流、似漂浮在古典油畫中的云朵（見圖8）。

圖8 2018年德國科隆的基督音樂節的視覺設計

《烎·2019潮音發布夜》上同樣運用了這一技術，將現實場景和虛擬世界結合在一起。晚會使用紅外跟蹤設備OB camera（Red Spy Stype）安裝在斯坦尼康及手持相機上，“Red Spy”發射紅外光線，由安裝在天花板、墻壁及地板的反射標記反射回相機，實現攝影機實時追蹤。渲染引擎“Notch”設計制作特效，并結合追蹤到的位置信號，通過Disguise GX2服務器與攝像機拍攝的實景進行實時合成。同時，還要根據現場效果實時操控參數（通過MIDI和osc調整，例如水晶體透明度、火焰速度）。如在歌手王源的節目中，創作者運用增強現實形成一個幾何形狀的玻璃球體罩住藝人，體現一種與世隔絕的孤獨感，隨著情緒的渲染球體上升旋轉最終破碎（見圖9），最后破碎的玻璃形成人頭和虎頭與巨大的舞美景具銜接，體現一種情緒的爆發、與外界的和解，設計師希望借此表現一種積極向上的態度。在配色上也展現一種年輕時尚的視覺感，符合藝人的形象，主要使用藍、黃、白的配色，輔以紅色點綴。在虛擬之后的LED屏幕視覺部分以抽象的圖案鋪地，運用色塊與線條配合歌曲節奏感，表現一種年輕時尚感。再如晚會結尾的合成特效，整場演出的直播視頻會在100小時后刪除，因此，最后結尾的主題是“閱后即焚”，同樣運用虛擬現實技術，一個虛擬火焰手從天而降，從屏幕到現場“點燃”整個舞臺，燃燒超過百萬虛擬粒子（見圖9）。這類應用增強現實技術的演出大多有國際團隊的參與，國內的AR創作在審美、技術、創作理念上均有不小的差距。

圖9 王源節目中加入的增強現實效果

圖10 《烎·2019潮音發布夜》結尾的合成特效(其中4 by Michaël Al-Fa)

2 運用媒體技術完成舞臺影像蒙太奇敘事手法的創作

近年來，舞臺上媒體技術的運用往往會出現脫離敘事，缺少藝術審美單純炫技，與主題關系不大的問題。盲目追求新技術使得傳統影像在舞臺演出中的運用受到了輕視，游戲引擎（實時渲染引擎）、編程軟件以及各種追蹤設備的結合使推拉搖移運動鏡頭，配合演員動作、聲音實時交互的特效動畫，充滿不確定性的非線性敘事得到追捧，以至于整臺演出變成了技術的堆砌，且大同小異，給人雷同感。因此，需要沉下心認真思考藝術與技術的關系。

反觀一些行業內較成功的視覺工作室，在進行創作時根據內容選擇適合的技術手段，如以擅長立體投影、交互編程、游戲引擎的“59Production”工作室在為2019年上海演藝集團偶劇《最后一頭戰象》創作多媒體視覺時反而回歸傳統，采用了手繪二維動畫素材，服務器合成的方式，頗有返璞歸真的意味。創作者考慮更多的是多媒體的使用與舞臺演出的貼合度、藝術風格的統一，以及蒙太奇手法的實現。

圖11《最后一頭戰象》的多媒體設計

“蒙太奇”一詞來自法語，原義為建筑學上的構成、裝配，借用到電影藝術中有組接、構成之意。如何發揮實拍影像的蒙太奇敘事優勢，巧妙地與舞臺演出融為一體，是創作者需要考慮的問題。

以筆者2008年為上海雜技團雜技秀《浦江情》創作的多媒體影像為例，除了烘托氣氛，也開始嘗試輔助敘事。在其中的《綢吊》節目中，臺口紗幕出現下雨的上海街道，男孩打著傘從紗幕后走出，紗幕升起，男孩一眼瞥見老照相館里曾經戀人的照片，勾起一段回憶（見圖12）。

圖12 《浦江情》多媒體影像的設計

傳統影像源自電影、動畫、電視等視頻藝術。在文中提及的舞臺影像介質為平面投影、LED屏幕，舞臺影像內容為拍攝的影像和手繪、三維電腦動畫。它在中國約2007年開始流行，最初主要用作舞臺布景的替代，之后將蒙太奇敘事手法融入舞臺表演。時至今日，影像的質量越來越高，規格大小從早期標清（物理分辨率720P以下）到高清（物理分辨率達到1 080P）、超高清（物理分辨率達4K或8K像素）。而影像在舞臺中的運用手法是否有所突破？

長達四個小時的獨角戲《酗酒者莫非》（2016年國家藝術基金資助項目）就是對這個問題的一次大膽嘗試。該劇改編自中國作家史鐵生（Shi Tiesheng）作品——《關于一部以電影作為舞臺背景的戲劇之設想》，導演和視覺設計是歐洲戲劇巨人克里斯蒂安·陸帕（Krystian Lupa)。舞臺背景是電影銀幕，演員是舞臺上一個白日夢游的醉鬼。故事和人間真相都由這個喝醉了的抑或真正意義上的清醒者醉鬼來說出，模糊了現實與虛幻。

舞臺影像采用看來更為傳統的手法——實拍故事和非線性敘事方式：從固定角度拍攝，使用者從同一個機位表現同一場景的變遷，體現時間的流逝 。

一塊常見的居民樓前空曠場地，運送建材的工程車來來往往，掀起地上的滾滾塵土，空地變成了工地；下一幕，冬季的工地覆蓋了白雪，洗去了平日的污濁，遠處寒夜中的居民樓暖黃的燈火亮起……此處的影像通過對常日呆坐酗酒地方的描述，與舞臺上角色的表演相結合，表現主角日復一日、無所事事的孤獨生活（見圖13中的1、4）。在這里運用蒙太奇表現手法，實時跟拍鏡頭舞臺上主角喝醉酒獨自穿過胡同回家迷路，看到左鄰右舍怪異鄙夷的目光；用攝像機固定機位俯視實時捕捉主角在床上的呻吟、妻子撫慰和勸解（見圖13中的8）的畫面；用實拍影像表現母親與坐著輪椅的兒子在果樹下的對話，以影像敘事，并與舞臺上演員的表演相呼應。

圖13 《酗酒者莫非》劇照

還通過影像輔助來表現夢幻世界，醉鬼借助酒力回到過去，看見自己于父母虛偽的婚姻中誕生（見圖13中的9）；警告那個純真的、童年的自己控制欲望，別做出丟人的事；觸摸已離婚出走前妻的手……在表現男主角與跨國追尋愛人的外籍女主角談論愛情時，影像出現電影《廣島之戀》（1959年由阿侖·雷乃執導）片段表現兩人理想中的愛情模樣。

同樣，筆者在2018年舞劇《蘇園記憶》（該劇是國家藝術基金2017年度舞臺藝術創作資助項目，跨界融合作品，由蘇州歌舞劇院出品，2018年11月首演，分為春、夏、秋、冬四個章節）擔任多媒體設計，創作中也嘗試借鑒實拍電影的形式，運用蒙太奇手法來輔助敘事，增強作品的情緒感染力和藝術表現力。

影像內容采用實拍和動畫特效兩種形式：用動畫特效表現抽象元素，例如在空中流動的水的影像和舞臺上舞動的水袖相呼應（見圖14中的1）；在淅瀝的雨中緩緩旋轉著的一把把雨傘的影像與女子打傘群舞相呼應（見圖14中的3）；通過游戲引擎渲染的三維建筑動畫運動鏡頭與男女主角游園的舞蹈戲曲動作相結合（見圖14中的2），從主觀視角來表現移步換景的園林景觀，突出蘇州園林的建筑美學和成就……

圖14 舞劇《蘇園記憶》多媒體影像的動畫部分

實拍電影的手法表現男女主角的相遇和表情，眼神、手勢這些舞臺上難以表現的細節動作。在一幕表現女主角初入園林的場景中，配合舞臺上月牙形的景具，特寫景別的影像呈現出女主角透過縫隙欣賞園林，左顧右盼略顯羞澀又充滿渴望的表情（見圖15中的1）；當男主與女主相遇時用男女主角的臉部特寫表現兩人的眉目傳情（見圖15中的2、3）；男主角伏案構思寫作的影像與雙人舞相互呼應，似乎在筆尖舞蹈幻化成了文字（見圖15中的4）；女主角手部的戲曲動作影像與舞臺上男女主角的相遇相呼應（見圖15中的5、6），表現了熱戀中女主角的細膩情感。影像用4K攝像機高速（120 f/s）拍攝（見圖15中的7、8、9），放慢的動作影像更加細膩，體現出真實表演無法感受的動作美感。

圖15 舞劇《蘇園記憶》多媒體影像的實時拍攝部分

3 結語

媒體技術的發展給舞臺演出帶來諸多的變化，有理由期待未來會更廣泛的應用，給觀眾帶來更強的視覺效果和交互體驗。但同時也不能迷信技術，過于追求技術帶來的絢爛視覺效果，而忽視演出作品本身內容的創作，應回到媒體技術在舞臺演出中運用的初衷，更好地實現技術與藝術的融合。