關(guān)鍵在于如何使用。
整理/灰信鴿
關(guān)于AI的爭吵一直沒停過，從最早的美術(shù)，波及到文案、運(yùn)營等各個崗位。但在許多人還在忙著爭吵時，不少游戲公司已經(jīng)著手研究了AI許久，甚至已經(jīng)拿出了許多實驗成果。
最近，趣加的一位總監(jiān)級大佬，就在內(nèi)部分享了他對AI技術(shù)的探索。
重研發(fā)的趣加，本也布局了AI領(lǐng)域許久。其CTO伍濤曾提到公司對該技術(shù)的態(tài)度，指出，AI對研發(fā)起到輔助與基建的作用，它對提升玩家體驗有不少幫助……越早入局AI的公司，越能占據(jù)優(yōu)勢。
本次AI技術(shù)的分享人，是趣加音頻總監(jiān)張志偉。
張志偉涉獵音樂、游戲、娛樂、教育等多個領(lǐng)域，他現(xiàn)擔(dān)任北京現(xiàn)代音樂學(xué)院的音樂科技學(xué)院聲音設(shè)計專業(yè)教研室主任、中國傳媒大學(xué)錄音大師班講師，是第一批在國內(nèi)高校中推動建立游戲聲音設(shè)計專業(yè)的教育者，同時也是Wwise引擎、CRIWare引擎的官方講師。
作為趣加音頻總監(jiān)，他為游戲引入了影視、唱片領(lǐng)域的設(shè)計概念，并參與了包含端游、手游、主機(jī)在內(nèi)40多部游戲項目。他為項目《State of Survival》所創(chuàng)作的《漫櫻散華》《花海尋蹤》《末日派對》獲得了Apple Music、Spotify等全球音樂平臺官方推薦；其原創(chuàng)的《阿瓦隆之王》獲得了中國音數(shù)協(xié)頒發(fā)的中國游戲十強(qiáng)音樂大獎。
趣加的杜比全景聲音樂棚
此外，作為獨(dú)立樂團(tuán)的創(chuàng)始人，張志偉還是上海國際藝術(shù)節(jié)委約藝術(shù)家，參與過多部舞臺劇的創(chuàng)作，在融合了多種風(fēng)格后，他創(chuàng)作出了《人生一串》、《二十四節(jié)氣》。不僅如此，他還參與了多項跨國音頻合作，這其中就包括他與日本知名作曲家?guī)r垂德行共同創(chuàng)作的新曲目《繁花千里（Thousand Blooms）》。
在本次分享的數(shù)月前，他就開始研究AI在聲音設(shè)計的應(yīng)用：若游戲主城音樂太少，那能不能用AI做一個播放音樂的電臺？若想讓環(huán)境更有人氣，用AI Voices做一些人聲放背景如何……他嘗試將AI技術(shù)帶到游戲研發(fā)里去。
其實相比美術(shù)，游戲音樂接觸AI的時間要更久。
早在1957年，電腦就能自己創(chuàng)造音樂。往后長達(dá)幾十年的時間里，AI所被人畏懼的取代人類并沒有發(fā)生，它反而成了聲音設(shè)計的重要工具，甚至已經(jīng)在協(xié)助不少游戲音頻師們的創(chuàng)作——張志偉的演講主題，也正是「AI of Game Audio」。
或許，通過這次演講內(nèi)容，我們可以從游戲音頻的角度，看到AI技術(shù)對游戲研發(fā)具體能帶來哪些好處？我們應(yīng)當(dāng)以怎樣的方式，在日常工作中來應(yīng)用這項技術(shù)？
以下為內(nèi)容實錄（為方便閱讀，正文有刪減調(diào)整）：
大家好，我是張志偉，今天分享的主題是「AI of Game Audio」，里面包含了我們最新的研究成果。
其實，AI技術(shù)很早就在游戲、音樂等領(lǐng)域中得到應(yīng)用。不過在近兩年發(fā)展迅猛的AIGC（生成式AI），仍讓我們相當(dāng)激動——它所擁有的神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)能力，能解讀需求，并取代一些傳統(tǒng)生產(chǎn)環(huán)節(jié)。
而且，AIGC的操作難度，也比專門學(xué)習(xí)一門專業(yè)要簡單。以音樂來舉例，音樂創(chuàng)作需要一個人通過多年的學(xué)習(xí)訓(xùn)練、實踐才能駕馭。但如今的AIGC不需要這些過程，它可以直接將文字、語音等內(nèi)容生成音樂。
光這么說可能有些不太直觀。這里有一份我們利用AIGC技術(shù)，為一段游戲CG動畫制作音頻的案例——與過往完全由人工創(chuàng)作的效果對比，二者已經(jīng)相差不大：
那么我們把問題帶到實踐中，在游戲音頻領(lǐng)域，當(dāng)下火熱的AIGC能帶來哪些改變和幫助呢？這個問題需要拆解來看。
按常規(guī)分類，游戲音頻一般有4個模塊，分別是：音樂（bgm\music）、語音（voices）、音效（sound sfx），以及聲音引擎（sound engine）。從開發(fā)流程來看，游戲音頻有設(shè)計、制作、引擎、QA幾個環(huán)節(jié)。
在近期實踐中，我們就上述模塊與環(huán)節(jié)，嘗試了最新的AI技術(shù)。從結(jié)果來說，AIGC可以在設(shè)計方案、制作生產(chǎn)過程，顯著提升音頻設(shè)計師的工作效率，并為游戲項目帶來更多價值。
下面主要展示我們在AI音樂與AI語音上的實踐結(jié)果。
01
AI音樂能為游戲研發(fā)
帶來什么？
按音樂制作流程來看，無論是歌曲還是配樂，它們的基礎(chǔ)環(huán)節(jié)包括了「創(chuàng)作、制作」兩部分，當(dāng)中又分「作曲、作詞、編曲、配器、器樂錄音、人聲錄音、混音、母帶」等步驟。
不可避免地，每個環(huán)節(jié)都需要許多專業(yè)人員參與。一個項目若想把多個環(huán)節(jié)交由一個人處理，即便是數(shù)字音樂制作普及的今天，也需要此人具備多年的專業(yè)學(xué)習(xí)和項目經(jīng)驗。
原因在于，游戲音頻的生產(chǎn)模式，離不開人的深度參與。
其實按傳統(tǒng)，聲音合成技術(shù)幾十年前就已在應(yīng)用，它的核心能力就是無中生有地創(chuàng)造出世界上從來沒有的聲音。但它的載體是合成器（樂器），便需要懂得專業(yè)知識的人來駕馭。
AI技術(shù)也是同理?；仡欉^去，AI生成音樂已經(jīng)走過了很多階段：
第一階段，AI要輸入大量的核心作曲信息。1990年，自動作曲軟件Band-in-a-box就已誕生。我們也可以稱其為「傳統(tǒng)自動作曲」。在軟件上，作曲家只要輸入和聲、曲風(fēng)等設(shè)定，就可以獲得一段音樂。
不過，「傳統(tǒng)自動作曲」因為自身的特點(diǎn)與限制，逐漸被應(yīng)用在音樂專業(yè)的學(xué)習(xí)教案，作為學(xué)生學(xué)習(xí)曲風(fēng)的輔助工具。
第二階段，AI需要模糊作曲信息。2016年，人工智能產(chǎn)品AIVA出現(xiàn)，它也被我們稱為「AI自動作曲」。在作曲家設(shè)定好曲風(fēng)、調(diào)式等參數(shù)后，軟件就會生成完整的音樂工程文件。
接下來，作曲可以直接對作品編輯，也可以輸出文件或音頻分軌，導(dǎo)入音樂制作軟件來做深度修改。這一時期的AI音樂技術(shù)，支持作曲者反復(fù)修改調(diào)整，也為音樂帶來了更多可能性。
第三階段，AI只需要文字或圖片信息，就能完成作曲。
這也是如今AI技術(shù)的階段，它不需要音樂理論，也不需要專業(yè)知識，只要輸入文字、圖片即可生成音樂……當(dāng)然，音樂能否達(dá)到要求，還得看AI訓(xùn)練的具體情況，不過它已經(jīng)可以帶來許多超預(yù)期的價值了。
那么用如今的AI音樂，能為游戲音頻做什么呢？我們可以結(jié)合實踐結(jié)果來看這一問題。
首先，AI音樂能夠作為輔助作曲的工具，為我們提供快捷的靈感與參考。
這一方向由難到易有三種模式：
第一種是ChatGPT+傳統(tǒng)自動作曲。我們先在ChatGPT中提問，獲得和聲、調(diào)式、配器特點(diǎn)等信息，然后輸入到傳統(tǒng)自動作曲軟件中。
在此過程中，我們也可以結(jié)合作曲軟件的優(yōu)勢，來豐富這首音樂的更多設(shè)定。
第二種是AI自動作曲+專業(yè)編曲技能?；谇懊娴腁I自動作曲軟件，我們可以提前設(shè)定一些條件，比如曲風(fēng)、調(diào)式等前提，并由此獲得指定音樂。這之后，我們可以提供工程文件與音頻分軌，讓作曲家相對快速地創(chuàng)作。
第三種則完全用AIGC來做。這一方法讓音樂創(chuàng)作變得相當(dāng)方便。這里以AIGC軟件MusicLM舉例，它在識別文字、音頻、圖片后，就能直接生成AI理解出來的音樂：
MusicLM官方演示以上方式雖不能100%獲得直接應(yīng)用的音樂，但是可以讓許多概念、想法，快速轉(zhuǎn)變出對應(yīng)的音樂靈感和創(chuàng)作參考。
其次，AI音樂能夠產(chǎn)出風(fēng)格化、類型化的音樂。
目前主流的AI音樂軟件，優(yōu)勢在于生成這兩種內(nèi)容：第一種是大眾化且風(fēng)格突出的音樂，例如搖滾、爵士、嘻哈、史詩交響；第二種是填充背景，定義氛圍的音樂。
在研發(fā)過程中，這一優(yōu)勢可以被應(yīng)用到場景制作、玩法測試、用戶研究等多個環(huán)節(jié)。目前，我們已經(jīng)可以利用AI音樂，快速生成可以填充的素材，在項目的前中期幫助用研等部門測試游戲版本的音樂。
這里我可以舉例一個內(nèi)部項目案例。
根據(jù)谷歌調(diào)研與App id全球數(shù)據(jù)，我們該項目的用戶對Hip-hop嘻哈音樂非常感興趣。所以，我們決定在這個中世紀(jì)背景的游戲中，放一些嘻哈曲風(fēng)的背景音樂。
這對音樂創(chuàng)作而言，是比較有挑戰(zhàn)的。
按照傳統(tǒng)的音樂制作流程，我們創(chuàng)作多首融合元素的背景音樂，從立項到完成，至少要幾周時間。但是，我們通過Text to Music的AI音樂技術(shù)，僅用2小時就生成了全部需要的音樂，并且快速投入了游戲中做測試。
02
AI語音已經(jīng)在
逐步投入使用
在應(yīng)用方面，AI語音軟件的作用，主要是語音調(diào)試合成，以及語音克隆。
簡單來說，語音調(diào)試合成，是對軟件中已有素材，做參數(shù)調(diào)試，期間，我們可以按需對口音、語速、斷句、句間、情緒——比如疑問、驚訝、生氣——進(jìn)行設(shè)置。而語音克隆，是用戶自己投喂語音樣本后，再做參數(shù)調(diào)試。
AI語音軟件的操作比較簡單。如果我們有已經(jīng)訓(xùn)練好的聲音角色，就可以快速為游戲廣告、買量視頻、旁白等完成語音生產(chǎn)。
而且，AI語音軟件也可以完成不同語言的轉(zhuǎn)化，還能保留原本錄制人員的音色、口音、語氣等要素。這里我們先錄制不同口音的人誦讀《紅樓夢》的內(nèi)容，然后將其在AI軟件中轉(zhuǎn)為英文：
不過，若想要做出符合游戲中劇情對話、角色氣質(zhì)的語音，AI語音軟件所花費(fèi)的人力、時間成本，可能要比傳統(tǒng)的聲音演員錄制語音更多。
而且從普通人的聽感來看，現(xiàn)在AI語音軟件的效果，還是有些不自然、生硬等問題；從設(shè)計師的角度來看，它生成的音頻文件，也有動態(tài)差異大、卡頓等問題，需要人工花不少時間去做后期修復(fù)。
下面是AudioGPT的演示。在獲得文字后，AudioGPT會快速的生成語音；如果我們輸入更多設(shè)定后，它甚至可以唱歌。
如果將這些功能放在游戲開發(fā)中，我們目前探索出了兩種應(yīng)用場景。
首先是游戲開發(fā)中版本的語音需求。
若項目在早期對語音要求不高，可以選擇AI語音來快速生成填充素材。下面是一些主流的AI語音軟件：
因為若想讓AI語音應(yīng)用到正式版本，我們需要針對AI音頻投入大量人力去逐句調(diào)試，以及人工后期處理，才能使其達(dá)到能在游戲中播放語音的正常效果。
其次是一些特殊題材的需求，比如與機(jī)器人、科幻相關(guān)的內(nèi)容。
在趣加的已上線項目和在研項目，我們已經(jīng)在包括中世紀(jì)、魔幻、生存等多種題材中使用了AI語音技術(shù)。
有意思的是，我們剛才提到有關(guān)AI語音讓人頭疼的不自然、卡頓等問題，在科幻題材以及一些需要想象力的需求中，就有了比較大的優(yōu)勢。比如這個案例：
按傳統(tǒng)方法，個性、科幻感機(jī)器人語音的制作，需要配音演員到位的表演，以及后期音頻技術(shù)一起努力才能產(chǎn)出。
但在制作上面案例的時候，我們僅使用Text to Voices的AI語音技術(shù)，生成基礎(chǔ)語音樣本，再通過逐字逐句的調(diào)試，便能獲得一套貼近游戲設(shè)定，且讓人滿意的語音文件。
所以最后總結(jié)一下目前的AI語音在游戲中應(yīng)用的優(yōu)勢和不足：其優(yōu)點(diǎn)是不需要錄音，可反復(fù)修改；不足之處在于，AI語音很依賴人工調(diào)試，它的音色也不夠豐富。
03
更多工具與未來發(fā)展
我們上面已經(jīng)提到了許多AI工具，如大家耳熟能詳?shù)腃hatGPT、AI自動作曲的AIVA、識別音頻文字圖片的MusicLM、輸入文字就能轉(zhuǎn)音樂或語音的Text to Music與Text to Voices，以及與之類似的AudioGPT。
但除此之外，我們還有很多AI工具，可以應(yīng)用到游戲音頻及游戲研發(fā)的各個方面。
在音頻制作方面，我們就看到了不少產(chǎn)品，如混音、母帶的AI工具：LANDR、OZONE等；
分離音樂中人聲和器樂的AI技術(shù)：UVR5……。
而在聲音引擎領(lǐng)域，AI技術(shù)是否也有介入如Wwise和CRI-ADX等引擎呢？盡管官方對我們的回復(fù)是「暫時未將AI應(yīng)用在產(chǎn)品中」，但在翻閱官方博客時，我們也已經(jīng)能看到了一些探索行為。
比如，CRI就曾使用AI來寫Robot腳本。這一嘗試可以在其博客中搜索文章題目《【ChatGPT x CRI Atom Craft】讓AI來寫Robot腳本！》來獲取，感興趣的朋友可以看看。
總的來說，AIGC技術(shù)以快速迭代發(fā)展的態(tài)勢，正融入游戲行業(yè)中。
今年我們在趣加項目的AI落地過程中發(fā)現(xiàn)，隨著使用經(jīng)驗的積累，AIGC也展現(xiàn)出比預(yù)想更強(qiáng)的能力。在相關(guān)工具的不斷進(jìn)化之下，相信AI對開發(fā)者、開發(fā)流程都會有比較深遠(yuǎn)的影響。
二十年多年前，音樂行業(yè)經(jīng)歷過由模擬到數(shù)字的改變，從而改變了整個音樂行業(yè)一直到今天，其激烈程度不亞于AI。作為這場變革的親歷者，我認(rèn)為在當(dāng)下學(xué)習(xí)AI、擁抱AI，適應(yīng)其技術(shù)特性并使其轉(zhuǎn)化為生產(chǎn)力是很有必要的。
如今的AI技術(shù)，雖然還做不到「一鍵生成很多劇情對話語音」，但作為創(chuàng)作和制作的助手，它是未來可期的?；蛟S，隨著技術(shù)快速更新，AI與游戲音頻的結(jié)合還會有更大的想象空間。
我的分享就是這樣，謝謝各位。
