code window

2024年4月30日星期二

2024年企業購置AIGC應用的變化

生成式AI在2023年席捲消費市場,創下超過十億美元的驚人消費規模。而在2024年,企業市場的商機可望再翻倍成長。

去年,消費者花了無數時間與AI聊天機器人對話,或用擴散模型製作圖像和影片。但多數企業在生成式AI的應用似乎僅限於少數明顯的案例,並將「GPT包裝」產品作為新的銷售品項。一些懷疑論者質疑,生成式AI能否真正在企業市場擴大應用?我們會不會只能做那幾個老案例?新創公司能否賺到錢?這會不會只是炒作泡沫?

過去幾個月,a16z與幾十家財富500大企業和頂尖企業領袖對話,並調查了另外70位,希望了解他們如何使用、採購和編列生成式AI的預算。令人驚訝的是,企業在過去6個月內對生成式AI的態度和資源配置有了顯著的改變。雖然這些領導者對部署生成式AI仍有些保留,但他們也幾乎增加了3倍的預算,擴大基於開源模型的應用案例,並將更多工作負載從早期實驗轉移到生產環境。

這對創業者來說是巨大的機會。a16z相信,AI新創公司如果能夠

1)根據企業以AI為中心的戰略需求開發產品,同時預見和解決他們的痛點;

2)從服務導向轉變為打造可擴展的產品,就能搶佔這波新投資的商機,獲得大量的市場份額。

一如既往,要為企業開發和銷售任何產品,都需要深入了解客戶的預算、顧慮和技術藍圖。為了讓創業者掌握企業領導們部署生成式AI的決策方式,也讓AI高管了解其他同業如何應對相同的問題,a16z根據近期與這些領導人的交流,歸納出16個關於資源配置、模型和使用案例的重點考量。  

資源配置:預算大幅增加且不可逆轉

1. 生成式AI的預算正在飆升。  

2023年,a16z接觸的幾十家公司平均在基礎模型API、自行部署和微調模型上的支出為700萬美元。此外,幾乎每一家企業在生成式AI的早期實驗中都看到了前景,計劃在2024年將支出增加2到5倍,以支援更多工作負載投入生產。

2. 企業開始將AI投資重新分配到經常性軟體預算項目。

去年,企業在生成式AI上的支出不出所料大多來自「創新」預算和其他一次性的資金池。但在2024年,許多領導者正將這筆支出重新分配到更長期的軟體項目;不到四分之一的人表示今年的生成式AI支出會來自創新預算。a16z也開始看到一些企業將生成式AI預算用於節省人力成本,特別是在客戶服務領域,雖然規模還很小。如果這個趨勢持續下去,a16z認為這預示著未來企業在生成式AI上的支出將大幅增加。一家公司表示,每通電話由大語言模型(LLM)支援的客服系統可節省約6美元,總共可節省約90%的成本,因此計劃將生成式AI投資增加8倍。

以下是企業如何分配LLM支出的整體情況:

3. 衡量投資報酬率(ROI)仍是一門藝術和科學。

企業領導目前主要透過AI帶來的生產力提升來衡量ROI。雖然他們依賴淨推薦值(NPS)和客戶滿意度作為很好的代理指標,但也在尋找更具體的方法來量化回報,例如根據使用案例的不同,衡量營收增長、成本節約、效率提升和準確率改善等。短期內,企業領導仍在推廣這項技術,並找出最佳指標來量化回報,但未來2到3年,ROI將變得越來越重要。在領導者找出答案的同時,當員工表示他們正在更有效地利用時間時,許多人選擇相信這一點。

4. 實施和擴展生成式AI需要合適的技術人才,目前許多企業內部還不具備。

僅僅擁有模型提供商的API還不足以大規模構建和部署生成式AI解決方案。實施、維護和擴展必要的計算基礎設施需要高度專業化的人才。單是實施就占了2023年AI支出的最大領域之一,在某些情況下甚至是最大的。一位高管提到,「LLM可能只占構建使用案例成本的四分之一」,開發成本占了大部分預算。 

為了幫助企業在模型上快速啟動和運行,基礎模型提供商提供了並且仍在提供專業服務,通常與定制模型開發相關。a16z估計,這在2023年占了這些公司相當大一部分收入,除了性能之外,也是企業選擇特定模型提供商的主要原因之一。由於企業很難獲得合適的生成式AI人才,提供工具使企業更容易將生成式AI開發內部化的新創公司可能會看到更快的採用。

模型:企業正朝向多模型、開源的世界發展  

5. 多模型的未來。

就在6個多月前,絕大多數企業還在試驗1種(通常是OpenAI)或最多2種模型。而當a16z今天與企業領導交談時,他們都在測試,甚至在某些情況下已經在生產中使用多種模型,這讓他們能夠1)根據性能、規模和成本量身定制使用案例,2)避免供應商綁定,以及3)快速利用這個快速發展領域的進步成果。第三點對領導者來說尤為重要,因為模型排行榜是動態變化的,公司都渴望納入當前最先進的模型和開源模型,以獲得最佳效果。 

a16z認為我們可能會看到更多模型激增。在下表中,企業領導報告了許多正在測試的模型,這是未來將用於推動工作負載進入生產的模型的領先指標。在生產使用案例中,OpenAI仍然佔據主導地位,這在意料之中。

6. 開源正在蓬勃發展。 

這是過去6個月裡最令a16z驚訝的變化之一。a16z估計2023年的市場份額有80%到90%是封閉源代碼,其中大部分份額被OpenAI佔據。然而,46%的受訪者表示,他們在2024年更傾向或非常傾向於開源模型。在訪談中,近60%的AI領導者表示,他們有興趣增加開源使用,或者在微調後的開源模型性能與封閉源代碼模型大致相當時進行轉換。因此,在2024年及以後,企業預計會大幅轉向開源,一些企業明確以50/50的比例為目標,高於2023年80%封閉/20%開源的比例。

7. 雖然成本是開源吸引力的一個因素,但在關鍵選擇標準中,它的排名低於控制力和客制化。

控制力(專有資料的安全性和了解模型產生特定輸出的原因)和客制化(能夠針對特定使用案例進行有效微調)遠遠超過成本,成為採用開源的主要原因。a16z很驚訝成本並不是最重要的考量,但這反映出領導層目前堅信,生成式AI創造的超額價值可能遠遠超過其價格。正如一位高管解釋的那樣:「獲得準確的答案是值得花錢的」。

8. 對控制力的渴望源於敏感的使用案例和企業資料安全顧慮。

由於法規或資料安全顧慮,企業仍然不願與封閉源模型提供商共享其專有資料,而那些以IP為核心的企業在商業模式上尤其保守。雖然一些領導者通過自行託管開源模型來解決這一顧慮,但其他人則表示,他們優先考慮具有虛擬私有雲(VPC)整合的模型。

9. 企業通常透過微調而非從頭構建模型來客制化模型。

2023年,有很多關於構建BloombergGPT這樣的定制模型的討論。在2024年,企業仍然對定制模型感興趣,但隨著優質開源模型的興起,大多數企業選擇不從頭開始訓練自己的LLM,而是使用檢索增強生成(RAG)或微調開源模型以滿足其特定需求。  

10. 雲端仍然對模型採購決策有很大影響。  

2023年,出於安全原因,許多企業透過其現有的雲端服務提供商(CSP)購買模型,領導者更擔心封閉源模型會濫用其資料,而不是CSP,並希望避免冗長的採購流程。2024年仍然如此,這意味著CSP和首選模型之間的相關性相當高:Azure用戶通常偏好OpenAI,而Amazon用戶偏好Anthropic或Cohere。如下圖所示,在72%透過API訪問模型的企業中,超過一半使用了其CSP託管的模型。(請注意,超過四分之一的受訪者進行了自託管,可能是為了運行開源模型。)

11. 客戶仍然關注早期上市的功能。

雖然領導者將推理能力、可靠性和易用性(例如,在其CSP上)列為採用特定模型的首要原因,但領導者也傾向於具有其他差異化功能的模型。例如,多位領導者將之前20萬token的上下文視窗作為採用Anthropic的關鍵原因,而其他人則因為Cohere早期推出的易用微調服務而採用它。

12. 儘管如此,大多數企業認為模型性能正在趨同。 

雖然科技界的大部分人都專注於將模型性能與公開基準進行比較,但企業領導更關注將微調後的開源模型和微調後的封閉源模型與自己的內部基準集進行比較。有趣的是,儘管封閉源模型在外部基準測試中通常表現更好,但由於開源模型更容易針對特定使用案例進行微調,企業領導仍然給予它們相對較高的淨推薦值(NPS)(在某些情況下甚至更高)。一家公司發現,「在微調之後,Mistral和Llama的性能幾乎與OpenAI一樣好,但成本要低得多」。按照這些標準,模型性能的趨同速度甚至比a16z預期的還要快,這讓領導者有更多非常強大的模型可供選擇。


13. 優化靈活性。

大多數企業在設計應用程式時,使在模型之間切換只需要一個API更改。一些公司甚至在預先測試提示,使更改只需一個開關即可完成,而其他公司則建立了「模型花園」,可以根據需要將模型部署到不同的應用程式。企業採取這種方法,一方面是因為他們從雲端時代吸取了一些艱難的教訓,需要減少對提供商的依賴,另一方面是因為市場發展如此之快,致力於單一供應商似乎是不明智的。

使用案例:更多轉移到生產環境

14. 企業正在構建而非購買應用,至少目前如此。  

企業絕大多數專注於內部構建應用,並將缺乏經過實戰檢驗、佔據主導地位的企業AI應用作為驅動因素之一。畢竟,這類應用還沒有魔力象限(至少目前還沒有!)。基礎模型透過提供API,也使企業比以往任何時候都更容易構建自己的AI應用。企業現在正在構建自己版本的熟悉案例,如客戶支援和內部聊天機器人,同時也在嘗試更新穎的使用案例,如編寫消費品配方、縮小分子發現範圍和提供銷售建議。許多人已經寫過關於「GPT包裝器」(即新創公司為LLM的知名輸出建立一個熟悉的介面,如聊天機器人)的有限差異化;a16z認為這些公司將難以競爭的一個原因是,AI進一步降低了內部構建類似應用的門檻。

然而,當更多面向企業的AI應用程式進入市場時,這種情況是否會轉變,目前尚未定論。雖然一位領導者指出,儘管他們正在內部構建許多使用案例,但他們對「將會出現新工具」持樂觀態度,並希望「使用現有最好的工具」。其他人則認為,生成式AI越來越成為一種「戰略工具」,使企業能夠將某些功能內部化,而不是像傳統那樣依賴外部供應商。考慮到這些動態,a16z認為,在這個市場中,那些不僅僅局限於「LLM+UI」模式,而是從根本上重新思考企業基礎工作流程或幫助企業更好地利用其專有資料的應用程式,將有望獲得特別出色的表現。

15. 企業對內部使用案例感到興奮,但對外部案例仍持謹慎態度。 

這是因為企業對生成式AI仍存在2個主要顧慮:

1)幻覺和安全性的潛在問題;

2)部署生成式AI的公關問題,特別是在敏感的消費者領域(如醫療保健和金融服務)。

去年最受歡迎的使用案例要麼專注於內部生產力,要麼在到達客戶之前由人工審核,如編程輔助、客戶支援和行銷。如下圖所示,這些使用案例在2024年仍然主導企業應用,企業以更高的比例將完全內部的使用案例(如文本摘要和知識管理,例如內部聊天機器人)推向生產,而不是敏感的人工參與的使用案例(如合同審查)或面向客戶的使用案例(如外部聊天機器人或推薦演算法)。企業渴望避免加拿大航空客戶服務事件等生成式AI失誤造成的負面影響。由於大多數企業仍然非常關注這些問題,因此能夠幫助控制這些問題的新創公司可能會獲得大量採用。

總體機會:巨大且快速增長 

16. a16z認為,到2024年底,模型API和微調的總支出將增長到超過50億美元的執行率,企業支出將占這一機會的很大一部分。

根據a16z的計算,a16z估計模型API(包括微調)市場在2023年底的營收執行率約為15-20億美元,其中包括透過Azure在OpenAI模型上的支出。考慮到整體市場的預期增長和企業的具體表示,僅這一領域的支出到今年年底就將增長到至少50億美元的執行率,並且有巨大的上行潛力。正如a16z所討論的,企業已將生成式AI部署列為優先事項,增加預算並將其重新分配到標準軟體項目,針對不同模型優化使用案例,並計劃在2024年將更多工作負載推向生產,這意味著他們可能會推動這一增長的很大一部分。 

在過去6個月裡,企業從高層發出了尋找和部署生成式AI解決方案的指令。過去需要一年多才能達成的交易現在在2到3個月內就被推動完成,而且這些交易的規模比過去大得多。雖然這篇文章著重於基礎模型層面,但a16z也認為企業的這一機會延伸到堆疊的其他部分,從幫助微調的工具、模型服務、應用程式構建,到專門構建的原生AI應用程式。我們正處於企業生成式AI的拐點,a16z很高興能夠與服務這個充滿活力和不斷增長的市場的下一代公司合作。

https://a16z.com/generative-ai-enterprise-2024/

個人見解:

這份由a16z發布的報告以翔實的第一手調研和深入的分析,為我們勾勒出企業在生成式AI領域的最新發展和未來趨勢。報告揭示,儘管仍存在一些顧慮,但企業正以前所未有的速度擁抱生成式AI,大幅增加相關預算,並積極將之前的實驗項目推向生產環境。

這一轉變的背後,是企業領導者對生成式AI在提升生產力、優化流程、創造價值等方面潛力的日益認同。隨著技術的快速進步和開源模型的崛起,企業比以往任何時候都更容易利用這些先進的AI能力來重塑業務。生成式AI正在從曇花一現的炒作走向真正的產業變革。


不過,要真正實現這一願景,仍需克服不少障礙。企業普遍缺乏頂尖的AI人才,對資料安全和模型魔性輸出也有合理的顧慮。如何在控制風險的同時,將生成式AI深度整合到關鍵業務中,將是一大考驗。此外,儘管報告顯示當前企業更傾向自建應用,但我認為隨著第三方解決方案的日益成熟,未來市場格局可能出現變化。新創公司若能洞悉企業痛點,為其提供靈活、穩定、安全的生成式AI工具和平台,定能在這場變革中搶得先機。

a16z的這份報告清晰地展現了生成式AI在企業市場爆發式增長的趨勢,為創業者指明了巨大的創新與創業機會。但要真正抓住這波浪潮,恐怕不能簡單複製to C的模式,而需對企業的獨特需求有深刻理解,在魔性、隱私、安全等核心問題上狠下功夫,以降低企業的顧慮,贏得信任。相信在大家的共同努力下,生成式AI必將重塑更多行業,開創智能經濟的新時代。

沒有留言:

發佈留言

SambaNova SN40L: 利用Dataflow和專家組合(COE)來克服AI記憶牆的大模型

摘要 GPT-4等整體式大型語言模型(LLM)為現代生成AI應用鋪路。然而,大規模訓練、服務及維護整體式LLM仍然極其昂貴和充滿挑戰。現代AI加速器計算能力與記憶體比例的不成比例增長已經造成了記憶體壁障,需要新的方法來部署AI。最近的研究顯示,許多小型專家模型的組合,每個模型參數...