為了最大化效率,，系統(tǒng)需要將工作負(fù)載分配給多個GPU，進(jìn)行各種并行處理,，如張量并行,、管道并行、數(shù)據(jù)并行和專家并行,。這樣的分配是為了確保工作能盡快完成,，因為在一個工廠中，吞吐量直接關(guān)系到收入、服務(wù)質(zhì)量和可服務(wù)的客戶數(shù)量,。如今,，我們身處一個數(shù)據(jù)中心吞吐量利用率至關(guān)重要的時代。

過去,，雖然吞吐量被認(rèn)為重要,，但并非決定性的因素。然而,，現(xiàn)在,，從啟動時間、運(yùn)行時間,、利用率,、吞吐量到空閑時間等每一個參數(shù)都被精確測量，因為數(shù)據(jù)中心已成為真正的“工廠”,。在這個工廠中,，運(yùn)作效率直接關(guān)聯(lián)到公司的財務(wù)表現(xiàn)。

鑒于這種復(fù)雜性,，我們深知大多數(shù)公司在部署人工智能時面臨的挑戰(zhàn),。因此，我們開發(fā)了一個集成化的人工智能容器解決方案,，將人工智能封裝在易于部署和管理的盒子中,。這個盒子包含了龐大的軟件集合，如CUDA,、CUDACNN和TensorRT,，以及Triton推理服務(wù)。它支持云原生環(huán)境,，允許在Kubernetes（基于容器技術(shù)的分布式架構(gòu)解決方案）環(huán)境中自動擴(kuò)展,，并提供管理服務(wù)，方便用戶監(jiān)控人工智能服務(wù)的運(yùn)行狀態(tài),。

更令人振奮的是,，這個人工智能容器提供通用的、標(biāo)準(zhǔn)的API接口,，使得用戶可以直接與“盒子”進(jìn)行交互,。用戶只需下載Nim，并在支持CUDA的計算機(jī)上運(yùn)行,，即可輕松部署和管理人工智能服務(wù),。如今，CUDA已無處不在,，它支持各大云服務(wù)提供商,，幾乎所有計算機(jī)制造商都提供CUDA支持，甚至在數(shù)億臺PC中也能找到它的身影。

當(dāng)你下載Nim時,，即刻擁有一個人工智能助手,，它能如與ChatGPT對話般流暢交流。現(xiàn)在,，所有的軟件都已精簡并整合在一個容器中,，原先繁瑣的400個依賴項全部集中優(yōu)化。我們對Nim進(jìn)行了嚴(yán)格的測試,，每個預(yù)訓(xùn)練模型都在我們的云端基礎(chǔ)設(shè)施上得到了全面測試，包括Pascal,、Ampere乃至最新的Hopper等不同版本的GPU,。這些版本種類繁多，幾乎覆蓋了所有需求,。

Nim的發(fā)明無疑是一項壯舉,，它是我最引以為傲的成就之一。如今,，我們有能力構(gòu)建大語言模型和各種預(yù)訓(xùn)練模型,，這些模型涵蓋了語言、視覺,、圖像等多個領(lǐng)域,，還有針對特定行業(yè)如醫(yī)療保健和數(shù)字生物學(xué)的定制版本。

想要了解更多或試用這些版本,，只需訪問ai.nvidia.com,。今天，我們在Hugging Face上發(fā)布了完全優(yōu)化的Llama 3 Nim,，你可以立即體驗,，甚至免費(fèi)帶走它。無論你選擇哪個云平臺,，都能輕松運(yùn)行它,。當(dāng)然，你也可以將這個容器下載到你的數(shù)據(jù)中心,，自行托管,，并為你的客戶提供服務(wù)。

我前面提到,，我們擁有覆蓋不同領(lǐng)域的Nim版本,，包括物理學(xué)、語義檢索,、視覺語言等,，支持多種語言。這些微服務(wù)可以輕松集成到大型應(yīng)用中，其中最具潛力的應(yīng)用之一是客戶服務(wù)代理,。它幾乎是每個行業(yè)的標(biāo)配,，代表了價值數(shù)萬億美元的全球客戶服務(wù)市場。

值得一提的是,，護(hù)士們作為客戶服務(wù)的核心,，在零售、快餐,、金融服務(wù),、保險等行業(yè)中發(fā)揮著重要作用。如今,，借助語言模型和人工智能技術(shù),，數(shù)千萬的客戶服務(wù)人員得到了顯著的增強(qiáng)。這些增強(qiáng)工具的核心,，正是你所看到的Nim,。

有些被稱為推理智能體（Reasoning Agents），它們被賦予任務(wù)后,，能夠明確目標(biāo)并制定計劃,。有的擅長檢索信息，有的精于搜索,，還有的可能會使用如Coop這樣的工具,，或者需要學(xué)習(xí)在SAP上運(yùn)行的特定語言如ABAP，甚至執(zhí)行SQL查詢,。這些所謂的專家現(xiàn)在被組成一個高效協(xié)作的團(tuán)隊,。

應(yīng)用層也因此發(fā)生了變革：過去，應(yīng)用程序是由指令編寫的,，而現(xiàn)在,，它們則是通過組裝人工智能團(tuán)隊來構(gòu)建。雖然編寫程序需要專業(yè)技能,，但幾乎每個人都知道如何分解問題并組建團(tuán)隊,。因此，我堅信,，未來的每家公司都會擁有一個龐大的Nim集合,。你可以根據(jù)需要選擇專家，將它們連接成一個團(tuán)隊,。

更神奇的是,，你甚至不需要弄清楚如何去連接它們。只需給代理分配一個任務(wù),，Nim會智能地決定如何分解任務(wù)并分配給最適合的專家,。它們就像應(yīng)用程序或團(tuán)隊的中央領(lǐng)導(dǎo)者,，能夠協(xié)調(diào)團(tuán)隊成員的工作，最終將結(jié)果呈現(xiàn)給你,。

整個過程就像人類團(tuán)隊協(xié)作一樣高效,、靈活。這不僅僅是未來的趨勢,，而是即將在我們身邊成為現(xiàn)實,。這就是未來應(yīng)用程序?qū)⒁尸F(xiàn)的全新面貌。

PC將成為數(shù)字人主要載體