為了最大化效率,，系統(tǒng)需要將工作負載分配給多個GPU,，進行各種并行處理，如張量并行,、管道并行,、數(shù)據(jù)并行和專家并行。這樣的分配是為了確保工作能盡快完成,，因為在一個工廠中,，吞吐量直接關系到收入,、服務質量和可服務的客戶數(shù)量。如今,，我們身處一個數(shù)據(jù)中心吞吐量利用率至關重要的時代,。

過去，雖然吞吐量被認為重要,，但并非決定性的因素,。然而，現(xiàn)在,，從啟動時間,、運行時間、利用率,、吞吐量到空閑時間等每一個參數(shù)都被精確測量,，因為數(shù)據(jù)中心已成為真正的“工廠”。在這個工廠中,，運作效率直接關聯(lián)到公司的財務表現(xiàn),。

鑒于這種復雜性，我們深知大多數(shù)公司在部署人工智能時面臨的挑戰(zhàn),。因此,，我們開發(fā)了一個集成化的人工智能容器解決方案，將人工智能封裝在易于部署和管理的盒子中,。這個盒子包含了龐大的軟件集合,，如CUDA、CUDACNN和TensorRT,，以及Triton推理服務,。它支持云原生環(huán)境，允許在Kubernetes（基于容器技術的分布式架構解決方案）環(huán)境中自動擴展,，并提供管理服務,，方便用戶監(jiān)控人工智能服務的運行狀態(tài)。

更令人振奮的是,，這個人工智能容器提供通用的,、標準的API接口，使得用戶可以直接與“盒子”進行交互,。用戶只需下載Nim,，并在支持CUDA的計算機上運行，即可輕松部署和管理人工智能服務,。如今,，CUDA已無處不在，它支持各大云服務提供商，幾乎所有計算機制造商都提供CUDA支持,，甚至在數(shù)億臺PC中也能找到它的身影,。

當你下載Nim時，即刻擁有一個人工智能助手,，它能如與ChatGPT對話般流暢交流?，F(xiàn)在，所有的軟件都已精簡并整合在一個容器中,，原先繁瑣的400個依賴項全部集中優(yōu)化,。我們對Nim進行了嚴格的測試，每個預訓練模型都在我們的云端基礎設施上得到了全面測試,，包括Pascal,、Ampere乃至最新的Hopper等不同版本的GPU。這些版本種類繁多,，幾乎覆蓋了所有需求,。

Nim的發(fā)明無疑是一項壯舉，它是我最引以為傲的成就之一,。如今,，我們有能力構建大語言模型和各種預訓練模型，這些模型涵蓋了語言,、視覺,、圖像等多個領域，還有針對特定行業(yè)如醫(yī)療保健和數(shù)字生物學的定制版本,。

想要了解更多或試用這些版本,，只需訪問ai.nvidia.com。今天,，我們在Hugging Face上發(fā)布了完全優(yōu)化的Llama 3 Nim,，你可以立即體驗，甚至免費帶走它,。無論你選擇哪個云平臺,，都能輕松運行它。當然,，你也可以將這個容器下載到你的數(shù)據(jù)中心,，自行托管，并為你的客戶提供服務,。

我前面提到,，我們擁有覆蓋不同領域的Nim版本，包括物理學,、語義檢索、視覺語言等，支持多種語言,。這些微服務可以輕松集成到大型應用中,，其中最具潛力的應用之一是客戶服務代理。它幾乎是每個行業(yè)的標配,，代表了價值數(shù)萬億美元的全球客戶服務市場,。

值得一提的是，護士們作為客戶服務的核心,，在零售,、快餐、金融服務,、保險等行業(yè)中發(fā)揮著重要作用,。如今，借助語言模型和人工智能技術,，數(shù)千萬的客戶服務人員得到了顯著的增強,。這些增強工具的核心，正是你所看到的Nim,。

有些被稱為推理智能體（Reasoning Agents）,，它們被賦予任務后，能夠明確目標并制定計劃,。有的擅長檢索信息,，有的精于搜索，還有的可能會使用如Coop這樣的工具,，或者需要學習在SAP上運行的特定語言如ABAP,，甚至執(zhí)行SQL查詢。這些所謂的專家現(xiàn)在被組成一個高效協(xié)作的團隊,。

應用層也因此發(fā)生了變革：過去,，應用程序是由指令編寫的，而現(xiàn)在,，它們則是通過組裝人工智能團隊來構建,。雖然編寫程序需要專業(yè)技能，但幾乎每個人都知道如何分解問題并組建團隊,。因此,，我堅信，未來的每家公司都會擁有一個龐大的Nim集合,。你可以根據(jù)需要選擇專家,，將它們連接成一個團隊。

更神奇的是,，你甚至不需要弄清楚如何去連接它們,。只需給代理分配一個任務，Nim會智能地決定如何分解任務并分配給最適合的專家。它們就像應用程序或團隊的中央領導者,，能夠協(xié)調團隊成員的工作,，最終將結果呈現(xiàn)給你。

整個過程就像人類團隊協(xié)作一樣高效,、靈活,。這不僅僅是未來的趨勢，而是即將在我們身邊成為現(xiàn)實,。這就是未來應用程序將要呈現(xiàn)的全新面貌,。

PC將成為數(shù)字人主要載體