為了最大化效率,，系統(tǒng)需要將工作負載分配給多個GPU,，進行各種并行處理，如張量并行、管道并行,、數(shù)據(jù)并行和專家并行。這樣的分配是為了確保工作能盡快完成,，因為在一個工廠中,，吞吐量直接關系到收入、服務質(zhì)量和可服務的客戶數(shù)量,。如今,，我們身處一個數(shù)據(jù)中心吞吐量利用率至關重要的時代。

過去,，雖然吞吐量被認為重要,，但并非決定性的因素。然而,，現(xiàn)在,，從啟動時間、運行時間,、利用率,、吞吐量到空閑時間等每一個參數(shù)都被精確測量，因為數(shù)據(jù)中心已成為真正的“工廠”,。在這個工廠中,，運作效率直接關聯(lián)到公司的財務表現(xiàn)。

鑒于這種復雜性,，我們深知大多數(shù)公司在部署人工智能時面臨的挑戰(zhàn),。因此，我們開發(fā)了一個集成化的人工智能容器解決方案,，將人工智能封裝在易于部署和管理的盒子中,。這個盒子包含了龐大的軟件集合，如CUDA,、CUDACNN和TensorRT,，以及Triton推理服務。它支持云原生環(huán)境,，允許在Kubernetes（基于容器技術的分布式架構解決方案）環(huán)境中自動擴展,，并提供管理服務，方便用戶監(jiān)控人工智能服務的運行狀態(tài),。

更令人振奮的是,，這個人工智能容器提供通用的、標準的API接口，使得用戶可以直接與“盒子”進行交互,。用戶只需下載Nim,，并在支持CUDA的計算機上運行，即可輕松部署和管理人工智能服務,。如今,，CUDA已無處不在，它支持各大云服務提供商,，幾乎所有計算機制造商都提供CUDA支持,，甚至在數(shù)億臺PC中也能找到它的身影。

當你下載Nim時,，即刻擁有一個人工智能助手，它能如與ChatGPT對話般流暢交流?，F(xiàn)在,，所有的軟件都已精簡并整合在一個容器中，原先繁瑣的400個依賴項全部集中優(yōu)化,。我們對Nim進行了嚴格的測試,，每個預訓練模型都在我們的云端基礎設施上得到了全面測試，包括Pascal,、Ampere乃至最新的Hopper等不同版本的GPU,。這些版本種類繁多，幾乎覆蓋了所有需求,。

Nim的發(fā)明無疑是一項壯舉,，它是我最引以為傲的成就之一。如今,，我們有能力構建大語言模型和各種預訓練模型,，這些模型涵蓋了語言、視覺,、圖像等多個領域,，還有針對特定行業(yè)如醫(yī)療保健和數(shù)字生物學的定制版本。

想要了解更多或試用這些版本,，只需訪問ai.nvidia.com,。今天，我們在Hugging Face上發(fā)布了完全優(yōu)化的Llama 3 Nim,，你可以立即體驗,，甚至免費帶走它。無論你選擇哪個云平臺,，都能輕松運行它,。當然，你也可以將這個容器下載到你的數(shù)據(jù)中心，自行托管,，并為你的客戶提供服務,。

我前面提到，我們擁有覆蓋不同領域的Nim版本,，包括物理學,、語義檢索、視覺語言等,，支持多種語言,。這些微服務可以輕松集成到大型應用中，其中最具潛力的應用之一是客戶服務代理,。它幾乎是每個行業(yè)的標配,，代表了價值數(shù)萬億美元的全球客戶服務市場。

值得一提的是,，護士們作為客戶服務的核心,，在零售、快餐,、金融服務,、保險等行業(yè)中發(fā)揮著重要作用。如今,，借助語言模型和人工智能技術,，數(shù)千萬的客戶服務人員得到了顯著的增強。這些增強工具的核心,，正是你所看到的Nim,。

有些被稱為推理智能體（Reasoning Agents），它們被賦予任務后,，能夠明確目標并制定計劃,。有的擅長檢索信息，有的精于搜索,，還有的可能會使用如Coop這樣的工具,，或者需要學習在SAP上運行的特定語言如ABAP，甚至執(zhí)行SQL查詢,。這些所謂的專家現(xiàn)在被組成一個高效協(xié)作的團隊,。

應用層也因此發(fā)生了變革：過去，應用程序是由指令編寫的,，而現(xiàn)在,，它們則是通過組裝人工智能團隊來構建。雖然編寫程序需要專業(yè)技能,，但幾乎每個人都知道如何分解問題并組建團隊,。因此,，我堅信，未來的每家公司都會擁有一個龐大的Nim集合,。你可以根據(jù)需要選擇專家,，將它們連接成一個團隊。

更神奇的是,，你甚至不需要弄清楚如何去連接它們,。只需給代理分配一個任務，Nim會智能地決定如何分解任務并分配給最適合的專家,。它們就像應用程序或團隊的中央領導者,，能夠協(xié)調(diào)團隊成員的工作，最終將結果呈現(xiàn)給你,。

整個過程就像人類團隊協(xié)作一樣高效,、靈活。這不僅僅是未來的趨勢,，而是即將在我們身邊成為現(xiàn)實,。這就是未來應用程序將要呈現(xiàn)的全新面貌。

PC將成為數(shù)字人主要載體