Nvidia GTC (2023/3月)，從晶片，到軟件，到服務

2023 年 3 月舉行了 Nvidia GTC (GPU Technology Conference)，強調的產品策略，用了四層架構：

第一層：硬體 Hardware

最底層硬體支援包括：晶片(GPU / CPU / DPU)、電腦、伺服器、超級電腦(DGX / DGX POD / DGX SuperPOD)等。企業可以購入硬體，然後安装到自行營運數據中 心中使用，亦可以選擇使用雲端 DGX Cloud，這是透過Microsoft Azure、Google GCP、Oracle OCI 提供服務。

GPU 用作 AI 運算，尤其針對 AI 推理，推出不同規格定位的晶片，走向更加專 門化。針對算力需求的大小，不用每每用到頂級的 A100 / H100，有更大的成本效益：

• L4：AI 影片功能，包括:影片解碼/轉碼、視像會議等

• L40：AI 圖像功能，圖像渲染(Rendering)、文本到圖像(text-to-image)、 文本到影片(text-to-video)等

• H100 NVL：大型語言模型(LLM，Large Language Model)

• Grace-Hopper：最高規格，配合 CPU 和 GPU 高速數據傳輸

第二層:技術 Technology

以下作為系統基礎技術：

• Nvidia AI

• Nvidia Omniverse

注意 Nvidia Omniverse 元宇宙平台仍然是其中重點之一，不是主流媒體談到 Meta (Facebook)發展元宇宙觸礁的一種論調？Omniverse 是提供虚擬環境的技術，針對企業應用，作為產品設計、 AI 訓練、模擬及監察現實環境。

企業可以購入硬體，然後安装 Omniverse 到自行營運數據中心中使用，亦可以選擇使用雲端，Omniverse Cloud 是透過Microsoft Azure 提供服務。

2022年此收入 (Professional Visualization)倒退，要繼續觀察此項增長如何。（參考：NVIDIA 2022 Q4 業績，DATA CENTER 仍然是重點）

第三層：CUDA Accelerated Library (Software)

CUDA 發展出來的加速運算軟件，配合各行各業的應用場境，數目多，不能盡錄，GTC 特别提及以下：

• cuQuantum：模擬量子電腦電路

• Spark / RAPIDS：加速數據處理引擎(Apache Spark)

• RAFT：數據庫相關操作

• cuOpt：運籌學 (Operations Research) 和物流處理

• Holoscan：醫療儀器

• cuLitho：半導體光刻技術(例如:光罩計算)

• TensorRT：AI 推理實時優化

• Triton：CPU / GPU 多框架數據中心 AI 推理

• TMS(Triton Management Service)：跨數據中心的自動化管理

• CV-CUDA：計算機視覺

• Parabricks：基因組學分析 (Genomics)

值得一提，CuLitho 當中研究包括合作伙伴：ASML、台積電、新思科技 (Synopsys)，令到原本一項光罩設計的計算，由兩個星期縮短至八小時完成，速度提升了約 40 倍。輝達負責晶片設計，會使用晶片代工生產服務，CuLitho 令到Nvidia成為晶片生產設備技術的一部分，輝達所涉及的半導體產業鏈範疇擴濶。

第四層：服務 Services

輝達 AI 基礎服務(Nvidia AI Foundations):

• NeMo：語言模型

• Picasso：視覺模型，包括：圖像、影片、3D 模型

• BioNeMo：生物學模型，用於藥物研發

Nvidia 在以上模型已經預先完成大量 AI 訓練，例如：NeMo 語言模型已經預先完成 AI 訓練，包括以十億計句子，以及以兆計生字。客户可以在其上再利用自家數據作進行 AI 訓練，可以大幅度降低去建立模型的整體所需時間。Nvidia 分别在 Adobe / Getty Images / Shutterstock 合作去使用 Picasso 去建造各自的視覺模型。

Nvidia 賣的是什麽？

Nvidia GPU 在數據中心 AI 運算是主流（ChatGPT 都用 Nvidia A100 作 AI 訓練），不過前面面對不少挑戰，Amazon 發展 Trainium / Inferentia，Google 發展 TPU，傳聞 Microsoft 都研發 AI 用晶片。

不代表現在各個 Cloud Service Providers就放棄使用 Nvidia GPU，仍然是合作伙伴，透過使用 Nvidia GPU 提供服務，DGX Cloud 都是通過 Microsoft Azure / Google GCP / Oracle OCI 提供服務，Omniverse 都是通過 Microsoft Azure 提供服務，不過 Cloud Service Providers 自家研發晶片是其中之一個方法去增加成本效益，為市場提供多一個選擇。長遠亦可能改變這個 Big Picture。

Nvidia 賣的是 AI 解決方案 (AI Solution)，GPU + CUDA 是綑綁式的生態系統，因為如果客户使用 CUDA 相關 Software / System，這個是相對大的 User Stickiness，不可直接改用 Amazon / Google / Microsoft 自家設計的晶片。另外，NeMo / Picasso / BioNeMo 包括Pre-trained AI Model，還有Nvidia AI 專家提供服務，Omniverse Cloud / DGX Cloud / Omniverse Avatar Cloud Engine (ACE) 都在走向服務模式 ..... 這些都是 Nvidia 繼續求變，期望去保持競爭力。

今年3月 Nvidia GTC 發佈會的backdrop 多了 ChatGPT的焦點，或者說是Generative AI (生成式 AI) 和 AI 科技趨勢作為投資市場的主題，市場甚至有點過熱，大家如果作為投資者，最關心是每日股價升跌？還是公司的產品及未來發展？（參考：CHATGPT 背後的科技 (1) 背後使用什麼晶片？ | CHATGPT 背後的科技 (2) AI 算力需求的大戰）

本星期三 24/5，Nvidia 公佈 2023/Q1業績，AI 科技趨勢是否為Q1業績來更好增長，還是只是一廂情願的妄想？

《AI 投資時代．真的值得參與嗎？》

主題和内容 | 發售資料

《科技戰國．尋找科技價值投資的故事》

主題和内容 | 發售資料

下面的Page / Group，歡迎大家Like和Follow，就可以自動收到文章更新。

Facebook

https://facebook.com/duncaninvest
Instagram
https://instagram.com/duncannewinvest
Telegram
https://t.me/duncaninvest
謝謝支持！

參考文章

NVIDIA 2022 Q4 業績，DATA CENTER 仍然是重點

CHATGPT 背後的科技 (2) AI 算力需求的大戰

CHATGPT 背後的科技 (1) 背後使用什麼晶片？

分餅仔，半導體公司 ASML / TSM / AMD / INTEL (2022/Q4)

NVIDIA 2021 Q4 業績，看發展進程，PROFESSIONAL VISUALIZATION (OMNIVERSE)

NVIDIA 數據中心市場產品業務 (2020 Q4 UPDATE)

CES 2022，NVIDIA DRIVE 自動架駛

有一個元宇宙，叫 NVIDIA OMNIVERSE

NVIDIA，AMD，INTEL，晶片公司發佈，其實背後想講什麽？

NVIDIA GTC (2021/11月) 速報

NVIDIA GTC (2021/4月) 總結，未來的產品佈局

NVIDIA DGX SUPERPOD，AI 超級電腦成為一件可接觸的產品

NVIDIA DRIVE AV (AUTONOMOUS VEHICLE) 自動架駛，增長賽道就在前面

NVIDIA OMNIVERSE，一個指向 METAVERSE 元宇宙的實現

NVIDIA GRACE CPU，在數據中心的晶片之戰

NVIDIA TAO，不只是一間晶片公司的AI 競爭優勢

NVIDIA : I AM AI