Nvidia : I am AI

November 05, 2020

Nvidia : I am AI

我是大約在2017年尾，開始研究 Nvidia (NVDA) 這間公司。如何發生興趣是一個偶然的機會，看到一篇新聞，報導Nvidia擧行GTC(GPU Technology Conference), 其中一個叫Isaac的工具，在VR(Virtual Reality)的虛擬環境去訓練一個機㭜人Robot，當這個Robot回到現實世界就可以有能力執行相關的工作，就好像科幻電影的情節，吸引着我。該新聞結尾提到現在半導體行業正面臨‘改朝換代’。（註：這個有點是衝著Intel 而來，參考文章：半導體行業的改朝換代)

Official Intro - Nvidia GTC 2017 - I am AI

Official Intro - Nvidia GTC 2020 - I am AI

GTC的主題是主打AI，每年Nvidia都會在世界各地舉行GTC。建議大家去YouTube看看有關GTC影片，可以多了解產品和公司未來的發展，更可以欣賞一下CEO Jensen Huang這位’皮䄛教主’的魅力。

從2012到2017的五年間，參加GTC人數增加了10倍，GPU開發人員增加了14倍。並在2020年預計GPU開發人員達大約230萬，可見Nivdia在AI業界之流行程度。

傳統的軟件是透過開發者逐行逐行指令去指示電腦完整的邏輯去完成一件工作。人工智能Artificial Intelligence (AI)不同之處是透過大量數據，電腦有能力去推敲到之間的關係，而學上處理一個問題或工作的智慧，就是 'Writing the software that human cannot write' 。

使用AI大約包括兩大過程：

Machine Learning (機器學習) / Deep Learning (深度學習)
Inferencing (推斷)

Nvidia在Machine Learning/Deep Learning市場已經取得市佔優勢，它在Inferencing市場仍在擴展中，亦有未知之數。

AI運算能力

發展AI的其中一個挑戰是對電腦運算能力的大需求，而且需求像是幾何式級數式增長。

過去幾十年電腦在處理大部分工作都是以 CPU (Central Processing Unit, 例如Intel 生産的) 為主導，近年CPU在運算能力的提升是放緩 (Death of Moore's Law，有興趣的朋友可以去Google一下)，這間接成為AI發展上的其中一個瓶頸位。

2012年 Nvidia和史丹福大學的AI研究團隊合作進行Deep Learning硏究，証實12粒Nvidia GPU 可以提供相等於2000粒傳統CPU的運算能力。這突破成為Nvidia進入AI市場的一個重大契機。

優勢是如何練成 - CUDA

Nvidia做的不只是生產了晶片，然後扔給顧客去推敲如何在各自的應用場景之中使用。已經有一套涵蓋很廣的CUDA library，可以令用戶去開發軟件時很容易就用到Nvidia GPU的功能去配合自己的應用場景。CUDA仍然在不斷發展，現在已包括很多範圍：

RTX - 光線追踪 (Ray Tracing)

HPC - 高效能運算 (High Performance Computing)

RAPIDS - 數據科學 (Data Science)

AI - 人工智能 (Artificial Intelligence)

CLARA - 醫學影像 (Medical Imaging)

METRO - 智慧城市 (Smart City)

DRIVE - 無人架駛 (Autonomous Driving)

ISAAC - 機械人 (Robotics)

AERIAL 5G - 5G 網絡

GPU (Graphics Processing Unit, 例如Nvidia/AMD生產)，原本的功能是處理繪圖工作。CUDA發展始於2007年，當時只用作工具更方便去用Nvidia GPU的繪圖功能。由於2012年的AI運算能力突破性發現，原來Jensen在後背大力領着Nvidia研發AI，令GPU的繪圖功能推展至繪圖以外的功能 - GPGPU (General Purpose Graphics Processing Unit)。

CUDA成為Nvidia的Killer App, 領公司通往AI市場的高速公路。

Nvidia花了很多資源去發展CUDA。公司本業是晶片設計，晶片是硬件(hardware)，但是公司的軟件工程師人數比較硬件工程師為多，這是非一般晶片設計公司。套用Jensen的說法，Nvidia已經不是晶片設計公司，而是Accelerated Computing Company。因為公司不單是提供晶片，而是提供一個透過AI去解決問題的完整方案 (Full technology stack architecture solution)。

即使Intel和AMD可以做出同樣高效能AI運算晶片，但它們沒有各自的CUDA，就很難達到Nvidia GPU+CUDA建成的生態系統的同樣效果。不是沒有可能，而是開發及使之流行是需要一個不短的時間，Nvidia因為先入為主已經早著先機。

一個生態系統可以走多遠？

Nvidia GPU+CUDA可以造成怎樣的可能性？或者可以參考一些在科技領域上曾經出現過的歷史演變。

90年代出現PC+Windows, 00年代出現iPhone+iOS, 有一個共通點，當越來越多開發者使用該平台，大量的產品就會推出到市場而賣到消費者的手中，造就一個壟斷性的良性循環，建立出來的趨勢會很難去逆轉。

要用PC自然用Windows，相反亦然。iPhone和iOS的關係都類同。這是一種hardware和software fully integrated形成的一個密不可分的生態系統 (Eco System)，而造成的壟斷性優勢，這就是公司的護城河。相信 Nvidia GPU+CUDA 正在嘗試走這一條路。

2000年科網泡沫爆破，之後幾年互聯網同時也在默默的高速發展。在那段時間我在工作中有機會接觸Java，Java是由Sun Microsystems硏發出來程式語言平台(programming language platform)，當時的我有一種驚為天人的感覺。Java的過人之處是platform independent，使用Java開發出來的software可以在大部分不同的hardware上執行，潛台詞就是去打當時在桌面電腦和server上的Microsoft式壟斷，就是PC+Windows。當時互聯網在server side用Java是十分普遍，另一方面我們在上網時用的browser例如Internet Explorer和Netscape都是可以執行Java Applet（利用Java編寫的一個小的程式）。

Java的出現，十分成功，在互聯網的發展上功不可沒，我覺得應該寫入電腦的發展歷史其中的一個重要環節。Sun Microsystems造就的 Platform Independent+Java 的生態系統，可以說是一種非壟斷式的壟斷手法。Sun Microsystems的本業是生產server，Java的流行不會令公司server銷售大幅上升，因為platform independent令到不同電腦都可以執行這software的原固，顧客沒有需要一定買Sun Microsystems的server。故事繼續發展，在2009年Sun Microsystems被Oracle收購。今天Java仍然在發展當中。

遊戲 (Gaming)

Nvidia 原本核心業務就是顯示咭/晶片，主要用在電腦遊戲之上。近年一大進展包括Real Time Ray Tracing造出極度像真的效果。而用上Deep Learning Super Sampling (DLSS) 是把AI 加入到繪圖當中，加快效率。除了遊戲，在電影，廣告等創作上都可以用上。

Sample - Real Time Ray Tracing極真實效果

在顯示咭/晶片，AMD是競爭者。不過Nvidia定位有點不同，是著重高楷市場，更高效能更高售價，不是鬥平的策略。

數據中心 (Data Center)

在2020年第二季的財務報表中，Data Center 收入第一次超越 Gaming。當中亦包括剛收購的 Mellanox 而首次納入到財務報表中。收購 Mellanox 都是公司的前瞻性思維，就是它的 high speed networking 業務有助 Nvidia 未來的 Data Center 晶片業務發展，有協同效應。

這個財務報表，如同官方訊息，Nvidia在告訴大家它已經不單是一間製造顯示咭/晶片的公司。它是一間AI Company，面前的戰場在 Data Center。

Nvidia除了有晶片可以提供給 server 生產商，亦有自家品牌的 server。根據2019年資料，一部Nvidia DGX-2 Deep Learning Supercomputer ，售價約 USD 400,000 (約 HKD 3,120,000)。售價之高可見Data Center板塊收入之吸引，這是high price，high margin，high growth 的市場，相當有潛力。

原本在Data Center 使用的晶片市場，Intel CPU有極大壟斷性，市佔達80-90%。而Nvidia GPU在提供相同的AI運算能力去比較，可以做到的效果：更省電，server所佔體積縮小更省地方（租金），售價更便宜，很大誘因吸引顧客採用。

Jensen在GTC每每談起Data Center 晶片/server，活像金牌推銷員，一句’The more you buy, the more you save’ 已經道盡一切，向顧客招手，一場革命已經展開。

2020 GTC發佈了DGX SuperPOD, 令到大型AI supercomputer更容易去設置，有助Nvidia搶佔在快速擴展AI市場。

無人駕駛 (Autonomous Driving)

Autonomous Driving可以稱為無人駕駛或自動駕駛。

一架汽車在路上行走數以萬計公里所收集的數據，包括影像和週圍物件的距離的資料等等，就是用作AI學習無人駕駛的教材。

這些資料被儲存然後帶到Data Center，裝上Nvidia GPU的電腦就可以如同看錄影的情況下進行學習，而不是把所有電腦放到汽車上行走，如同昔日’教車師傅‘式教授。Nvidia更進一步利用繪圖技術加入不同天氣情況到影像作學習用途，例如下雨，下雪，陽光令到道路地面反光等等，道路和環境可以無中生有，基本上是由看錄影轉變到看電腦繪圖的虛擬環境，進行無人駕駛的學習。由於Nvidia一直在發展GPU的繪圖技術，在處理影像作為教材上更加事半功倍了。

本文開頭的圖片就是Nvidia無人駕駛系統被應用在無人駕駛賽車活動 (Roborace)。

很多汽車生產品牌已經是Nvidia的合作伙伴，其中包括Audi, BWM, Ford, Mercedes-Benz, Nissan, Toyota, Volvo等等，絕對有壟斷性優勢。不過現在這方面佔公司總收入仍低，需要時間等待收成。