Nvidia GTC (2022/3月) Omniverse，元宇宙平台
人工智能從根本上改變了軟件可以做什麼，以及我們如何製作軟件。
AI has fundamentally change what software can make, and how we make software.
- Jensen Huang, Nvidia Founder & CEO
* * * * *
2022年3月的Nvidia GTC Keynote，花了很多時間提供Omniverse的Update，可以見到Omniverse不是單一個產品，而是Nvidia所提供的多種產品的一個核心。（參考：YouTube - Nvidia GTC Keynote (2022/3)）
過去十年，透過Machine Learning的加速運算，Nvidia產品的算力的提升近百萬計。其中一個關鍵，Nvidia提供不只是晶片，而是GPU + CUDA這一種硬件和軟件fully integrated的生態系統模式，算力提升不單是來自GPU，還有是多GPU可以做到parallel processing，而且軟件可以做到不斷優化和擴展。
Nvidia擁有在AI和圖像處理的技術優勢，市場上已經有約300萬開發人員，有萬計公司和Start Up在使用Nvidia產品。
我們可以見到，AI可以透過Machine Learning / Deep Learning，去了解影像，了解聲音，了解語言，達到效果例如：人面識別、語音識别、推薦Video和網購等。
下一波的AI革命是Robotics機械人技術，擁有思考和自動化的能力，去計劃和執行工作。
Robot需要通學AI學習去懂得技能，Omniverse提供3D虛擬環境，Robot可以在其中進行AI學習，由於Omniverse的虛擬環境是乎合物理定律，虛擬如同現實，和現實成為Digital Twin數碼孿生的關係，Robot在虛擬環境學懂了技能，回到現實世界就可以執行工作了。
Nvidia CEO，Jensen Huang提出：AI在未來的驅動力來自Five Dynamics就是：
- 算力提升，未來再見到以百萬計
- Transformer是更高度覆雜性的Deep Learning Model
- Data Center就如AI Factory人工智能工廠
- Robotics機械人技術
- Digital Twin數碼孿生，是元宇宙的一種應用
OVX Server
終於見到Nvidia有度身訂造的Server去執行Omniverse。
OVX Server有8 x Nvidia A40 RTX GPU，3 x CX6 200 Gbps NIC，Dual Intel Ice Lake CPU。
OVX Server可以透過Nvidia Spectrum-3，把32部OVX Server高速連結成為OVX SuperPOD。
以上可見，這種似曾相識的設計，AI有DGX和DGX SuperPOD，Omniverse有OVX和OVX SuperPOD。
世界各地用户戶亦可以透過Launchpad嘗試使用，服務經由Equinix提供。
Nvidia的產品策略可以用4 Layer架構來解釋：
- 第一層是底層的Hardware硬件，包括：晶片 (GPU / CPU / DPU)、電腦、Server等
- 之上是System Software系統軟件
- 之上是Platform平台：Nvidia HPC (High Performance Computing)，Nvidia AI，Nvidia Omniverse，這是我第一次見到Ominverse被界定為三個核心技術的平台其中之一
- 頂層是Application Framework應用框架，這是按各行業或者功能的應用場景
對於企業用戶，頂層的應用層才是它們最關注，為企業帶來直接的經濟價值。（後面，有一些實際例子）
Avatar
Omniverse Avatar是一個框架用作建造Avatar，就是Digital Human數碼人類。（對比Meta提供的Avatar只是一個外殻，不具有自主能力，後背是你自己，你控制了Avatar在元宇宙內的動態）
在Demo之中看到Toy Jensen有卡通外型的角色，回答Jensen關於Synthetic Biology合成生物的問題，反映它具有十分專門的科學知識。反應不是錄製的影像，而是實時產生，有表情，有眼神接觸，有肢體動作。
Toy Jensen是在Omniverse Avatar上創造出來，Riva負責聽和說的能力，聲音是語言音合成，利用RADTTS由文字轉成語音，Audio2Face由語音轉成動畫，Omniverse Animation Graph是協調身體以至面部和口部的微細動作，MDL加入物料的質感（例如皮褸），最後經由RTX Ray Tracing渲染成為實時的影像。
Megatron是一個有5,300億個Parameters的NLP (Natural Language Processing) Model，幫助Toy Jensen回答Jensen的艱深問題。（Megatron是數一數二的高度覆雜性的Model，另外一個例子如Google的GPT-3）
Tokkio
Tokkio是另一個Omniverse Avatar的實踐例子，可以提供AI服務的場景包括：餐廳，零售商店，Web，自動架駛EV等，以Conversational AI對話式人功智能方式提供服務。
Earth-2
Nvidia正在設置Earth-2 Supercomputer，是地球的Digital Twin的一個模型，去預測氣候。
利用來自ECMWF (European Center of Medium Weather Forecasting)的40年的數據，Nvidia聯合CalTech (California Institute of Technology)，Berkeley Lab, Purdue University，University of Michigan，Rice University，研究Deep Learning Model - FourCastNet去預測天氣。
透過在Omniverse之中使用AI學習，對比傳統Numerical Model，可以得到更準確的結果，和很大的效率提升近千至萬倍，以住要以年計的時間進行，可以縮短至以分鐘進行。
Clara Holoscan
Clara Holoscan是醫療儀器的應用。
一個例子是Lightsheet Microscope光片顯微鏡，利用高解像螢光去造出細胞的活動影像，硏究人員可以深入硏究。儀器會產生每秒3TB的影像數據，相等於30套4K電影數據量，過去需要約一天時間去處理影像，Clara Holoscan可以做到實時處理，不單可以觀察到正常和惡性的細胞，未來期望可以有更多未知的新發現。
Clara Holoscan是一個開放式平台，乎合IEC-62304醫療級規格，可以在最高安全和保安級別儀器使用，預計2023年第一季推出。
未來的醫療儀器是AI人功智能儀器，可以幫助診斷和手術，Clara Holoscan是機械人醫療器械平台，就如Nvidia DRIVE是自動架駛平台一樣。
Omniverse Cloud
世界各地有千萬計的設計師．內容創作者、機械人專家、AI硏究人員等，可以利用Omniverse Cloud連接起來。雖然身處各地，可以即時見到Omniverse的虛擬環境中的3D設計，提供實時同步的效果可以方便合作。
這個Omniverse Cloud提供一個快快速方法去使用Omniverse，不需要如大企業才能有的資源去自行搭建硬件設施。
在Demo之中，參與合作的其中一位是Toy Jensen，它是Omniverse中的一個Avatar，一個有語言能力及智慧，就如企業內的其中一個員工去參與設計。（同樣地，各種Omniverse Avatar可以成為一個獨立個體，去幫助公司營運，提供客戶服務，解答客人問題，落訂單，協助醫療診斷等）
由於内容太多，以下在Omniverse平台上的應用，另外有文章分享。
由GPU晶片，到Server，到CUDA系統軟件，到Omniverse平台，到應用框架，Nvidia一步一步的實踐出來。
如果今天仍然用晶片設計公司的角度去研究Nvidia，明顯是不合時宜，甚至可能得出一個錯誤的理解。
Omniverse Avatar - Toy Jensen的Demo可以見到Nvidia擁有的多種AI技術優勢，加上强大的整合能力，可以做出一件實際應用的產品。可以比較一下Intel和AMD，在提供AI解決方案的能力實在相距太遠。
Nvidia Omniverse給大家的元宇宙理解，現實世界和虚擬世界的延伸為Digital Twin的關係，在企業營運中去實踐AI的功能，是遠遠超過Meta（改名前，Facebook）的元宇宙視野，比較偏重在社交、娛樂、遊戲等，個人換上一個角色。
2021年見到Porfessional Visualization（包含Omniverse）收入基數小，但按年增長加快，+100%。（參考：NVIDIA 2021 Q4 業績，看發展進程，PROFESSIONAL VISUALIZATION (OMNIVERSE)）
看Nvidia GTC (2022/3月) Keynote，顯示Omniverse是未來一個重要發展。
- Nvidia GPU的銷售，只有Nvidia GPU可以執行Omniverse
- Omniverse OVX Server的銷售，度身訂造作為執行Omniverse
- Omniverse Cloud，可以帶來持續的收入
- Omniverse Software License，由100 USD per year（一個用家）在到9,000 USD per year （Workgroup，16人有不同角色）
Nvidia已經擁有在AI和圖像處理的技術優勢，要驗証Jensen說的下一波AI革命是Robotics機械人技術，看看Omniverse是否可以為Nvidia帶來高速增長。
最近開了下面的Page / Group，歡迎大家Like和Follow，就可以自動收到文章更新。
Facebook
https://facebook.com/duncaninvest
Instagram
https://instagram.com/duncannewinvest
Telegram
https://t.me/duncaninvest
謝謝支持！
參考文章
NVIDIA GTC (2022/3月) OMNIVERSE - ROBOTICS 機械人技術，ISAAC 和 METROPOLISNVIDIA GTC (2022/3月) OMNIVERSE - NVIDIA DRIVE 自動架駛
NVIDIA 2021 Q4 業績，看發展進程，PROFESSIONAL VISUALIZATION (OMNIVERSE)
NVIDIA，AMD，INTEL，晶片公司發佈，其實背後想講什麽？
NVIDIA GTC (2021/4月) 總結，未來的產品佈局
NVIDIA DGX SUPERPOD，AI 超級電腦成為一件可接觸的產品
NVIDIA DRIVE AV (AUTONOMOUS VEHICLE) 自動架駛，增長賽道就在前面
感謝Duncan兄分享，Nvidia既AI技術同元宇宙既應用場景好廣闊🧐
ReplyDelete謝謝綠魔
Delete潛力在，等待業績是否反映
謝謝詳細分享, 應用層面愈來愈廣泛, 真心佩服NVDA 一路走來的能力, 未來繼續看好。
ReplyDelete謝謝Ed
Delete真的很強，自己做了一整套生態系統出嚟。
ReplyDelete謝謝RC
Delete這是超出於一般晶片設計公司的做法