有一個元宇宙，叫 Nvidia Omniverse

最近美股不穩，感覺市場情緒冷卻了一下，這是更好的時間看看Nvidia的Metaverse元宇宙解決方案。

對於未知的未來世界的憧景，建於互聯網的平台之上，各公司有不同的元宇宙，建構出一個整體的元宇宙，由一個元宇宙無縫地進到另一個元宇宙，就如今日在一個website一click可以去到另一個website這樣方便。

上一次，Nvidia在2021年4月的GTC講解了Omniverse的內容，這是Nvidia的元宇宙方案，當時市埸對於元宇宙的注意力和熱烈程度當然不及現在。（參考：GTC Spring 2021 Keynote with NVIDIA CEO Jensen Huang）

今次是2021年11月Nvidia GTC的Update，有更多更深入的內容是Nvidia Omniverse的應用，Nvidia要給予大家知道，公司擁有的不是一份設計圖，已經是一件看得到可以使用的產品。（參考：GTC November 2021 Keynote with NVIDIA CEO Jensen Huang）

了解背景

我見到網上文章提及，比較Facebook (Meta)和Nvidia的元宇宙方案，指Facebook (Meta)所建造的是真正的元宇宙，而Nvidia Omnoverse只是類似一個工具去設計和建立元宇宙的內容。

我有不同看法。

我們在媒體上接觸到對於元宇宙的認知，較多是著重：遊戲，社交，娛樂等，偏向年輕人沉浸式體驗的網上虛擬3D世界，其次最多是開會之類於工作的應用。

Nvidia Omniverse這個解決方案，視野著重是專業應用，應用場景是更為覆雜和多變。建構出不單是虛擬世界，而是虛擬世界和現實世界所組成的Digital Twins，兩個世界之間的互動和關連，為企業用戶解決問題，去創造價值。

Nvidia Omniverse主要包括三大功能：Design Collaboration（設計合作），Robotics Factory（機械人工廠），Simulation（模擬）：

• Design Collaboration - 提供虛擬環境，不同的Designer可以連接去一起創作。如果設計是一件虛擬物件，就可以在元宇宙之中使用（無論是Nvidia的元宇宙，或者是其他公司的元宇宙）。如果設計是一件現實物件，完成的設計就可以拿去工廠之中生產。

• Robotic Factory - 提供虛擬環境，機會械人可以進行AI訓練，甚至包括在現實中比較難遇上，危險，或極端的情況，學習得到的能力，然後在現實環境中去完成工作。

• Simulation - 提供虛擬環境，可以讓用戶預先模擬或實時監察，如遇上問題，甚至遙距控制一個機械人，自動架駛車等。

CUDA 和 Omniverse

有留意我的Blog的朋友，應該見到我經常提及Nvidia CUDA，這個Software Library所建造出的生態系統是公司重要資產。CUDA內有精細的行業應用分門別類，當開發者和用戶數目不斷增加，就會不斷強化。最後世界上的元宇宙如何演變，還有規模是如何大，沒有人可以準確預測，不過各公司如果想去加入建造元宇宙，CUDA提供的生態系統是一個十分有利的工具。

現在CUDA包括150個SDKs，涉及行業包括：遊戲，設計，生物科學，地球科學，AI，網絡安全，5G，機械人等。2021年GTC就加入了65個SDKs或更新。

過去15年，CUDA被download了3000萬次，過去一年就download了7百萬次。

現在CUDA的開發人員有約300萬，在過去五年增加了6倍。

虛擬Digital Twin的例子

虛擬貨倉是一個Omniverse的應用例子，目標是優化物流，原本舊有系統需要使用數小時去計算出處理新訂單，Nvidia ReOpt可以做到實時計算及優化貨流，處理不斷加入的新訂單。

優化後，物流的距離可以減低一半，物流的時間都可以減低一半。

Omniverse模擬Digital Twins，例如：貨倉，工廠，5G邊緣，機械人，自動架駛車，Avatar等。

令到Omniverse可以實現，不可缺少的技術包括：圖像，物理學模擬，物料模擬，AI等。Nvidia的平台和CUDA Software Libeary提供支援的基礎技術。

Nvidia Earth-2 Supercomputer

這是一個仍然在建造中的元宇宙應用，Digital Twins是模擬地球本身，希望透過長時間串流的地球數據，去預測氣候變化。

用過去的系統的一個需要7天時間的模擬工作，在Nvidia GPU可以用0.25秒完成，速度快了100,000倍。

Omniverse的3D世界

現今我們使用的Internet主要是2D世界，包括：文字，聲音，影像，Video等。

元宇宙可以造成是一個3D世界，或者是一個現實世界的模型，乎合物理翳定律，在其中可以互動，可以交易，買賣虛擬3D物件，例如：土地，建築，藝術品，就如同我們現在購買虛擬2D物件如音樂，電子書。

透過Nvidia Omniverse，創作者可以建造虛擬世界，可以用來作為聚會，遊戲等用途。

Omniverse是一個平台，可以連接不同公司設計軟件的環境，例如：Adobe，Autodesk，不同設計師可以合作去參與設計，任何一個設計師做出的更新，就會自動同步讓其他設計師實時看到，效果如一個Cloud Shared Document的3D Design。

企業可以利用Omniverse建造虛擬工廠，然後加入機械人在其中運作，機械人和工廠都有Digital Twin在現實世界之中。現實世界的Digital Twin可以先行在通過虛擬世界的Digital Twin去進行設計，AI訓練。虛擬世界可以作為一個持續監察系統，去監察建築物，工廠，貨倉，自動架駛車等，或當遇上問題去進行遙距控制。

Omniverse 組成部分

Nvidia發放了最新的Omniverse Update，包括以下：

• Showroom - Omniverse App的示範和樣本，顯示Omniverse的核心技術，圖像，物理學定律，物料，AI等。

• Farm - System Layer系統層，協調和控制batch jobs，不同系統，電腦，servers等的運算，例如：圖像渲染，AI數據生成，分散式計算。

• AR - 把圖像串流至手機和AR 眼鏡。

• VR - 世界首個可以做到Full Frame的互動Ray Tracing VR。

自從2020年Omniverse推出，已經被download了70.000次，其中包括約500間企業。

企業員工或Community成員可以各自開發Omniverse Connector，做到持續發展。現在已經有14個Connector，另有15個Connector快將推出。

Bentley - iTwin

Bentley是一間世界知名的基建工程軟件公司，Bentley的軟件功能包括設計，製作模型，模擬全球大規模基建Project，包括：道路，橋樑，鐡路，運輸系統，機場，海洋港等，全球的最頂尖250間工程公司，有90%使用Bentley軟件。

Bentley是首間第三方公司，在Omniverse平台上開發應用套裝軟件，名為iTwin，利用3D模型，在工程完成後可以監察基建，達到優化功能。iTwin有約200萬用戶。

Siemens Energy

Heat Recovery Stream Generators (HRSG)透過熱的氣體推動燃氣渦輪發動機去發電，機件內有機會發生腐蝕，需要檢查及作出維修。

HRSG 腐蝕問題涉及多種科學現象，包括：氣體流動，化學等，Siemens利用Nvidia Omniverse加上Nvidia Modulus Physics-ML Framework，可以建造出Digital Twin，可以準確預測腐蝕形或，減少定期檢查的時間和unplanned down time約70%。如果每減少5-7days，每年可以節省大約2 Billion USD。

BMW

BMW大約每分鐘生產一架車，其中涉及25,000件零件。工廠車間任何一個時間內，在管理5百萬件零件。

GTC Spring（2021年4月），BMW展示Rogensberg車廠的Digital Twin。現在已經擴展至多3間車廠，1000萬平方米面積，工程師使用Nvidia Isaac Gym在Omniverse平台上，利用虛擬方式進行機械人AI訓練。BMW使用Omniverse持續在車廠擴展及未來新計劃建造勢頭。

為達到持續改進和創新，提升效率和應變速度，BMW利用Omniverse去模擬覆雜和多變生產過程，以作出最快的關鍵決定。BMW和合作夥伴連接新用家和新工具去擴展Omniserse的生態系統，涵蓋未來車廠的每一個方面，模擬大至整間車厰層面，精細至綜合工程層面。

Ericsson

未來五年，Ericsson將會在全球建造1500萬個5G設施（microcell和tower plant），利用Nvidia Omniverse去做出Digital Twin城市模型，包括建築物物料，植被等，去準確模擬城市的環境，去設計建造5G設施的位置和設定，目的是達到最好的覆蓋和網絡表現。如此加可以增加工作效率去設計出可靠的網絡，遙距進行遠場試驗，加快部署設施。

Omniverse模擬物料的高度精细程度，去確保計算出的反射強度，天線波束成形，訊號路徑，可以準確地模擬效果及視覺化表達。

網絡工程師透過Omniverse VR，可以用虛擬方式去探索網絡上的任何位置，用遙距控制去改動網絡的設置，實時見到改動的效果。

Maxine - Nvidia Omniverse Avatar

Maxine是一個Avatar平台，有許多不同應用，例如：Customer Service，開Live，Video Conference，遊戲角色等。

背後涉及多種覆雜AI和圖像技術整合，包括：語音識別，語言理解，語音合成，NLP (Natural Language Processing)，Ray Tracing等。此技術可以造出純虚構或模擬真人的效果，是其中一個打造未來元宇宙的必要技術。

Maxine可以有的不同執行模式，Autonomus或者是Teleoperated，Artistic或者是Realistic Mode，以下是應用例子。 

自動，藝術化模式 (Autonomus, Artistic Mode)

Project Tokkio是一個Talking Kiosk（談話小食亭），影像是一個Animated Robot，用對話形式幫助顧客下食物訂單，高度互動，甚至包括eye contact效果。

遙控，真實模式 (Teleoperated, Realistic Mode)

應用的例子，包括：Customer Service，Video Conference等。

系統可以實時把英語說話或文字轉換為多國語言（德語，西班牙語，法語，俄語，普通話），然後透過3D Animation顯示出角色影像，觀眾看到極度像真的影像其實是電腦合成，視乎每個觀眾的Language Setting，看到及聽到不同的影像和語言。

例如講者眼向下望注視讀稿上文字，電腦合成影像可以轉換成為眼望著觀眾，達到eye contact效果。

Toy Jensen

Toy Jensen，它是卡通化的Nvidia Avatar，在GTC的示範中，影像是電腦合成，和多人對話去一一解答問題，內容不是一般Customer Service查詢，而是極度專門，包括：Climate Change（氣候變化），Amino Acid / Protein，Exoplanet（太空）等科學相關問題。

Nvidia未來前景

凡是投資，不可以只是一面倒看得太過完美。

如果全球繼續朝著憧景中的元宇宙發展，需求很吸引，不過沒有很多企業或個人使用Nvidia Omniverse平台，而是使用其他公司建造的元宇宙平台，元宇宙本質上仍然是Heavy Graphic和Heavy Data Center的運作。Nvidia的GPU去支援圖像和AI技術，有市佔龍頭的優勢（現在有25,000間公司使用Nvidia運算去處理AI），還有加上Nvidia的3 Chips Company視野，GPU + DPU + CPU去攻入Data Center市場，仍然是一個十分值得關注的發展方向。

看看業績，Omniverse的收入是歸入Professional Visualization之下：（這是我的理解，如果大家有不同的資料，請指正）

• 2016年至2020年／Q1 + Q2 + Q3，四年之間，收入增長 = (307+203+236) / (189+214+207) = 746 / 421 = +77%（平均每年複合增長大約+15%）

• 2020年至2021年／Q1 + Q2 + Q3，一年之間，收入增長 = (372+519+577) / (307+203+236) = 1468 / 746 = +97%

Professional Visualization基數仍低，不過今年明顯見到此項收入增長大幅度加速，Nvidia Omniverse不是一份在空中樓閣中的設計圖，是虛擬世界結合現實世界的應用，在GTC看到多個大型客戶的實際應用Case Study。Nvidia自家建造平台，包括：的Isaac Robotics（機㭜人），Drive AV（自動架駛），Clara Holoscan（醫療），都是Omniverse的應用例子。

過去五年，Data Center産品經歷爆發性增長，成為Gaming之外的另外一個收入支柱，還看下個五年的Professional Visualization。

參考文章

NVIDIA，AMD，INTEL，晶片公司發佈，其實背後想講什麽？

NVIDIA GTC (2021/11月) 速報

NVIDIA GTC (2021/4月) 總結，未來的產品佈局

NVIDIA DGX SUPERPOD，AI 超級電腦成為一件可接觸的產品

NVIDIA DRIVE AV (AUTONOMOUS VEHICLE) 自動架駛，增長賽道就在前面

NVIDIA OMNIVERSE，一個指向 METAVERSE 元宇宙的實現

NVIDIA GRACE CPU，在數據中心的晶片之戰

NVIDIA TAO，不只是一間晶片公司的AI 競爭優勢

NVIDIA : I AM AI