ChatGPT 背後的科技 (1) 背後使用什麼晶片？

網上熱烈討論的 ChatGPT，未有時間試玩，當知道有地區限制，例如要透過使用VPN，提不起興趣。

研究一下，當是科技知識，知識同時可能代表投資機會。

聲明：本文章不是投資建議。

Generative AI 生成人工智能

ChatGPT是OpenAI的出品，另外較早前的出品DALL·E（生成Digital Image），這些都是Generative AI 生成人工智能的例子。AI訓練是透過觀察分析極大量的文字或圖像的例子，訓練得到的結果，令到具有能力去基於收到每一個新的要求，去創造生成新的回應。

ChatGPT為你解答

Fierce Electronics就向ChatGPT發問，描述ChatGPT是怎樣的計算基礎設施 (Compute Infrastructure)，得到的答案：

“ChatGPT is a machine learning model that runs on a distributed compute infrastructure, which typically consists of a cluster of powerful servers with multiple GPUs (graphics processing units) for parallel processing.

“ChatGPT 是一種在分佈式計算基礎設施上運行的機器學習模型，該基礎設施通常由具有多個 GPU（圖形處理單元）的強大服務器集群組成，用於並行處理。

“The specific hardware and vendors used to train and run ChatGPT may vary depending on the implementation, but it is commonly trained on NVIDIA GPUs, as they are widely used for deep learning due to their high performance and CUDA support. Additionally, some cloud computing platforms such as AWS, GCP, and Azure provide the infrastructure to train and run large deep learning models like ChatGPT.”

“用於訓練和運行 ChatGPT 的具體硬件和供應商可能因實施而異，但它通常在 NVIDIA GPU 上訓練，因為它們因其高性能和 CUDA 支持而被廣泛用於深度學習。此外，AWS、GCP 和 Azure 等一些雲計算平台提供了訓練和運行大型深度學習模型（如 ChatGPT）的基礎設施。”

以上是ChatGPT提供的答案，不是OpenAI提供的官方答案，請自己衡量其精確性。

（參考：ChatGPT runs 10K Nvidia training GPUs with potential for thousands more | Nvidia to Win Big From ChatGPT Hype, Wall Street Predicts）

科技的底層

Nvidia的主打，GPU + CUDA不是新鮮事，在AI運算有優勢。（參考：NVIDIA : I AM AI）

根據UBS分析師 Timothy Arcuri 的說法，ChatGPT 使用了 10,000 塊 Nvidia GPU 來訓練。

10,000 粒 GPU 是什麼概念？

早前Microsoft和Oracle分別宣佈建立Cloud AI Supercomputer，使用到Nvidia 高楷AI GPU晶片A100，或之後而來新的H100，涉及以萬計晶片 (“tens of thousands”）這個字眼。是10,000 - 99,999之間range的準確數字，就不得而知。Microsoft和Oracle是Cloud service provider，是服務背後的廣大客戶，OpenAI的ChatGPT是單一個Application，規模之大是可想而之。（參考：當 AI 遇上雲計算，NVIDIA 和 MICROSOFT / ORACLE 合作的 DEAL）

以USD 13,999 為 Nvidia A100 Tensor Core 80GB GPU 在網上找到的Unit Price。

13,999 USD x 10,000 = 1.4 億美元（140 million USD）

華爾街有分析認為Nvidia會是其中的得益者。使用ChatGPT的人越多，OpenAI就需要更大的算力去回應收到數百萬計的問題。2023年1月，Microsoft表示以100億美元投資OpenAI，這些資金可以用作提高算力，等於增加Nvidia GPU的需求。Citigroup估計，ChatGPT 使用量的快速增長可能會在 12 個月內為 Nvidia 帶來 30 億至 110 億美元的銷售額。

ChatGPT提供的答案中，還提及了Cloud的三大龍頭：Amazon AWS、Microsoft Azure、Google GCP (Google Cloud Platform)。

AI和Cloud在我的blog中寫過多次，關於晶片和Cloud / Data Center，自然又會想到半導體產業鏈，自然TSM和ASML不會缺席。我相信AI是其中一大驅動半導體行業增長的持續因素，看看Nvidia自2016年的增長就是一個很有代表性的例子。（參考：ASML INVESTOR DAY 2022，未來半導體行業是危？是機？）

思考

這個純粹是炒作？還是真正的價值？這裏不作結論。

ChatGPT在短時間之內的爆紅，一個星期就得到百萬計用家，兩個月後用戶突破 1 億，甚至令到系統down機。用家和ChatGPT的互動是透過日常使用的語言 Natural Language，這一種方式是最自然，最容易被人受落，是電腦遷就人溝通的方式，不是人去遷就電腦Technical操作的方式。而且它和過去用過一般Chatbot不同，例如：淘寶客服Chatbot，使用體驗極差。ChatGPT是真正近距離去體驗AI的能力，是Generative AI的能力，一種如同創造的能力，而且不是5-10年的憧憬，現在見到執行的效果，立竿見影，可以直接關連到實際應用，可以寫文章，寫Program，通過考試等，人類工作被取代不是天方夜譚。

Microsoft如果把ChatGPT融入到軟件之中，就好像一個秘書小姐／助手，為你處理或者簡化文書工作。（例如：Office - Word，幫我打一封請病假信）

真正的價值創造，是來自於有實際的應用場境。

ChatGPT是否必定跑出？不一定。不過作為一個案例case，反映這種AI科技的成熟程度和實際應用的可行性。上文提到的半導體和Cloud，相對有更大的確定性，是底層的技術，即使對於其他的AI工具都是必需，已經發展了一段時間，有清晣的護城河和Business Model，有實在的盈利基礎，或者甚至是勝負已分。

2023上半年，估計仍然是半導體的去庫存及下行週期，這一個因ChatGPT而起的現象，會不會預視AI成為行業下一個成長的wave？又或者幫助或加快市場復甦？

ChatGPT中的「GPT」，是Generative Pre-trained Transformer，在2021-2022年我在blog中分享過Nvidia的文章有一點關係。（參考：CHATGPT 背後的科技 (2) AI 算力需求的大戰）

下次再談。

《AI 投資時代．真的值得參與嗎？》

主題和内容 | 發售資料

《科技戰國．尋找科技價值投資的故事》

主題和内容 | 發售資料

下面的Page / Group，歡迎大家Like和Follow，就可以自動收到文章更新。

Facebook

https://facebook.com/duncaninvest
Instagram
https://instagram.com/duncannewinvest
Telegram
https://t.me/duncaninvest
謝謝支持！

參考文章

分餅仔，半導體公司 ASML / TSM / AMD / INTEL (2022/Q4)

ARM 可能不授權阿里巴巴使用 NEOVERSE V 晶片設計，NEOVERSE 有何重要性？

ASML INVESTOR DAY 2022，未來半導體行業是危？是機？

當 AI 遇上雲計算，NVIDIA 和 MICROSOFT / ORACLE 合作的 DEAL

談談 NVIDIA，禁止出口到中國

NVIDIA GTC (2022/9月) ，NVIDIA 仍然是 NVIDIA，只是做回自己

如何看 NVIDIA 的長線發展？

NVIDIA : I AM AI

台積電從高位下跌了 -41%，之後（補充）

台積電從高位下跌了 -41%，之後

這個時候，仲講科技股？

看台績電業績，高性能計算 HPC (HIGH PERFORMANCE COMPUTING)

台積電，半導體時代的王者

半導體系列 (1) 半導體產業鏈

半導體系列 (2) 半導體時代，這次不一樣，THIS TIME IS DIFFERENT ?

半導體系列 (3) 半導體行業的改朝換代