Nvidia 未來想像：摩爾定律衰敗、黃氏定律來臨

Jun 05, 2023

Hi 我是 Vicky~

這週，比較有空來好好看完黃仁勳的訪談，沉浸在 CPU、GPU 等，也讓我拿起買很久但都沒認真閱讀 Chris Miller 的《晶片戰爭》。

身為晶片麻瓜的我，沒想到讀起來沒有太大摩擦。每一段的資訊量都高的驚人，很好看。不過看的速度很慢，目前只看了序和前言。

這期的內容，主要以黃仁勳的團訪延伸，穿插今年 3 月他和 Ben Thompson 的訪談、Sam Altman 近期對 OpenAI 產品計畫的想法，以及《晶片戰爭》。

喜歡這期的內容，也歡迎分享給朋友一起訂閱 Vicky's newsletter，祝你今天一切順利！

如何看待未來 AI 未來的發展路徑

黃仁勳認為，可以分成兩個方向來談：應用面的進步（The advance for applications）、行業面的進步（the advance for the industry）。

在應用面，他看好兩個領域可以藉由 AI，來解決這些領域正面臨的難題。
- 人類生物學：這是最複雜的系統，可以透過 AI ，幫助發現治療疾病的新藥物。
- 氣候變遷：這也是一個可以被理解的系統。未來也許可以藉由 AI 來更加理解氣候變遷，而提出相關的解方。
在行業面，他也看好可以應用在兩個領域中。
- 目前只能在雲端服務、AI 超級電腦。但未來將擴展至主流雲，可以將 AI 應用在任何公司中，金融服務、零售公司等行業中。
- 另個則是應用在重工業上。這市場未來可以達到兆美元。像是，汽車、製造業、倉庫、電池廠等。這同時也是，他認為生成式 AI 廣泛應用的下個場域。

黃仁勳提到，「AI 已經在改善日常消費者的生活。」像是，推薦系統，推薦新聞，音樂，影音等，如果沒有 AI，這一切幾乎不可能。畢竟手機太小了，在這手機的背後，網路的資訊是極為巨大的。所有資訊如何進入手機？繞不開個人化推薦。

黃仁勳想像的未來是，將更加個人化的。

目前在手機上，所看到的大部分資訊都是檢索而來的。這背後當然有許多人（或機器）創造和儲存的。

他認為，未來和電腦的每次互動，都不會再是檢索到任何資訊，而是生成資訊。

這為什麼是個新時代的開始？人們所看到的一切、所有的資訊都將在很大程度上是透過生成、增強（augmented）來檢索。在過去，資訊是完全透過檢索而來的。但如今這件事將改變。

如同，黃仁勳在 2023 Computex 的 Keynote 中所言，當今電腦產業面臨兩大根本性的轉變：CPU 時代結束、加速運算來臨。CPU 已經面臨發展的瓶頸，無法再像過去迅速發展。

這趨勢已經結束，我們需要一種新的運算方法。

可以將 AI 模型粗分為訓練、推理階段，若有 80-90% 的時間用在訓練階段，剩下時間則放在推理階段，這代表資料中心（data center）不是資料中心，而是一個 AI 工廠，大量處理 AI。

反過來，想要花更多時間在推理階段上，不僅是用 AI 在推理，更取決於你在推理什麼。可以是推理圖像、文字、蛋白質、影片或動畫。

不同推理，需要不同類型的處理器。在傳統運算中，需要更種不同大小的伺服器，像是 1U，2U，4U 等。但到了，加速運算的新時代，也需要類似的事物，不過是變成多種版本的 GPU。

黃仁勳在 Ben Thompson 的訪談中，回答「Nvidia 在 ChatGPT 之後做了什麼不同的事情？」問題時，提到了類似的想法，也點出兩項觀察：需求增加、交付的急迫性。

關於這點，Sam Altman 也透露 OpenAI 目前正受到 GPU 的嚴重限制，這使得他們不得不推遲一些短期計畫，像是更長的上下文（32K）、 Finetuning API 等，這些大部分問題都來自 GPU 短缺的結果。

黃仁勳很常提到摩爾定律已經放慢速度，或是結束。但身為晶片麻瓜的我，也只知道定律很粗略又模糊的意涵，沒去深挖摩爾定律背後究竟有多厲害。

直到最近讀了《晶片戰爭》，才發現哇塞！晶片應該可以算是世界上最偉大的發明之一。

以 iPhone14 Pro/Pro Max 搭載的 A16 晶片為例，晶片上刻了達 160 億個微小的電晶體。那在 60 年前，一塊先進晶片的電晶體數量有多少？

4 個。

這是 1961 年由快捷半導體（Fairchild Semiconductor）發布的新產品 Micrologic。後來又新增至 12、100 個。

到了 1965 年，快捷半導體共同創辦人 Gordon Moore 發現，當工程師可以做出更小的電晶體時，每個晶片能夠嵌入的元件數量會每年增加一倍、這成長速度可以持續超過十年。（1975 年他修正為每兩年翻一倍）

這也就是為人熟知的摩爾定律（Moore's law），而且這速度已經持續了超過半世紀。

在我搜尋相關摩爾定律的資料時，看到了一個很有趣的定律：Huang’s Law （黃氏定律）。這是《WSJ》技術專家作家 Christopher Mims 命名的。

2018 年的 GTC 上，黃仁勳提到 Nvidia 的 GPU「比五年前快了25倍」。如果按照摩爾定律的速度，預計只會增加十倍。這也突顯了 GPU 技術發展速度真的很快。

黃氏定律描述為 AI 提供動力的矽晶片，其性能將每兩年增加超過一倍。無論是現在，還是未來從臉部／語音辨識，再到自駕車等，都將受益於黃氏定律。

《晶片與科學法案》（ChipsandScienceAct）常聽到，但看了《晶片戰爭》一書的作者序中，才更加了解背後所代表的意義。以下稍加整理：

補貼晶片製造、降低地緣政治風險：2022 年 8 月 9 日，拜登總統簽署《晶片與科學法案》，提撥 520 億美元激勵美國的晶片製造，同時撥出數百億美元投資未來的科學與研發。直接補貼晶片製造透過一系列的補助金與貸款擔保，抵銷建廠的巨額成本。
- 降低地緣政治風險：在台灣與中國以外的地區提供額外的晶片產能，以防戰爭發生。
接受資助，但要選邊站：在《晶片與科學法案》有項規定，任何接受資助的公司，都不得投資中國的製造廠，只有低技術的晶片廠是例外。
- 這代表全球晶片製造商，像是三星、台積電、美光和英特爾等要選邊站：選擇中國，還是美國。多數晶片製造商在中國都有晶圓廠或組裝廠。
維持美方優勢，牽制中國 AI 發展：同年 10 月 7 日，拜登政府宣布對中國晶片業實施「全面的出口管制」，禁止向中國移轉超過特定技術門檻的 GPU。
- 在《晶片與科學法案》和出口管制的夾擊下，中國難以取得先進的 GPU晶片，這牽制了中國在晶片製造力，也阻止中國在 AI 領域的進步。
- 全面出口管制下，阻止了 Nvidia 在中國銷售最先進的晶片。