蘇建維 / 工研院電光所
前言
全球學術界和企業界皆公認的積體電路設計領域最高級別會議，被認為是積體電路設計領域“世界奧林匹克大會”的International Solid-State Circuits Conference(ISSCC)，2023年大會共收到629篇論文，最終有198篇入選，收錄率31.4%，台灣有23篇入選。
Computing in Memory (CIM)
記憶體內運算電路是指在內存存儲器中執行運算，以減少數據在內存和中央處理器之間的傳輸次數和延遲，從而提高運算效率和節省能源(圖一)。在Session-7.1亮點論文中，探討到目前記憶體電路遇到的三個挑戰：①. 前瞻的人工智慧邊緣裝置需要高能效且高推論精準度。目前的記憶體內運算電路雖已經有很好的精準度，但沒有真正支持浮點數運算的功能；②. 在浮點數運算中有不同的指數項乘加，因此在實際陣列運算時，需透過外部數位電路對齊處理才能進行乘加，目前沒有記憶體內運算電路可實現指數項的對齊；③. 記憶體內運算電路有分為類比和數位的作法，類比的作法具有高平行度，但在讀取電路會有製程變異的影響，數位的作法具有低製程變異，但卻受到繞線的影響，降低平行度。
這篇論文有四項特色來解決上述遇到的挑戰，如圖二所示：①. 支援指數項和小數項的混合型架構，採用時域、類比、數位各項優點來整合；②. 在指數項的乘積使用時域的方法來操作，其中指數項乘積的最大值尋找器和指數項乘積的最大值產生器來實現高能校的指數運算；③. 在同一個行可實現基於指數乘積的輸入小數項對齊架構；④. 密次方相依的類比數位混和計算用於小數項的計算來實現高能校表現。如圖三晶片特性總表，最終本篇SRAM-CIM論文採用22奈米製程、832 Kb容量、128累加數，來實現16位元的浮點數運算，最高能量效率達70.2 TFLPS/W。
圖二、浮點數記憶體內運算架構
Machine Learning and AI
記憶體內運算將計算存取到內部儲存空間以減少和數據搬移，以及之前的記憶體內運算作品在巨集層面展示了高能效。對於端到端的處理器、專屬電路和架構需要在系統級保持能源效益。本次會議使用的新技術為系統級處理器，基於SRAM/eDRAM/ReRAM 的 CIM 巨集的進展，例如： 混合/可重構計算架構、稀疏感知硬體設計、記憶體內運算利用率改進和 AI 模型的制定與優化。
圖四中顯示機器學習推論中能量效率(TOPS/W)和吞吐量(TOPS/mm2)，從能量效率來看，在8bit和4bit 的精準度上，從2022年到2023年有著10倍的差距提升，在面積效率來看，從4 bit、8 bit和16 bit的精準度上，也有將近10倍差距的提升，主要歸功於高整合度的系統整合和先進的製程技術節點。
圖四、2023年機器學習推論的能量效率(TOPS/W)和吞吐量(TOPS/mm2)
Non-Volatile Memory (NVM)
嵌入式非揮發記憶體包含： PCM(Phase Change Memory)、FeRAM(Ferroelectric Random-Access Memory)、MRAM(Magnetoresistive Random Access Memory)、ReRAM(Resistive Random-Access Memory)。
圖五中，顯示2023年度各種記憶體容量的趨勢圖，每一種記憶體容量有相當大的躍進，分別是NAND Flash的1.67 Tb、ReRAM的32 Gb、PCM的8 Gb、MRAM的4 Gb、FeRAM的128 Mb。
圖六中，顯示2023年度NAND Flash密度趨勢圖，NAND Memory一直朝向高密度、低功率消耗、高性能的方向發展，在傳統3D TLC Flash Memory，有著寫入速度194 MB/s和讀取速度34 μs，以及大於20 Gb/mm2的陣列密度。另外，PLC(5 b/cell)有23.3 Gb最高的陣列密度，並超過300層字元線堆疊的技術。
圖五、2023年非揮發記憶體容量趨勢圖
Plenary
1. Innovation for the Next Decade of Compute Efficiency (Dr. Lisa Su and Samuel Naffziger)
在ISSCC 2023會議中，AMD的CEO Lisa Su詳細談論了CPU和GPU效能以及性能的趨勢，並根據過去十年的性能趨勢指出，每2.4年主流伺服器性能將提高2倍，GPU的情況也是如此，它們的性能每2年左右提高2倍，如圖七。她還展示了AMD的下一代產品- AMD Instinct MI300，該產品採用了CPU/GPU核心3D推疊技術，如圖八，並與記憶體互相連接的2.5D整合，預計在2025年可以提高30倍的效率。值得一提的是，未來產品還會採用PIM(Processing-In-Memory)的設計如圖九，以更緊密地結合計算與記憶體，預計將減少超過85%的能量消耗。隨著大量訊息高速傳遞的時代來臨，傳統的銅導線連接訊號將逐漸落後，因此光通訊晶片成為未來的趨勢，AMD已規劃採用 ---以上為部分節錄內容，完整資料請見下方附檔。
圖八、計算單元與記憶體整合技術