林哲聰/工研院機械所
前言
AAAI( Association for the Advance of Artificial Intelligence )為全球人工智慧頂級會議之一。自從2012年深度學習技術取得極大進展後，投入人工智慧開發的研究人員愈來愈多，導致這些頂尖會議的投稿量屢創新高，而實質錄取率則愈來愈低。2020年在紐約舉辦的AAAI-20即創下AI頂尖會議有史以來最高的投稿量；總投稿論文數達8,843篇，在尚未給審稿人審稿前，大會就已直接拒絕1,106篇論文，實際進行到審稿階段的文章共有7,737篇，錄取文章1,591篇，錄取率約20.56%。若考慮第一階段就已被刷下的1,106篇，實際錄取率則為17.99%。
一年一度登場的AI頂級會議參與人數愈來愈多，但很多與會者其實並沒有投稿論文，而參與者參加會議的主要目的在於增廣見聞。比如本次AAAI的大會演講邀請到2018年獲頒圖靈獎的深度學習三巨頭-Geoffrey Hinton, Yann Lecun及Yoshua Bengio蒞會演講，而後兩人並在今年成為AAAI Fellow，很多人參與會議最期待的就是能親自聆聽這三位巨頭發表的最新研究，甚至提問問題。此外，許多深度學習一級研究作戰單位也都會來參展，包括IBM, Google、Facebook、Adobe及Baidu等。
AI趨勢
本屆AAAI蒞會三巨頭之一的Yann Lecun給出的演講主題是”AI的趨勢介紹”，他對於各種學習方法有一個很經典的比喻，那就是用一塊蛋糕的不同部位來類比學習過程的資料量。例如，Google DeepMind所推崇的Reinforcement Learning(強化學習)就好像一塊蛋糕上的櫻桃，因為強化學習所需要的標記極少就可以學會複雜的任務；監督學習就好像蛋糕上的奶油，數量稍多，也就是這樣的學習需要許多標記資料; 自監督學習就好像蛋糕整體，給定蛋糕任何被觀察到的部位，這樣的學習都能預測出其它的部位，而這樣的資料量理論上極多，只是都沒有標記。
Yann Lecun基本上不覺得強化學習能解決真實世界的問題，因為強化學習基本上雖能學習執行特定任務，例如AlphaGo已經在圍棋戰勝人類，Deep Q-Learning可以攻破Atari的每個遊戲，但這樣的學習往往建立在需要有一個可大量試誤的環境。例如人類玩Atari十五分鐘所能達到的表現，強化學習需要一百個小時的訓練時間，然而，真實世界並不存在這樣的訓練方式。例如給Deep Q-Learning學習控制一台車，我們無法接受透過不斷翻車來學習，因為每翻車一次的成本是相當巨大的。相反的，人類其實不需要這麼多的訓練資料。例如一個嬰兒在七個月大左右即已經瞭解重力，而他並不需要重覆看到物體掉落才能學會這樣的概念。事實上，嬰兒一周歲內所能學習到的許多概念，如圖一所示，其實現有AI的模型仍然難以達到。
圖一、嬰兒於一周歲內將會學習到的能力
Yann Lecun認為，自監督學習才是未來的趨勢。例如自然語言處理(Natural Language Processing)，從2018年以來突飛猛進的一個原因是運用了填滿空缺(Filling the Blanks)這樣的概念而提出了BERT (Bidirectional Encoder Representations from Transformers)。這個模型的訓練方式是屏蔽一段文章中15%的文字，如圖二所示，BERT的訓練方式是要求它能預測成功這遺失的15%文字，而這樣的訓練方式並不需要任何的標記資料。
圖二、BERT屏蔽訓練資料的訓練方式
同樣的概念運用在電腦視覺，以影像修補(Image Inpainting)為例，就是在一張照片中屏蔽一部份的像素，並期待模型能成功修補回原始影像。這樣的應用在這幾年來受惠於生成式對抗網路的進展而突發猛進。如圖三所示，在2017年的修補結果已經相當好，同樣的，這個網路的學習過程中不需要任何人工標記資料。
圖三、影像修補的進展
運用生成式對抗網路在人臉生成上亦有重大的進展。例如從2014年到2018年的四年間，人臉生成的品質有大幅的提升，如圖四所示，2018年底NVIDIA所推出的StyleGAN已經能產生非常真實的人臉，此項研究的主觀式評定分析結果指出，一般人已經無法察覺這樣的人臉是自然生成的。
運用相同的技術，行車車輛亦可自動生成。例如圖五，運用這樣的方式生成行車影像，我們等同於可以從任何行車影像中自動生成車輛偵測的標記資料。
AI熱門議題 — 對抗攻擊
針對對抗攻擊(Adversarial Attack)這個熱門主題，本次大會請到的演講者是世界級專家，加州大學柏克萊分校(University of California, Berkeley)的Dawn Song教授。事實上，對抗攻擊這個名詞是由Google AI裏的Christian Szegedy所帶領的團隊在2014年創造的名詞，這個團隊的成員還包括了生成式對抗網路之父---Ian Goodfellow。對抗攻擊一開始的主要發現是 ---以上為部分節錄資料，完整內容請見下方附檔。