70年的人工智慧研究最大的教訓是，利用計算的通用方法最終是最有效的，而且差距很大。這背後的根本原因是摩爾定律，或者更準確地說，是計算單位成本持續指數級下降的泛化。大多數人工智慧研究都是在假設代理可用的計算量是恒定的情況下進行的（在這種情況下，利用人類知識是提高性能的唯一途徑之一），但在略長於典型研究項目的時間裡，大量更多的計算能力不可避免地會變得可用。研究人員尋求在短期內尋找改進，試圖利用他們對領域的人類知識，但從長遠來看，唯一重要的是利用計算。這兩者不必相互對立，但實踐中它們往往如此。在其中一個上花費的時間就是沒有花在另一個上的時間。人們對於投資這種或那種方法有心理上的承諾。而且，基於人類知識的方法往往以使方法複雜化的方式使其不適合利用利用計算的通用方法。回顧一些最突出的人工智慧研究者晚來的這個苦澀教訓的例子是有啟示性的。
在電腦國際象棋中，1997年擊敗世界冠軍卡斯帕羅夫的方法是基於大規模、深度搜索的。當時，這被大多數追求利用人類對國際象棋特殊結構理解的電腦國際象棋研究者們以失望的眼光看待。當一個更簡單、基於搜索的方法配合特殊硬體和軟體證明遠遠更有效時，這些基於人類知識的國際象棋研究者並沒有好好接受失敗。他們說，"暴力"搜索這次可能贏了，但它不是一種通用策略，而且無論如何這不是人們下棋的方式。這些研究者希望基於人類輸入的方法獲勝，並對它們沒有獲勝感到失望。
在電腦圍棋研究中，出現了類似的研究進展模式，只是延遲了20年。巨大的初期努力投入到避免搜索中，通過利用人類知識或遊戲的特殊特性，但所有這些努力一旦在規模上有效應用搜索後，都證明是無關緊要的，甚至更糟。同樣重要的是利用自我對弈來學習價值函數的使用（就像在許多其他遊戲中一樣，甚至在1997年首次擊敗世界冠軍的程式中的國際象棋中，儘管學習在那個程式中沒有扮演重要角色）。通過自我對弈學習，以及一般的學習，就像搜索一樣，它使得可以利用大量的計算。搜索和學習是利用大量計算進行人工智慧研究的兩個最重要的技術類別。在電腦圍棋中，就像在電腦國際象棋中一樣，研究人員最初的努力是朝著利用人類理解（以便減少搜索的需要）方向發展，只是在很晚之後，通過擁抱搜索和學習，才取得了更大的成功。
在語音辨識中，1970年代由DARPA贊助的一次早期競賽中，包括了許多特殊方法，這些方法利用了人類知識——對詞彙、音素、人類發聲道等的知識。另一方面，更加統計性質的新方法進行了更多的計算，基於隱瑪律可夫模型（HMMs）。同樣，統計方法勝過了基於人類知識的方法。這導致了自然語言處理領域的一次重大變革，這一變革在幾十年的時間裡逐漸發生，其中統計和計算開始主導該領域。語音辨識中深度學習的最近崛起是這一持續方向中的最新一步。深度學習方法依賴更少的人類知識，使用更多的計算，結合在巨大訓練集上的學習，產生了戲劇性地更好的語音辨識系統。就像在遊戲中一樣，研究人員總是試圖製作工作方式與研究人員認為自己的大腦工作方式相同的系統——他們試圖將這種知識放入他們的系統中——但這最終證明是適得其反的，當通過摩爾定律，大量的計算能力變得可用，並且找到了將其有效利用的方法時，研究人員的時間被浪費了。
在電腦視覺中，出現了類似的模式。
早期方法將視覺視為尋找邊緣、廣義圓柱或SIFT特徵的過程。但今天，所有這些都被拋棄了。現代深度學習神經網路僅使用卷積的概念和某些類型的不變性，並且表現得更好。
這是一個重要的教訓。作為一個領域，我們仍然沒有徹底學到它，因為我們繼續犯同樣的錯誤。要看到這一點，並有效地抵制它，我們必須理解這些錯誤的吸引力。我們必須學習這個苦澀的教訓，即構建我們認為自己思考的方式不會在長期內起作用。苦澀的教訓基於歷史觀察，即(1)人工智慧研究者經常試圖將知識構建進他們的代理中，(2)這在短期內總是有幫助的，並且對研究者個人來說是令人滿意的，但(3)從長遠來看它會達到瓶頸，甚至阻礙進一步的進展，(4)最終取得突破性進展的方法最終是基於通過搜索和學習擴展計算的相對立方法。最終的成功帶有苦澀，並且往往沒有完全消化，因為它是在優先考慮的、以人為中心的方法上取得的成功。
苦澀的教訓中應該學到的一件事是通用方法的巨大力量，這些方法即使在可用計算量變得非常大時也繼續擴展。似乎可以任意擴展的兩種方法是搜索和學習。
苦澀的教訓中學到的第二個一般性點是，心靈的實際內容是極其複雜的；我們應該停止嘗試找到思考心靈內容的簡單方式，比如關於空間、物件、多個代理或對稱性的簡單方式。所有這些都是任意的、本質上複雜的外部世界的一部分。它們不是應該構建的內容，因為它們的複雜性是無盡的；相反，我們應該構建的只是可以找到並捕捉這種任意複雜性的元方法。這些方法的本質是它們可以找到好的近似，但尋找它們應該通過我們的方法，而不是通過我們。我們希望AI代理能夠像我們一樣發現，而不是包含我們已經發現的內容。構建我們的發現只會使看到發現過程如何進行變得更難。
