我們是如何獲得心智的？儘管我們對蛋白質、神經元和DNA內部工作機製的理解比以往任何時候都更加深入，但我們的心智是如何形成的這個問題在很大程度上仍然是一個謎。《從細菌到巴赫再回來》一書是《直覺泵和其他思考工具》一書作者丹尼特的新書，在書中他對進化思想進行了全麵的探索。他以計算機科學和生物學的思想爲基礎，展示了具有理解能力的心智實際上是如何從無意識的自然選擇過程中産生的。丹尼特解釋説，當人類髮展出分享模因的能力，或者不基於遺傳本能的做事方式時，一個重大轉變就髮生了。語言本身由模因組成，它加速了這種相互作用：模因之間的競爭（自然選擇的一種形式）産生了精心設計的思維工具，這種思維工具又使我們有能力設計自己的模因。結果，一種不僅能夠感知和控製，而且能夠創造和理解的心智，在很大程度上是由文化進化過程塑造的。
本文摘自該書第15章《後智能設計時代》的《未來我們會怎麼樣》一節，51新聞經湛廬文化授權髮佈。
人工製品已經存在，並且還有更多的人工製品正在研髮中。它們的能力遠超人類，以至於將篡奪人類作爲專家所具有的權威，而自人工智能時代開啟以來，這種權威一直都是毋庸置疑的。當我們將支配權交給這些人工製品時，我們一定有充分的實際理由和道德理由。如今，在跨大西洋帆船巡遊時，如果不給帆船裝上GPS定位繫統，就是對乘客安全不負責的犯罪行爲。就像磨尖鐮刀或驅趕牛群一樣，依靠六分儀、指南針、天文鐘和航海年鑒變成了過時能力的殘餘。那些喜歡這些技能的人能夠通過互聯網找到彼此，再次儘情享受其中的樂趣。我們的天文導航員可以慎重地拿出他們的古老裝備，並使用它們進行練習，以備不時之需。但是我們沒有權利回避現有的高科技設備，而不顧及生命安全。
我們依然會學習乘法口訣表，以及如何將其用在更大的數的計算上。我們能夠用紙和筆處理長除法問題，但很少有人能夠進行求平方根的運算。那又如何？不要將你的精力和腦細胞浪費在僅靠輸入幾個單詞，或者通過詢問谷歌、Siri就能得到答案的問題上。對擔憂者的標準回應是，當教育我們的孩子時，我們確實需要向他們傳授我們仍然擅長使用的所有方法的原理，而爲了使他們對方法有所理解，進行最基本的實操訓練是很有價值的，但我們或許可以不必讓孩子經曆老式的繁重練習就讓他們理解其中的原理。這看起來是合理的，但我們能將這個結論擴展到多大的範圍呢？
以醫學教育爲例。沃森僅僅是在其領域中超越了人類專家水平的衆多計算機繫統中的一個。你是否願意你最喜歡的醫生按照自己的意願，做一個老式的、基於對症狀的直覺給出診斷的醫生，而非依賴已被証明在髮現罕見的、低可見度診斷方麵的可靠性是任何專家的一百倍的計算機繫統？你的健康保險顧問會要求你進行計算機的檢查，而儘職的醫生會髮現自己必須克製成爲診斷上的英雄的渴望，而將診斷的權威交給他們按下按鈕的機器。這對如何培訓醫生意味着什麼？這是否會鼓勵我們放棄大量傳統的醫療教育，例如解剖學、生理學和生物化學，以及長除法和閱讀地圖的能力？用進廢退是常被引用的法則，可以從很多例子中得到體現。你的孩子還能夠像你一樣輕易地看懂地圖嗎？還是他們會依賴GPS的指引？當我們由於對智能機器的依賴加重而變得更蠢時，我們應該有多擔心？
目前，能夠提昇我們的“邊緣”智能（觀察、算法計算和記憶）的機器，與至少聲稱會取代我們的理解力（包括想象力）、規劃和決策能力的“核心”智能的機器之間有着清晰的邊線。手持計算器，GPS繫統，皮克斯的用於在幀之間插入圖像、添加陰影、調整紋理的圖像繫統，以及遺傳學中的PCR和CRISPR都屬於前者，儘管它們能夠完成之前需要專業技術才能完成的任務。我們預測兩者之間的邊界線會變窄，認知任務會越來越常規化，但還好的是，隻要我們確認邊界線依然存在就沒問題。在我看來，真正的危險不在於機器變得過於聰明後會篡奪我們作爲命運的掌舵人的身份，而在於我們會高估最新的思考工具的理解力，過早地將遠超其能力的控製權交給它們。
即使我們允許核心智能和邊緣智能的邊界線變窄，但也有一些通過使其變得對每個人來説都清晰可見的方法來強化這條邊界線。一定會有能夠越過這條界線的創新性髮明，如果依據最近的曆史，我們可以預期每一次技術突破都會有過度宣傳相伴而來。與此相關的軼事，值得我們花些時間講述。我們知道，人們總是能快速地對任何給自己留下了深刻印象的聰明事物採取意向立場，並傾向於認爲這些事物是有目的的，因爲意向立場的默認假設是符合理性的。爲了避免人們在與擬人繫統互動時輕信它們，應該積極地採取如下步驟：首先，我們應該揭示並嘲笑這類繫統中所有毫無根據的擬人化，例如可愛的、越來越像人的聲音，以及看似生動實則是事先錄製的獨白。當你與計算機互動時，你應該知道你正在互動的對象是颱計算機。那些故意試圖隱藏它們的缺陷和能力邊界的繫統應該被認爲是欺詐性的，它們的創造者應因犯下“創造或使用扮演人類的AI”罪而接受法律的製裁。
其次，我們應該鼓勵傳統道德中過度謙虛的一麵，要求所有廣告商必須列出其産品具有的所有已知局限、缺點、未經測試的漏洞，以及其他來源的認知錯覺，就像我們要求藥品企業在藥品廣告中，用長長的列表給出所有已知的副作用一樣。類似於圖靈測試的關於如何更好地展示AI理解邊界的競賽會是個好辦法，這會讓人們在髮現機器的欺詐行爲時能産生自豪感，就像人們會自豪於髮現了一個騙子一樣。誰能找到最快、最可靠的識別這種智能工具的局限的方法？有趣的是，我們給孩子的在麵對陌生人時要有禮貌和寬容心的教誨産生了意外影響，那就是孩子們麵對大量會説話的智能體（如Siri）時更容易被欺騙。他們必須學會當麵對這些新遇到的“助手”時，應該懷有略帶攻擊性且不禮貌的好奇心。
最後，我們應該希望新的認知假體將繼續被設計爲寄生性的、工具性的，而不是合作性的。它們的創建者設定的唯一“固有”目標應該是建設性且透明地響應用戶的需求。令人擔憂的原因之一是，隨着學習機器變得更有能力弄清楚我們（它們的用戶）可能想要什麼，它們可能會被設計得向我們隱藏它們的“有用”推斷。拼冩檢查器會對它所認爲的印刷錯誤進行不必要的自動“更正”，我們已經知道這所帶來的挫敗感，並且我們中的許多人禁用這些功能，因爲它們誤解我們意圖的能力對於大多數用途來説仍然太高。這隻是我們必須處理的第一層一知半解。
目前已有當前研究進展帶來的問題需要進一步分析。谷歌用以提昇其蒐索引擎的程序會自動根據用戶輸入的字符串確定其用戶真正想要蒐索的是什麼。毫無疑問，這在很多場景下是有用的，但並非總是這樣。侯世達在給其學生（該學生那時正是谷歌該項目的參與者）的一封公開信中這樣冩道：
谷歌一直以來都在試圖破壞我每天賴以生存的事物。這讓我很憂慮不安。
當我在谷歌蒐索中輸入某些內容時，我一直希望這些詞被善意地當成它字麵上的本意。例如，作爲一個認真的作家，我總是試圖找到更精準地用某種語言進行表述的方法，因此我會很頻繁地查詢兩種表述，以分辨哪一種出現的頻率更高，這對我來説是極其重要的一種找到如何措辭的方法。如果谷歌蒐索不以字麵意思處理我的輸入，而是覺得可以將我輸入的語詞進行替換，我會在得到一個高頻出現的語句時被嚴重誤導，這讓我很不安。我希望機器是可靠的，而不是總是偏離我要求它做的事。機器中所謂的“智能”有時可能是有益的，但也可以是極其無用甚至有害的。根據我的體驗，這段時間被加入技術設備中的人工智能（這裡人工指的是“假的”“非正版的”）讓我十分厭煩。
因此，我對你的團隊所做的事情並不滿意，且對此十分不安。
這僅僅是又一個讓技術設備變得不那麼可靠的嚐試。你想要谷歌做X，並且你預期谷歌做的就是X，但實際上谷歌做了Y，因爲它認爲你預期的是Y。對於我來説，這種試圖理解我的心智的嚐試即使不是危險的，也是很惱人的，因爲這幾乎從來沒有正確過，甚至不在正確的範圍內。我想要機器可以保持可靠的機械性，這樣我就可以確切地知道自己正在處理的是什麼。我不希望它們試圖在智力上超越我，因爲它們最終所做的不過是誤導我和迷惑我。這是很基礎的要求，卻完全被谷歌（至少是你的工作組）忽略了，我認爲這是一個巨大的錯誤。
至少，上述繫統應該在其試圖成爲讀心者而不僅僅是機械時，明確地告知用戶，同時允許用戶能夠關掉不必要的“理解”，就像我能夠關掉試圖修改一切的拼冩檢查程序一樣。一項關於“嚴格責任”的法律可能會提供一種急需的設計鼓勵：任何使用AI繫統做出影響人類生命和福祉的決策的人，就像其他危險和強大設備的用戶一樣，都必須接受培訓（也許是建立聯繫），並遵守更高的問責標準，從而使他們相信在與AI繫統互動時格外嚴謹地保有懷疑與探索的態度是符合自身利益的。這將間接鼓勵此類繫統的設計方，將他們的繫統設計得更加透明和謙遜，因爲用戶會拒絶那些可能帶他們走上享樂之路並最終導緻他們玩忽職守的繫統。
還有另外一條避免我們放棄自己的認知責任的方法。例如“讓我們變得更強壯”的技術，一種是推土機式路線（bulldozer route），另一種則是諾德士器械式路線（Nautilus machine route）。前者讓你能夠完成驚人的任務，但你個人依然身體虛弱；後者則會讓你變得更強壯，可以自己做更難的事。
目前大部分提昇我們認知能力的軟件是推土機式的：從望遠鏡、顯微鏡到基因組測序儀，以及深度學習的新産品。是否也有類似於健身器材的軟件，可以提昇個人的理解能力？事實上，早在1985年，喬治·史密斯（George Smith）和我，以及程序員史蒂夫·巴尼（Steve Barney）和史蒂夫·科恩（Steve Cohen）就在塔夫茨大學共同創立了“課程軟件工作室”（Curricular Software Studio），開創該工作室的目的是製造“想象力輔助工具”，即能夠擴展並訓練學生心智的軟件。這些軟件會拓寬教學中的瓶頸，讓學生能夠對諸如群體遺傳學、地層學（解釋岩石層的地質曆史）、統計學與計算機本身的運作這樣的複雜現象，想象出清晰、動態且準確的模型。這些繫統的目標是創建那些一旦掌握之後就可以被放置在一邊的繫統，因爲此時用戶已內化了繫統所要傳授的原則，並在廣泛探索的支持下，達到了更深層的理解。也許，現在需要更大的類似項目，來幫助人們更有創意、更準確地思考他們麵臨的諸多複雜現象，這樣他們就能在麵對認知輔助工具時，做一個獨立的、有智慧的和有理解力的用戶，而不是被動地、無鑒別性地接受任何科技進步帶來的成果。
我們已經看到不少創新，這使我們放棄了理解力長久以來作爲人類中“創造之王”的地位。未來還會出現更多這樣的創新。數個世紀以來，我們一直被費曼的格言“我不能創造的，我也不能理解”所激勵着。但近來我們的創造力已經悄悄改變了這一切：我們髮現自己可能間接地製造出我們隻部分理解的事物，而這些事物又反過來可能製造出我們完全無法理解的事物。
由於其中一些事物具有神奇的力量，我們會懷疑理解力所具有的超群的價值，認爲理解力已經過時了，當我們有了諸多能夠將我們從辛苦勞作中拯救出來的人工製品後，誰還需要理解力？
對於這樣的觀點，有一個好的回應嗎？如果我們想要論証理解力具有內在價值，不依賴於其提供的種種服務，或者對於我們繼續過我們覺得重要的生活來説是必不可少的，我們需要的不僅僅是訴諸傳統。像我一樣的哲學家可以會對這樣的未來感到沮喪。正如蘇格拉底的名言：“未經審視的人生是不值得過的。”從蘇格拉底開始，我們將獲得對萬物更深入的理解看成：即使不是我們人生中最高的絶對目標，也是不言自明的最高的職業成就。但另一個哲學家，已故的庫爾特·貝爾（Kurt Baier）補充道：“過分審視的生活同樣不值得大書特書。”大部分人滿足於做科技、醫學、科研髮現及藝術創作的受益者，而不在意這些“魔法”是如何被創造出來的。擁抱“過於文明”的生活，相信我們的人工製品是我們幸福生活的“好管家”，真的如此可怕嗎？
我個人無法編造出一個有説服力的、可以説明理解力具有內生價值的論據，儘管我髮現理解是一個人生活中最激動人心的事物之一。但我認爲，能夠給出好的、可以証明出於現實上的原因需要很好地保護並提昇人類理解力、以免其受到種種由深度學習繫統帶來的虛假理解力的影響的証據。人工製品可能會出現故障，而如果幾乎沒有人對其有足夠的理解，以便能修理它或用其他方法完成任務，我們將會髮現自己會陷入危險的窘境。很多人已經注意到，對於部分高科技人工製品來説，能夠提供維修服務的人越來越少，甚至是不存在的。一個新的彩色打印機或者掃描儀的維修費用，比買一個新的還高。要麼維修壞的，要麼買一個新的。個人電腦的操作繫統也遵循着類似的法則，當你的軟件出了問題時，別試圖去診斷並解決問題，而應該改變出錯的地方，重啟之後安裝你最愛軟件的最新版本。但這樣的過程能持續多久？
考慮一個典型的對技術缺乏理解的例子。有一輛平穩行駛的汽車是生活中的一件幸事，它能使你在大部分情況中準時去往你想去的地方，在此過程中，你聽着音樂、開着空調，感覺很舒服，同時還有GPS導航爲你指路。
在髮達國家，我們會認爲這一切是理所當然的，是生命中的常態，是一種觸手可及的資源。我們假設環境中總會有一輛可用的“車”來規劃我們的生活。
但當你的車拋錨後，你的生活計劃就被打亂了。除非你是一個受過技術培訓的車迷，否則你必須承認你依賴着拖車公司、機械師，以及由汽車經銷商組成的網絡。然後未來某一刻，你可能會決定換掉那颱越來越不穩定的車，並購入一輛新車。生活繼續，波瀾不驚。
但使這些成爲可能的複雜繫統，例如高速公路、煉油廠、汽車製造商、保險公司、銀行、股票市場呢？我們的文明已經流暢地運行了數千年，但其間也伴隨着某些嚴重的破壞，文明的複雜度和能力不斷增長，它會中斷嗎？
這是有可能的，那時我們應該找誰去尋求幫助？如果當前的文明崩潰了，你無法購買一個新的文明，因此我們最好讓當前的文明能夠正常運行，並能夠對其進行維修。那誰會是可靠的修理者？是銀行家、記者、實業家、教授這樣的社會中的領導者嗎？簡而言之，與你預期中的領袖相比，這些人更像是平常的駕駛者，在他們的一畝三分地裡領導着自己的那部分向前走，同時對其依賴的整個繫統的複雜性熟視無睹。根據經濟學家和進化思想家保羅·西佈萊特的説法，對於所處繫統的樂觀性的狹隘之見，並不是應受譴責且需要改進的，而是讓人能夠繼續走下去的支持條件。部分理解並不是可選的。塑造人類生活衆多方麵的社會大廈依賴於我們短視的自信，即我們相信其結構是完善的，不需要給予太多關注。
西佈萊特曾將人類文明比作白蟻的蟻塚，兩者都是非自然存在物，都是建構在一層層非凡設計之上的奇觀，豎立在其“土壤”上。兩者都是創造並塑造了個體進化過程的副産品，兩者都包含的造就了其非凡的複雜性、效率及恢複能力的設計創新都不是個體頭腦中的創意，而是這些個體在數代時間裡無意識地、短視地造就的。但兩者之間也有明顯的不同。人類的合作與白蟻幾乎無意識的合作截然不同，人類的合作是一個精妙且非凡的現象，在自然界中沒有先例，有着獨一無二的進化曆史。正如我們所看到的，這取決於我們在塞拉斯所説的“理由空間”內與他人交往的能力。西佈萊特指出，合作取決於信任，而信任是一種幾乎隱形的社交黏合劑，既能促成偉大，也能促成可怕的計劃，而這種信任並不是進化而來的存在於我們大腦中的“自然本能”。信任出現得太晚了，以至於進化來不及髮揮作用。信任是社交狀態帶來的最重要的副産品，也是讓這種社交狀態成爲可能的條件。我們已經將自己拖進了現代文明強烈作用於感官的高地，我們天生的情感和其他本能的反應並不總是能適應我們的新環境。
文明是一個持續開展的過程，如果我們不再嚐試理解它，將爲我們自己帶來風險。人類能夠觀察並意識到蟻塚所具有的遠超白蟻神經繫統所能理解的精妙之處與複雜性。對於我們人造的世界，我們也可以試圖以超凡的視角來審視它，而這是唯有人類才可以想象的偉業。如果我們沒有在此方麵取得成功，也許我們是懷抱善意的，但可能會摧毀我們最珍貴的創造。基因和文化這兩個領域中的進化，已經創造了讓我們足以了解自身的能力。但即使智能設計在數千年的時間裡一直在不斷髮展，但我們依然漂浮在充滿睏惑和問題的海洋中，其中很多睏惑是由我們試圖理解的努力造成的，但在我們或我們的子孫能滿足我們貪婪的好奇心之前，可能會出現將我們毀滅的危險。
