封面：WOMBO AI 生成
CyberDaily：
慶幸在巨大雪球下的AI，OpenAI依然清醒的定位，AGI之于人類的角色，讓它造福于人類。
Open AI再次強調，確保通用人工智能（AGI）造福于全人類。以及對短期和長期的目標做了明確的規劃和方向。
在Open AI看來，如果成功創造出AGI，它可以通過增加豐富度、推動全球經濟發展以及幫助發現改變可能性極限的新科學知識來幫助我們提升人類水平。AGI有潛力賦予每個人不可思議的新能力，為人類的聰明才智和創造力提供巨大的力量倍增器。
然而，OpenAI也慎重提到，AGI也會帶來嚴重的濫用、嚴重事故和社會混亂的風險。因此，OpenAI希望可以通過這幾個原則來確保 AGI 的好處最大化，并控制它的潛在巨大的風險。這些原則包括：（1）讓AGI成為人類的放大器，促進人類最大程度地繁榮發展；（2）確保AGI的好處、訪問權和治理得到廣泛和公平的分享；（3）成功應對巨大風險，通過部署功能較弱的技術版本來不斷學習和適應，以最大程度地減少“一次成功”的情況。雖然無法準確預測會發生什么，但這些原則可以幫助確保 AGI 的發展造福全人類。
以下是OpenAI，短期和長期的規劃，總的來說，他們依然借助AGI獲得更多來自現實世界的經驗并給更多人使用，實現更平等的繁榮。
短期內：獲得更多來自現實世界的系統操作經驗
我們認為現在有幾件事很重要，可以為 AGI 做準備。
首先，隨著我們不斷創建更強大的系統，我們希望部署它們并獲得在現實世界中操作它們的經驗。我們相信這是謹慎管理 AGI 存在的最佳方式逐漸過渡到 AGI 世界比突然過渡要好。我們期望強大的 AI 能夠加快世界進步的速度，我們認為最好是逐步適應這一點。
漸進的過渡讓人們、政策制定者和機構有時間了解正在發生的事情，親身體驗這些系統的好處和缺點，調整我們的經濟，并實施監管。它還允許社會和 AI 共同進化，并允許人們在風險相對較低的情況下共同弄清楚他們想要什么。
我們目前認為，成功應對 AI 部署挑戰的最佳方法是采用快速學習和謹慎迭代的緊密反饋循環。社會將面臨人工智能系統被允許做什么、如何消除偏見、如何處理工作崗位流失等重大問題。最佳決策將取決于技術所采用的路徑，并且與任何新領域一樣，到目前為止，大多數專家預測都是錯誤的。這使得在真空中進行規劃非常困難。
一般來說，我們認為在世界上更多地使用 AI 會帶來好處，并希望推廣它（通過將模型放入我們的 API 中，將它們開源等）。我們相信，民主化的訪問也將導致更多更好的研究、分散的權力、更多的利益以及更多的人貢獻新的想法。
隨著我們的系統越來越接近 AGI，我們對模型的創建和部署變得越來越謹慎。我們的決定將需要比社會通常對新技術應用的謹慎得多，也比許多用戶希望的謹慎得多。AI 領域的一些人認為 AGI（和后繼系統）的風險是虛構的；如果結果證明他們是對的，我們會很高興，但我們將把這些風險視為存在。
隨著我們的系統越來越接近 AGI，我們對模型的創建和部署變得越來越謹慎。
在某些時候，部署的利弊之間的平衡（例如授權惡意行為者、造成社會和經濟破壞以及加速不安全的競賽）可能會發生變化，在這種情況下，我們將圍繞持續部署顯著改變我們的計劃。
其次，我們正在努力創建更加一致和可控的模型。我們從 GPT-3 的第一個版本等模型到 InstructGPT 和 ChatGPT 的轉變就是一個早期的例子。
特別是，我們認為重要的是社會就如何使用人工智能達成極其廣泛的界限，但在這些界限內，個人用戶有很大的自由裁量權。我們最終的希望是世界機構就這些廣泛的界限應該是什么達成一致；在短期內，我們計劃對外部輸入進行實驗。世界上的機構將需要通過額外的能力和經驗得到加強，以便為有關的復雜決策做好準備通用人工智能。
我們產品的“默認設置”可能會受到很大限制，但我們計劃讓用戶可以輕松更改他們正在使用的 AI 的行為。我們相信賦予個人做出自己的決定的權力和思想多樣性的內在力量。
隨著我們的模型變得更強大，我們將需要開發新的對齊技術（以及測試以了解我們當前的技術何時失�。�。我們的短期計劃是使用 AI 來幫助人類評估更復雜模型的輸出并監控復雜系統，而從長遠來看，我們將使用 AI 來幫助我們提出新的想法以獲得更好的對齊技術。
重要的是，我們認為我們經常需要在人工智能安全和能力方面共同取得進展。分開談論它們是錯誤的二分法。它們在很多方面是相關的。我們最好的安全工作來自與我們最有能力的模型一起工作。也就是說，提高安全進步與能力進步的比率很重要。
第三，我們希望就三個關鍵問題展開全球對話：如何治理這些系統，如何公平分配它們產生的收益，以及如何公平共享訪問權限。
除了這三個領域之外，我們還嘗試以一種使我們的激勵措施與良好結果相一致的方式來建立我們的結構。我們的章程中有一個條款是關于協助其他組織提高安全性，而不是在后期 AGI 開發中與他們競爭。我們對股東可以獲得的回報設定了上限，這樣我們就不會被激勵去嘗試無限制地獲取價值，也不會冒險部署具有潛在災難性危險的東西（當然也是作為與社會分享利益的一種方式）。我們有一個非營利組織來管理我們，讓我們為人類的利益而經營（并且可以凌駕于任何營利利益之上），包括讓我們做一些事情，比如在安全需要的情況下取消我們對股東的股權義務，并贊助世界上最全面的 UBI 實驗。
我們試圖以一種使我們的激勵措施與良好結果相一致的方式來建立我們的結構。
我們認為像我們這樣的努力在發布新系統之前提交獨立審計是很重要的；我們將在今年晚些時候更詳細地討論這個問題。在某些時候，在開始訓練未來系統之前獲得獨立審查可能很重要，并且對于最先進的努力來說，同意限制用于創建新模型的計算增長率。我們認為關于 AGI 工作何時應停止訓練運行、確定模型可以安全發布或從生產使用中撤出模型的公共標準很重要。最后，我們認為重要的是世界主要政府對超過一定規模的培訓有洞察力。
長遠來看：希望為世界貢獻一個與人類超級智能繁榮匹配的AGI
我們相信人類的未來應該由人類決定，與公眾分享有關進步的信息很重要。應該對所有試圖建立 AGI 的努力進行嚴格審查，并對重大決策進行公眾咨詢。
第一個 AGI 將只是智能連續體上的一個點。我們認為進展很可能會從那里繼續，可能會在很長一段時間內保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個錯位的超級智能 AGI 可能會對世界造成嚴重的傷害；一個擁有決定性超級情報領導的專制政權也可以做到這一點。
可以加速科學發展的人工智能是一個值得思考的特例，也許比其他任何事情都更有影響力。有足夠能力加速自身進步的 AGI 可能會導致重大變化以驚人的速度發生（即使過渡開始緩慢，我們預計它在最后階段也會很快發生）。我們認為較慢的起飛更容易確保安全，并且 AGI 努力在關鍵時刻減速可能很重要（即使在我們不需要這樣做來解決技術對齊問題的世界中，減速可能是 重要的是要給社會足夠的時間來適應）。
成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。成功遠未得到保證，而利害關系（無限的下行和無限的上行）有望將我們所有人團結起來。
我們可以想象一個人類繁榮到我們任何人都無法完全想象的程度的世界。我們希望為世界貢獻一個與這種繁榮匹配的AGI。
Peac&Love
原文：https://openai.com/blog/planning-for-agi-and-beyond/
