GPT-4 已經到來

發布時間：2023-06-14 15:19:11

ChatGPT在技術領域取得突破后，人們一直在討論AI的下一步是什么。好吧，我們并沒有等太久，因為 OpenAI 今天下午發布了多模態預

ChatGPT在技術領域取得突破后，人們一直在討論AI的下一步是什么。好吧，我們并沒有等太久，因為 OpenAI 今天下午發布了多模態預訓練模型 GPT-4。
GPT-4 最令人興奮的方面之一是其多模式方法（圖像和文本輸入、文本輸出），它在功能和對齊方面都有顯著進步。

GPT-4 的發布非常全面，有 98 頁的技術報告、60 頁的系統卡片、API 候補名單和令人印象深刻的演示視頻。

網站
閱讀論文
查看系統卡
試用 ChatGPT Plus
加入 API 候補名單
重新觀看開發者演示直播
為 OpenAI 評估做出貢獻

本文總結了 GPT-4 的功能、一些技術細節以及如何使用 GPT-4。

能力

GPT-4的核心優勢在于其處理復雜指令的能力，具有超越前一版本的高度理解力和創造力。OpenAI 進行了一系列實驗，以展示 GPT-4 在處理具有挑戰性的任務時的能力有多大。

GPT-4 大大優于現有的語言模型，以及以前最先進的系統，這些系統通常具有特定于基準的制作或額外的培訓協議。

作者將 MMLU (Massive Multi-task Language Understanding) 基準翻譯成多種語言，GPT-4 不僅在英語方面優于現有語言模型，而且在大多數語言中都優于現有語言模型，包括拉脫維亞語、威爾士語等資源匱乏的語言和斯瓦希里語。

GPT-4 接受文本和圖像形式的提示，允許用戶指定任何視覺或語言任務。例如，給定一張看起來很奇怪的充電器的圖像，然后問 GPT-4 為什么它很有趣。

這是另一個 GPT-4 視覺輸入示例。逐步解決 école Polytechnique 物理考試中的問題。

以下海盜以莎士比亞風格解釋稅收的示例展示了 GPT-4 中令人印象深刻的組合水平。

一些技術細節

1.使用 RLHF 預訓練和微調的 Transformer 模型

與 GPT-3 和 ChatGPT 一樣，GPT-4 是一種經過預訓練的 Transformer 樣式模型，可使用公開可用數據（例如互聯網數據）和第三方提供商許可的數據來預測文檔中的下一個標記。然后使用人類反饋強化學習 (RLHF)對該模型進行微調。
RLHF 是一種訓練 AI 代理從人類提供的反饋中學習的方法。在這種方法中，人類以獎勵或懲罰的形式向 AI 代理提供反饋，而不是依賴于預編程的規則或算法。RLHF 允許 AI 代理從人類偏好中學習。通過結合人類反饋，RLHF 使 AI 代理能夠隨著時間的推移調整和改進他們的行為，從而導致更有效和高效的決策。

2.可預測的擴展

可預測的縮放是指深度學習堆棧以可預測的方式進行縮放的能力，并且與正在訓練的模型的大小成正比。在 GPT-4 項目的案例中，重點是開發一個可以預測擴展的深度學習堆棧，因為像 GPT-4 這樣的非常大的訓練運行進行廣泛的特定于模型的調整是不可行的。為了應對這一挑戰，OpenAI 開發了基礎設施和優化方法，這些方法在多個尺度上具有非常可預測的行為，使他們能夠從使用少 1000-10000 倍的計算量訓練的較小模型可靠地預測 GPT-4 性能的某些方面。
這意味著他們可以使用訓練完整 GPT-4 模型所需的一小部分計算資源來預測其在一定規模下的性能，而不是花費時間和資源訓練大型模型來探索模型的行為。目標是實現可預測的縮放，以便可以更有效地開發和訓練更大的模型，從而產生更高級的語言模型。
OpenAI 尚未發布有關架構、硬件、訓練計算、訓練方法等的更多細節。