1 簡介本文根據openAI的2023年3月的《GPT-4 Technical Report 》翻譯總結的。原文地址：https://arxiv.org/pdf/2303.08774.pdf原文

1 簡介

本文根據openAI的2023年3月的《GPT-4 Technical Report 》翻譯總結的。

原文地址：https://arxiv.org/pdf/2303.08774.pdf

原文確實沒有GPT-4 具體的模型結構，openAI向盈利組織、非公開方向發展了。也沒透露硬件、訓練成本、訓練數據、訓練方法等。不過也透露了一些思想，比如提出了根據模型小的時候，預測模型大的時候的表現。

GPT-4開始多模態了，支持圖片和文本輸入，輸出文本。GPT-4模型還是沿用AR模型的思路，transformer模型，在一個文檔中預測下一個token。GPT-4除了預訓練，增加了強化學習微調，即使用了Reinforcement Learning from Human Feedback (RLHF) 。

GPT-4在一些考試如司法考試上取得了top 10%的成績。而GPT-3.5的成績在底部10%。

2 預測擴展性

GPT-4是非常大的訓練成本，它不能靈活進行特定任務的微調。為此，我們開發了一個基礎結構和優化的方法，可以根據模型小的時候，預測模型大的時候的表現。比如使用千分之一到萬分之一的GPT-4計算成本就可以預測GPT-4的效果。

loss預測可擴展性

提出了下面公式，可以通過小模型預測GPT-4的loss。

如下圖，設GPT-4計算成本為1，x軸前面的就是小模型，y軸是損失loss。隨著模型增大到GPT-4，損失loss可以通過小模型進行預測。

HumanEval驗證數據集上能力的預測擴展性

提出了下面公式，可以通過小模型預測GPT-4的能力。

其中k和a是正常數，P是驗證數據集的一個問題集合子集。

如下圖，設GPT-4計算成本為1，x軸前面的就是小模型。隨著模型增大到GPT-4，大模型能力可以通過小模型進行預測。

3 GPT-4能力

如下圖，GPT-4比GPT-3.5更好的通過各種學術和專業考試。

GPT-4在考試方面的能力不是太依靠強化學習RLHF，在多項選擇題上，GPT-4和RLHF模型的表現差不多相等。

4 視覺輸入

GPT-4支持圖片和文本的任意排列的輸入。

如下圖，問GPT-4圖片中有什么有趣的事情？分別逐張描述。GPT-4準確的描述出：圖片將過時的VGA連接頭插入現代手機進行充電。

5 模型缺點

GPT-4和以前GPT版本有類似的限制，最重要的是它不是完全可以信賴的。

GPT-4的訓練數據是截至2021年9月的，所以沒有最新的新聞事件。有時它也會犯錯，或者被用戶欺騙。它也不能處理很難的問題（人類可以處理）。

GPT-4有時可能對自己的輸出過于自信。

6 緩解風險

a)利用專家知識對抗測試（Adversarial Testing via Domain Experts）

b)搭建模型安全助手（Model-Assisted Safety Pipeline）：包括兩個主要成員，一個是利用額外的進行安全相關的RLHF訓練提示數據集，一個基于規則的獎勵模型（RBRMs）。

rule-based reward models (RBRMs)是一個zero-shot的GPT-4分類器。這個分類器在GPT-4進行RLHF微調時提高一個額外的獎勵信號，使得GPT-4傾向于正確的行為，拒絕生成有害的內容，或者不要拒絕無害的請求。

c)Improvements on Safety Metrics:在RealToxicityPrompts數據集上，GPT-4僅有0.73%的時間產生有毒的內容，而GPT-3.5是6.48%時間產生有毒內容！