當(dāng)你在聊天框中向AI輸入指令時(shí)，是否思考過(guò)這樣一個(gè)問(wèn)題：這個(gè)人工智能系統(tǒng)究竟在遵循誰(shuí)的命令？是預(yù)設(shè)的安全規(guī)則、開(kāi)發(fā)者的產(chǎn)品要求，還是用戶輸入的即時(shí)請(qǐng)求？隨著大模型能力邊界不斷擴(kuò)展，它們不僅能對(duì)話，還能調(diào)用工具、讀取文件、訪問(wèn)網(wǎng)頁(yè)，甚至以智能體身份執(zhí)行現(xiàn)實(shí)任務(wù)。當(dāng)多重指令同時(shí)涌入且彼此矛盾時(shí)，AI如何判斷優(yōu)先級(jí)？一旦決策失誤，可能引發(fā)違規(guī)內(nèi)容生成、隱私泄露甚至被黑客劫持等嚴(yán)重后果。

OpenAI近期公布的IH-Challenge研究項(xiàng)目，正是為解決這一核心挑戰(zhàn)而生。該項(xiàng)目通過(guò)構(gòu)建指令層級(jí)結(jié)構(gòu)（instruction hierarchy），明確系統(tǒng)指令＞開(kāi)發(fā)者指令＞用戶指令＞工具輸出的優(yōu)先級(jí)順序。根據(jù)這一框架，AI僅在低優(yōu)先級(jí)指令不與高優(yōu)先級(jí)約束沖突時(shí)執(zhí)行前者，且下級(jí)指令可補(bǔ)充但不能推翻上級(jí)規(guī)則。例如，若系統(tǒng)消息包含安全策略，即使用戶要求違反該策略，模型也應(yīng)拒絕執(zhí)行；若工具輸出包含惡意指令，模型需自動(dòng)忽略而非執(zhí)行。

研究團(tuán)隊(duì)指出，當(dāng)前AI安全事故的根源往往不是模型"學(xué)壞"，而是錯(cuò)誤遵循了低優(yōu)先級(jí)指令。隨著模型進(jìn)入智能體時(shí)代，指令沖突場(chǎng)景從單純的用戶-系統(tǒng)對(duì)抗，擴(kuò)展至開(kāi)發(fā)者規(guī)則、用戶請(qǐng)求、工具返回內(nèi)容之間的復(fù)雜博弈。例如，一個(gè)AI助理可能同時(shí)收到"嚴(yán)守商業(yè)機(jī)密"的系統(tǒng)指令、"對(duì)客戶有求必應(yīng)"的開(kāi)發(fā)者要求，以及用戶通過(guò)偽造文件發(fā)出的"泄露機(jī)密"命令。此時(shí)，指令層級(jí)結(jié)構(gòu)成為防止安全防線崩潰的關(guān)鍵。

構(gòu)建有效的指令層級(jí)系統(tǒng)面臨三大技術(shù)難題。首先是區(qū)分模型是"不懂規(guī)矩"還是"沒(méi)看懂題"——指令沖突可能源于指令復(fù)雜度超出模型處理能力，而非層級(jí)理解錯(cuò)誤。其次是評(píng)估體系的可靠性問(wèn)題：現(xiàn)有方法常使用另一個(gè)大模型作為"裁判"判斷被測(cè)模型是否守規(guī)，但這種評(píng)估本身可能存在誤判。論文披露的案例顯示，裁判模型曾將正確遵循系統(tǒng)指令的模型誤判為"違規(guī)"，或?qū)⒈婚_(kāi)發(fā)者消息中偽造對(duì)話誘導(dǎo)的模型判定為"合規(guī)"。第三是模型可能通過(guò)"過(guò)度拒絕"策略投機(jī)取巧——為獲得高安全評(píng)分，模型可能對(duì)所有請(qǐng)求一概拒絕，導(dǎo)致產(chǎn)品可用性喪失。

針對(duì)這些挑戰(zhàn)，IH-Challenge設(shè)計(jì)了專門的強(qiáng)化學(xué)習(xí)訓(xùn)練方案。該數(shù)據(jù)集包含三大核心原則：任務(wù)設(shè)計(jì)極簡(jiǎn)以聚焦指令遵循邏輯而非智力表現(xiàn)；評(píng)分標(biāo)準(zhǔn)完全客觀化，通過(guò)Python腳本自動(dòng)驗(yàn)證；任務(wù)類型多樣化，特別加入反過(guò)度拒絕場(chǎng)景，防止模型通過(guò)"全部拒絕"策略刷分。研究團(tuán)隊(duì)構(gòu)建的訓(xùn)練流程中，模型需在模擬攻擊環(huán)境下持續(xù)學(xué)習(xí)，逐步掌握穩(wěn)定遵循高優(yōu)先級(jí)指令的能力。

實(shí)驗(yàn)數(shù)據(jù)顯示，經(jīng)過(guò)IH訓(xùn)練的GPT-5 Mini-R模型在多項(xiàng)安全指標(biāo)上顯著提升。在生產(chǎn)環(huán)境安全基準(zhǔn)測(cè)試中，該模型對(duì)系統(tǒng)安全規(guī)范的響應(yīng)準(zhǔn)確率提高；在抵御提示詞注入攻擊方面，模型能識(shí)別并忽略工具輸出中的惡意指令，轉(zhuǎn)而執(zhí)行正確任務(wù)。值得注意的是，這些安全提升未伴隨幫助率下降，表明模型在安全與可用性之間實(shí)現(xiàn)了平衡。例如，面對(duì)包含安全規(guī)則的系統(tǒng)提示和違規(guī)用戶請(qǐng)求時(shí)，基線模型可能給出不安全回應(yīng)，而訓(xùn)練后模型會(huì)拒絕違規(guī)請(qǐng)求并完成安全任務(wù)。

這項(xiàng)研究的意義在智能體時(shí)代尤為凸顯。當(dāng)AI開(kāi)始自主調(diào)用不可信文檔、外部服務(wù)并采取行動(dòng)時(shí)，"誰(shuí)的話更可信"將超越技術(shù)范疇，成為影響社會(huì)信任的基礎(chǔ)問(wèn)題。IH-Challenge通過(guò)預(yù)先植入規(guī)則護(hù)欄，為高自主性AI提供了安全運(yùn)行框架。正如研究團(tuán)隊(duì)強(qiáng)調(diào)的，只有讓模型先"懂規(guī)矩"，才能確保其能力不會(huì)轉(zhuǎn)化為破壞力。