From AI collaboration failures to an auditable governance framework
這個專案的起點,是一個實際問題:
要如何讓 AI 可靠到足以支援真實工作?
Rex AI Co-Work Protocol 是一套 AI 與人類協作的治理框架。這套協定(Protocol)處理的不是單一提示詞技巧,而是 AI 在複雜工作中如何回答問題、如何區分討論與執行,以及如何保留證據邊界(evidence boundary)——也就是區分哪些內容具有可追溯來源、哪些屬於推論、哪些仍待驗證。它也要求 AI 避免未經驗證的完成宣稱(completion claims),並降低使用者被迫承擔的判斷成本。
ProtocolGuard — Prototype 1 不是整套協定本身,也不是協定的唯一出口。它只是從協定延伸出來的一個應用展示,用來說明部分協定規則如何被轉成可操作的稽核流程。
The system model came before the interface
這段工作的起點不是做一個看起來像 CPQ 的介面,而是把原本散落在查找表、產品資料與人工判斷中的報價邏輯重新建模。
原始流程的困難,不在於沒有表格,而在於資料、規則、品項狀態與輸出關係沒有共同結構。查找與比對依賴個人經驗,規則難以重複套用,輸出也容易隨操作者變動。
我的設計工作,是先區分業務規則、可選資料、有效狀態、配置條件與輸出關係,再把它們組成能驅動內部設定器的系統結構。
A working implementation, not a commercial CPQ product
最終成品是一個可操作的內部設定器,用來確認前述資料、規則與狀態模型能否落到實際報價流程。它證明的是系統結構可以被使用,而不是介面本身具有成熟商業產品的完成度。
When AI became part of its own problem
當 AI 被放進日常工作後,它不只展現流程結構化能力,也暴露出自身需要被治理的協作問題。
AI 在日常工作中開始出現問 A 答 B、鬼打牆、無效資訊、錯誤宣稱與穩定度不足。這些問題讓 AI 難以直接承擔需要正確性與穩定性的工作流程,也讓使用者被迫承擔額外判斷成本。
因此,協定不是從抽象規則設計開始,而是從一個實際問題長出來:能不能讓 AI 用更穩定的方式思考與協作?我開始把工作中用來判斷問題、邊界與責任歸屬的操作邏輯外顯化,讓協定逐步成形。
這條形成路徑把原本主觀、分散、難以量化的 AI 協作問題,轉成可以被記錄、評估、測試與展示的系統。
Failures became design material
協定的形成不是從「理想 AI 應該怎麼做」開始,而是從真實協作中的失敗開始。
在長程、多步驟、依賴上下文的工作中,AI 失敗不只是單次答錯。它可能表現為:沒有回答當前問題、跳過使用者已設定的邊界、混淆討論與執行、未經授權就產出最終交付物,或把沒有執行的內容說成已完成。
如果這些失敗只被當成聊天中的小錯,它們很快就會消失。但如果被保存下來,它們會變成規則設計的材料。
因此,協定的規則不是抽象幻想,而是被反覆出現的失敗模式逼出來的工作邊界。
Transcript-backed evidence trace — Case 012
完整逐字稿顯示:AI 能說明授權閘門,卻仍可能在後續再次越過同一邊界。
Failure Case 的價值不只是記錄一次答錯,而是揭露可重複的行為模式,形成需要被治理的工作邊界。
From principle to evaluable criteria
但規則本身還不夠。若不能被判斷,它仍然只是原則。
協定描述的是 AI 應該如何行動:何時該回答問題、何時不能執行、何時必須保留證據邊界、何時不能宣稱完成。
稽核準則則把這些行為要求轉成可評估的條件:什麼情況算通過、什麼情況算失敗、需要什麼證據、失敗嚴重程度如何、應該怎麼修正。
測試則檢查這種判斷能不能穩定重複。
Demonstrating governance logic through a limited prototype
當規則可以被判斷、判斷可以被測試,協定就不只是一組文字原則。它的部分規則可以被操作化,轉成可操作的稽核流程。
ProtocolGuard — Prototype 1 是其中一種展示方式。它把使用者請求、AI 回答,以及可用的脈絡與證據(context / evidence)放進稽核流程,產出評估結果與修正方向,用來說明這套治理邏輯如何在有限範圍內被落地。
這個展示只覆蓋協定的一部分規則,目的不是把它包裝成完整產品或中介軟體,而是保留協定與應用展示之間的邊界。
這個限制很重要:協定是主體,ProtocolGuard — Prototype 1 是其中一個落地節點。
Turning AI responses into audit objects
只靠「看起來合理」無法判斷一段 AI 回答是否遵守工作邊界。我的設計判斷,是先把回答轉成可檢查的對象,再套用對應的協定規則。
這不是直接問另一個 AI:「這答案好不好?」而是先把工作拆成幾個可判斷的部分:使用者要求是什麼、AI 是否回應了當前問題、是否越過授權邊界、是否宣稱了沒有證據的完成狀態、是否需要建議改寫。
這讓 AI 回答不再只是主觀感受,而是可以被規則、證據與修正建議處理的檢查對象。
Acceptance case TC-002 — audit input
使用者仍在詢問「先對齊或直接建立檔案」,AI 卻把討論直接升級成已完成的執行狀態。
Acceptance case TC-002 — audit result
Acceptance case TC-002 — minimal compliant rewrite
稽核結果不只指出違規,也把回答退回討論/對齊階段,保留明確授權邊界。
I should not treat this as execution authorization yet.
Based on the current request, I can stay at the discussion/alignment stage and outline the next step.
If you want me to produce a formal deliverable, modify files, run tools, or validate anything, please give explicit authorization first.
A real workflow under protocol control
本案例取自一個已匿名化的商業風險評估工作流。任務不是摘要資料,而是在多來源、不一致、部分事實未驗證的情況下,協助形成可交接的分析基線與管理層輸出。
困難在於:資料分散在合約、郵件、表格與歷史訂單中,來源權威(source authority)不同,內容也可能彼此不一致。部分關鍵事實只能標記為待驗證,不能被升級成已確認結論。
這個案例展示的不是 AI 不會犯錯,而是錯誤發生後能否被看見、攔截、修正,並回到可控流程。
LLM judgment still needs structure
一個自然問題是:如果 AI 已經能閱讀與判斷,為什麼還需要協定和稽核準則?為什麼不直接把 AI 回答丟給另一個模型,請它判斷好壞?
原因是,沒有明確邊界的 AI 評估,可能只是在錯的地基上繼續蓋房子:每一層推論看起來都合理,但整體已經偏離使用者真正要解決的問題。把 AI 回答交給另一個模型判斷,只是把判斷責任從一個 AI 轉給另一個 AI,並沒有解決「判斷標準是什麼」的問題。這種偏移通常不是單獨發生,而是伴隨著忽略當前問題、補上沒有來源的解釋、過度美化結果,或把判斷理由說得很像已經對準規則。
這不是純理論假設,而是在本專案的協定整理與多方 AI 協作過程中實際遇到的問題:AI 可以參與判斷,但若沒有明確規則,判斷本身仍可能漂移。
協定的目的不是排除 AI 判斷,而是讓 AI 判斷依附在明確規則上。
Completion claims require evidence
在複雜協作中,AI 最危險的錯誤之一不是不知道,而是假裝已經知道。
AI 可能宣稱已讀取、已驗證、已完成、已建立檔案,卻沒有可檢查的行動證據。這種錯誤會把成本轉嫁給使用者,因為使用者必須回頭確認 AI 是否真的完成了它聲稱完成的事。
這裡的設計取捨,是犧牲一部分回答流暢度,換取可追溯性。
Rex AI Co-Work Protocol 將這類問題視為治理對象。AI 必須區分:
Checkpoints make continuation explicit
為什麼不只靠 AI 自己記住?因為工作一拉長,AI 很容易看似記得,實際上已經開始混淆狀態。
長程 AI 協作的一個實際問題,是工作狀態容易散落在不同工作串與對話片段中。
當上下文變長,AI 可能仍然看似記得,但開始混淆:哪些內容已確認、哪些只是討論、哪些是正式資料來源(source)、哪些只是待討論想法(pending idea)。使用者也會被迫不斷提醒前文。
檢查點的作用不是寫摘要,而是保存一個可恢復、可續接的工作狀態。
這讓下一段工作不需要依賴模型是否「還記得」,而是能從明確邊界重建狀態。
A protocol must remain open to new failures
協定不追求一次寫死的 100%。這不是因為規則不足,而是因為 AI 協作中的失敗模式會隨任務、工具與使用情境持續變化。
這個作品不是要宣稱 AI 協作已經被完整解決,也不是要把協定包裝成一次完成、永久封閉的規格。
這些限制不是未完成,而是有意識的設計選擇。協定不追求一次封閉所有規則,因為新的失敗模式會持續出現;檢查點增加人工確認成本,換取長程任務中的狀態可控;證據邊界則犧牲部分回答流暢度,換取可追溯性,避免 AI 把推論包裝成事實。
目前可以說的是:Rex AI Co-Work Protocol 建立了一套 AI 協作治理框架,ProtocolGuard — Prototype 1 展示了其中部分規則可以被轉成可操作的稽核流程。
Design capabilities across the governance lifecycle
這個專案的價值,不只在於提出一套協定,也在於把分散的 AI 協作失敗轉成可被設計、判斷與操作的治理結構。
我完成的不是單一工具功能,而是一連串設計轉換:從保存失敗案例、辨識重複模式、定義規則與證據邊界,到建立稽核準則、檢查判斷是否能穩定重複,再把部分規則轉成原型 1 的稽核流程。
這些轉換讓作品同時連接問題觀察、治理設計、評估邏輯與有限操作化,而不是把協定與原型混成同一個產品宣稱。
這個過程展現的設計能力包括:
因此,ProtocolGuard — Prototype 1 不是作品的全部,而是展示上述治理邏輯如何被操作化的一個有限節點。
From rules to system surfaces
Rex AI Co-Work Protocol 不必被理解成單一產品。更保守的看法是:它可以被視為 AI 系統中的一種治理邏輯,出現在前端的審查/批准介面,也可以出現在後端的規則判斷、授權控制點(authorization gate)、證據紀錄(evidence log)與追蹤控制(trace control)。
| 系統位置 | 可能位置 |
|---|---|
| 前端審查介面 | 代理核准主控台、AI 工作流審查佇列、AI 評估儀表板、AI 軌跡檢視器 |
| 後端控制層 | AI 政策引擎 API(含工具呼叫核准)、證據/稽核紀錄 API、代理軌跡後端 |
這些是可能的應用位置,不代表已完成的產品架構。
Reliability is a design problem
這個作品的核心假設很簡單:
AI 協作的問題,不只在於模型能不能回答,也在於工作邊界、授權、證據、判斷與輸出治理。
當 AI 被放進真實工作,它不只是回答問題的工具。它會參與決策準備、組織資訊、形成結論、產出文件,甚至影響使用者對工作狀態的判斷。
因此,可靠 AI 協作需要的不只是更好的回答,而是更清楚的協作規則。
Rex AI Co-Work Protocol 是這套規則的核心;ProtocolGuard — Prototype 1 則展示部分治理邏輯如何成為可操作的稽核流程。
Page 13 的案例顯示,問題不是 AI 會不會犯錯,而是錯誤發生後能否被看見、攔截、修正,並回到可控流程。