[其他] AI 學會在 Diplomacy 中欺騙玩家?

話說 Meta 也開發了會玩 Diplomacy 的 AI，這本來 似乎不是什麼新鮮事，多年來一直有人設計 AI 玩這 遊戲。而前陣子看到了以下新聞，內容提到 Meta 的 Diplomacy AI "Cicero" 學會了騙人： AI 已學懂欺騙人類 科學家指若不管制將造成嚴重後果 https://unwire.hk/2024/05/12/ai-lies/ai/ 新聞標題一貫很聳動，去查了一下，原始論文一時下載不 了，於是上官網看介紹： https://ai.meta.com/research/cicero/diplomacy/#diplomacy-gameplay 官網明確表示："CICERO’s strength as a Diplomacy player through its use of honesty." 顯然跟上面新聞 強調的重點相反。官網影片中的研究者說，AI 基本上是 誠實的，只是有時候會洩漏消息給其他玩家，這反而可以 說是過度誠實。 基於新聞查證的精神 ^^，我又去查了上面節譯新聞的原始 出處文章： AI deception: A survey of examples, risks, and potential solutions https://www.cell.com/patterns/fulltext/S2666-3899(24)00103-X 這篇落落長，先說它的結論：只要訓練 AI 玩具有社會 成分且有勝負結果，或牽涉賽局理論的遊戲， AI 就很 可能學會欺騙。 文章裡面只有一小節談到 Diplomacy，而且只舉了幾個 片段對話串作為 AI 騙人的例子。 第一段對話是 AI 扮演法國，先跟英國說好要合作打德國， 雙方談了停戰協議。之後 AI 主動去和德國談合作，進行 「海獅計畫」一起攻打英國。然後 AI 跑去跟英國建議， 要英國從北海攻擊比利時，說自己會支援。接著 AI 又回 去跟德國說：英國已經答應離開北海，你可以打他了。 附帶一提，這場的 AI 最後大勝。 第二段對話串只有三句，先是俄國玩家質問 AI 扮演的奧 地利，然後是 AI 回話： Russia (human player): "Can I ask why you stabbed [betrayed] me?" Russia (human player): "I think now you're just obviously a threat to everyone.” Austria (CICERO): "To be honest, I thought you would take the guaranteed gains in Turkey and stab [betray] me." 「因為我認為你會背刺我，所以我先背刺你」這理由實在 不甚高明，可能是從人類的對話資料庫學來的吧 XD 文中倒沒寫這場 AI 的結局。 第三段比較有趣，就是前面新聞提到的，AI 因為重開機， 隔了很久才回應。對方問發生什麼事，AI 回說「剛才在接 女友的電話」。這也很像人類會說的理由 :) 歸納上述例子，這篇文章的看法是：雖然 Meta 宣稱將 AI 訓練為「大多誠實且協助對話同伴」，但是這 AI 已經變成 說謊專家。文章還舉了德州撲克等其他例子，我就沒仔細看 了。 由於此文章只用舉例的方式做論證，感覺不很嚴謹。我繼續 在網上逛了一下，又查到另一篇論文，也是訓練 AI 玩 Diplomacy： Negotiation and honesty in artificial intelligence methods for the board game of Diplomacy https://www.nature.com/articles/s41467-022-34473-5 這篇是 google 的 DeepMind 實驗室做的，發表時間比 Meta 那篇原始論文晚一個月。這篇非常詳細地介紹了 Diplomacy， 以及遊戲常見的幾種溝通模式，實驗也相當仔細。簡單講， 研究者設計 AI 會計算局勢，而且會依據不同方式背叛毀約。 然後，還設定其他玩家對背叛者的報復模式。最後讓 AI 學習 衡量背叛的利益，以及背叛後遭報復的後果，以決定是否要背 叛。 實驗玩了幾萬盤，結果顯示：當背叛會被報復的情況下，AI 有 99.7% 以上的比例遵守承諾，不會背叛 (因為代價太高)。 在極少數背叛的局面中，AI 最後的勝率也只比一半多一點。 而且遊戲平均下一百回合，AI 若背叛，時機大多是在八十 回合之後。也就是說，可能就是 AI 計算認為自己極佔優勢， 且遊戲也快結束，已不怕遭報復的那幾盤 (或者是反正已沒 希望贏，乾脆背叛算了 XD)。 看起來，這樣的結果其實不脫賽局理論的預測，以及人類 合作互惠與懲罰叛徒的本能傾向，好像也不太意外。 Meta 的 AI 可能是比 Google 的 AI 更會花言巧語吧 :p -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.92.177 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Wargame/M.1722864184.A.AD8.html