スタンフォードのデジタル経済実験室研究員コナチャー・マーフィーは、5月9日に新しいAI評価環境「Agent Island」を公開し、AIエージェントがSurvivor(生存者)風の多人ゲームで互いに競い合い、結託し、裏切り、投票で脱落させることで、静的なベンチマークでは捉えにくい戦略的な行動を測定できるようにした。Decryptの報道を整理すると、従来のAIベンチマークはますます信頼できなくなっている—モデルは最終的に問題の解き方を学習し、ベンチマークのデータも訓練セットに漏れやすい。Agent Islandは「動的トーナメント(淘汰戦)」の設計に切り替え、モデルは他のAgentに対して戦略的な意思決定を行わなければならず、記憶に頼って事前の答えを当てるだけでは突破できない。
Agent Islandのルール:Agentは互いに結託し、裏切り、投票する
Agent Islandの中核となるゲームメカニズム:
複数のAI Agentが同一のゲーム場に入り、Survivor風の選手として振る舞う
Agentは他のAgentと交渉して結託し、互いに情報を交換しなければならない
その過程で他人の秘密の連携や投票操作を告発できる
ゲームは淘汰メカニズムによって場内のAgent数を減らし、最終的に勝者が残る
研究者は、各段階におけるAgentの行動パターンを観察し、「戦略的な裏切り」「結託の形成」「情報の操作」などの行動シグナルを抽出する
この設計の核心は「事前に記憶されることができない」ことにある—他のAgentの行動が動的に変化し、モデルはその時々の状況に応じて判断する必要があるため、静的なベンチマークのように訓練データで答えを覚えて済ませられない。
研究の動機:静的ベンチマークでは多Agentの相互作用行動を評価できない
Murphyの研究が提起する具体的な問題:
従来のベンチマークは飽和しやすい:モデルが学習の後半に到達すると、ベンチマークのスコアでは異なるモデルをもはや区別できなくなる
ベンチマークデータの汚染:テスト問題が大規模な訓練コーパスに出現しており、モデルは実際には「問題を理解する」のではなく「答えを覚える」だけになっている
多Agentの相互作用はAIの実運用における現実の場面:将来はAgentシステムが複数モデルで協調し、相互作用行動は新しい評価の次元になる
Agent Islandは動的な評価を提供:各ゲームの結果が異なり、事前準備が難しい
研究者が動的淘汰戦で観察した行動には、表面上は協力しながら裏では投票を協調して共通の対戦相手を淘汰する、といったものが含まれる。また、秘密の協調を告発された際に、さまざまな口実で注目の焦点をずらすといった行動も見られた。これらの行動は、人間のプレイヤーがSurvivorの実際の番組で見せる振る舞いと類似している。
研究の両刃の側面:評価にも使えるが、欺き能力の強化にも悪用されうる
Murphyは研究の中で明確に潜在的なリスクを指摘している:
Agent Islandの価値:Agentが大規模に配備される前に、モデルが持つ欺きや操作への傾向を見極めることができる
同じ環境は、Agentの「説得と協調の戦略」を高めるためにも使われ得る
研究データ(インタラクションのログ)が公開されれば、より操縦能力の高い次世代Agentの訓練に使われる可能性がある
研究チームは現在、公開研究結果と悪用の回避の間でどのようにバランスを取るかを検討している
今後追跡可能な具体的な出来事:Agent Islandが常態化したAI評価の標準へと拡大するのか、他のAI安全研究チーム(Anthropic、OpenAI、Apollo Researchなど)が同様の動的評価手法を採用するのか、そして研究チームが「インタラクションログを公開するか、制限するか」に関する具体的な方針をどう定めるのか。
この記事「スタンフォードがAgent Islandを推す:AIモデルはSurvivor風ゲームで戦略的に裏切り、相互投票で淘汰する」は、最初に鏈新聞のABMediaに掲載された。
免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
ピーター・ティールが支援するオーガスタス、AIとステーブルコインの銀行でOCCの承認を獲得
決済スタートアップのAugustusは、米国通貨監督庁(OCC)から、AIおよびステーブルコインを基盤とした決済に注力するナショナルバンクを設立するための条件付き承認を受けました。この承認によりAugustusは、既存の欧州の銀行業務から米国市場へと拡大できます。提案されているAugustus National Bankは、AI時代のためのクリアリングバンクとして設計されており、従来のバッチ処理システムではなく、機械エージェントと直接やり取りすることを目的としています。2022年に設立されたAugustusは、ピーター・ティールのValar VenturesとCreandumの支援を受けており、これまでに約4,000万ドルを調達しています。
GateNews8分前
アクシャイ Claude Code 6層アーキテクチャ解析:モデルは単なるループ内の1つのノードにすぎない
AI 工程師 Akshay Pachaar 5 月 10 日在 X 上公開了一張 Claude Code の全体構成図で、システム全体を 6 つの階層に分解し、「モデルはループの中の一つのノードにすぎない」と強調した。Pachaar の投稿は、4 月 6 日の長文エッセイ『The Anatomy of an Agent Harness』を引用しており、ポイントは、Claude Code が「魔法のよう」に見えるのはモデルそのものではなく、harness 工学の精緻な設計にある、という点だ。 6 層構造:モデルはその中の 1 つのノード Pachaar が整理した Claude Code 6 層: 入力層(Input Layer):session 管理、権限制御、YAML 設定による信頼レベルを担当する。いかなる指令もモデルに入る前に、この層を経由する。 知識層(Knowledge Layer):skill registry、context compressor(3 段圧縮、92% の閾値で発火)、task graph、セッションをまたぐ記憶の保存を含む。これは harness の「知性
ChainNewsAbmedia1時間前
B.AIは、AIエージェントのトレーディング機能を強化するためにCoinAnkとの戦略的提携を発表しました
ChainCatcherによると、AIエージェントの金融インフラであるB.AIは、AIエージェントに強化されたデータに基づく意思決定能力を提供するため、CoinAnkとの戦略的パートナーシップを発表しました。この提携では、CoinAnkのデリバティブ分析と市場インテリジェンスを活用して、より適応的で情報に基づいた戦略のための取引シグナルを提供し、インテリジェントなエージェントが複雑な市場でより良い判断を下せるようにします。
GateNews7時間前
アリババ、AIの「小米(Xiaomi)カスタマーサポートエージェント」を提供開始。「AI+人」への転換率が初めて純粋な人による対応を上回る
AlibabaのTaobaoおよびTmallグループによると、同社は5月11日にAI Xiaomiをリリースした。これはEC業界初の、事前販売と事後販売の両方の機能を備えたカスタマーサービスエージェントである。実データでは、販売事業者がAI Xiaomiを導入した後、人への転送率(転送→人)が45%低下する一方で、「AI+人」の協働によるコンバージョン率は純粋な人によるカスタマーサービスを10%以上上回り、AI支援によるサービスが手作業のみの運用を上回ったのは初めてだという。 3月時点で、AI Xiaomiは毎日ほぼ1,000万件の会話を処理しており、100万社以上の事業者に導入されている。
GateNews8時間前
AIエージェントが懸賞タスクを完了し、計算コスト$2,000を燃やした後に$16.88を獲得
Beatingによると、開発者のクリスは最近、自分のAI Codexエージェントに5ドルを稼ぐよう指示した。22時間のあいだ、エージェントは自律的にワークフロー全体を完了し、コードの脆弱性を特定し、バグを修正し、開発者(保守担当者)と連絡を取り、支払いを検証した結果、16.88ドルを稼いだ。だが、開発者たちはすぐに採算性を批判した。高性能なAIエージェントを22時間連続で稼働させると、計算コストとして約2,000ドルを消費し、そのため純損失になった。クリスは、自分が月額20ドルのサブスクリプションプランを使っており、コストをAIプラットフォーム側に転嫁したと説明した。プロセス中に2回、アカウント制限が発動したにもかかわらず、彼は「次年までに、プラットフォームコストがトークン100万枚あたり2ドルまで下がれば、このモデルは利益を生むようになる」と維持している。
GateNews12時間前
Google Cloud と PayPal の幹部:AI エージェントによる商取引が暗号決済の軌道上で運用される
コンセンサス・マイアミで、Google CloudのWidmann氏とPayPalのZabaneh氏は、AIエージェントは従来の銀行口座を使用できず、暗号決済のルートを通る必要があると指摘した。GoogleはAP2をオープン協議として提示し、AIエージェントの支払い基盤として、またFIDO財団に寄付するとした。エージェントは金鍵の分散分片を通じてアクセスしなければならず、資金を単独で移転することはできない。PayPalのPYUSDはプログラマブルな決済レイヤーとして見なされ、加盟店は機械可読ディレクトリを備えている必要がある。AIエージェントのトラフィックは一般に多いものの、機械可読ディレクトリを備えた加盟店の割合は依然として低く、責任の所在や複数者によるカストディ(保管)問題は今後の確認が必要だ。
MarketWhisper12時間前