Mobile-Use Agent · AGI-0
AIが、あなたの
スマホの画面を操作する。
これまでAndroid版は招待制の非公開ベータにとどまっていたAGI-0が、早期アクセスへ拡大した。特別なAPIやプラグインを使わず、人間と同じように画面を読んでタップ・スクロール・入力をこなすモバイル操作エージェントで、主要ベンチマークで首位に立ち、Qualcommとのオンデバイス化提携も動き出している。
招待制から、
早期アクセスへ
AI, Inc.(旧MultiOn)のモバイル操作エージェント「AGI-0」が早期アクセスに拡大し、モバイル・デスクトップ操作の主要ベンチマークで首位に立ったと同社が発表した。詳細はAGI, Inc.公式ブログ「The World's Most Capable Mobile-Use Agent」で公開されている。特別なAPIやプラグインに依存せず、人間がスマホを見るのと同じように画面を認識し、タップ・スクロール・入力・アプリ間の移動を繰り返してタスクを完了させる設計が特徴で、対象はAndroidに限らず、ブラウザやデスクトップの操作にも及ぶ。
ベンチマークにはGoogleが公開する「AndroidWorld」が使われており、カレンダー・メモ・地図・VLC・メッセージ・設定・Webブラウザなど20の実アプリにまたがる116種類のタスクで評価される。AGI-0はここで既存システムを上回るスコアを記録したとされる。実アプリを直接操作させて採点する方式のため、専用テスト環境向けにチューニングされたスコアとは違い、実際のユーザー体験に近い難易度で評価されている点が特徴だ。
ベンチマークが
示す到達点
Qualcommとの提携で
端末内処理へ
クラウド経由の推論に加え、Snapdragon搭載端末上でエージェントをローカルに動かす取り組みが始まっている。
AI, Inc.はQualcommと正式に提携し、Snapdragon搭載ハードウェア上でエージェント処理をプライベートに実行できる体制の構築を進めていると報じられている。クラウドAPIに毎回問い合わせる方式から、端末側で完結する処理へ移行できれば、通信の往復による遅延や、操作内容が外部サーバーを経由することへの懸念を減らせる。スマホ操作を代行するエージェントは、パスワード入力や決済など機微な操作に触れる場面が多いため、この方向性は実用面でも意味が大きい。
クラウド版とオンデバイス版が併存する構成になれば、用途に応じた使い分けも視野に入る。定型的な操作はローカルで完結させ、複雑な判断が必要なタスクだけクラウドの大規模モデルに任せる、といった役割分担がハードウェアメーカー側との協業によって実装されていく可能性がある。
APIを待つのではなく、
画面を見て操作する。
誰に効き、
次に何が起きるか
エンジニアには、公式APIが存在しないアプリの操作を自動化したい場面での選択肢が広がる。画面認識ベースのため、対象アプリ側の対応や改修を待つ必要がない。PMにとっては、社内の定型的なスマホ操作(申請フローの代行チェックなど)を検証する際の候補が一つ増えたことになる。一方、ブラウザ操作の自動化だけで用が足りている人には、今回の話題はモバイル固有の話であり直接の関係は薄い。早期アクセスへの参加を検討する場合は、まず自分が自動化したい操作がAndroidWorldの評価対象アプリ群と近い性質かどうかを見極めるのが、期待値を外さない第一歩になる。
画面が変われば、
誤操作の余地も残る
ベンチマークでの首位は特定タスク群における評価結果であり、あらゆるアプリ・あらゆるUI変更に同じ精度で対応できるとは限らない。画面レイアウトが更新されたり、ダイアログの文言が変わったりした際に誤タップが起きる可能性は、API連携型の自動化に比べて構造的に残る。決済や個人情報の入力を伴うタスクを任せる際は、実行ログを確認できる範囲から始め、機微な操作は当面は人が最終承認する運用が無難だ。エラー率の詳細な内訳は現時点で公開されておらず、早期アクセスでの実運用データが今後の評価材料になる。
また、招待制からの拡大とはいえ、対象範囲は依然として限定的な早期アクセスの段階にある。一般提供に向けては、多様な端末機種・OSバージョンでの安定動作や、悪意あるアプリ側の妨害的なUI変更への耐性など、ベンチマーク上のスコアだけでは測れない検証項目がまだ残っている。