Sign Language AI · Pixel 11
手話を読み取り、
その場で文字にするスマホ。
Google DeepMindの手話認識モデル「SL2T」が、8月13日発表のPixel 11に搭載されました。カメラに向かって手を動かすだけで、ASL(アメリカ手話)がその場で英語のテキストになる——研究段階だった手話認識が、初めて量産スマートフォンの標準機能として出荷されます。
「研究成果」から
「毎日使う機能」へ
これまで手話認識はGoogle DeepMindの研究論文やデモの域を出ていませんでしたが、8月12〜13日の「Made by Google」でPixel 11が発表され、DeepMindの手話認識モデル「SL2T(Sign Language to Text)」がGboardとLive Transcribeの標準機能として搭載されることが明らかになりました。米国手話(ASL)を英語テキストへリアルタイム変換する機能で、DeepMind自身が公式ブログ「Putting sign language AI into users' hands」で技術詳細を公開しています。
Pixel 11は8月20日に発売予定で、これに合わせてSL2Tも一般ユーザーの手に渡ります。DeepMind公式アカウントは「Android向けにろう者・難聴者向け新機能を支える、私たちのブレークスルーモデル」と紹介しており、Web検索やメッセージ作成、Geminiへの問いかけまで、テキスト入力欄であればサインするだけで文字が入力できるようになります。単発の研究デモではなく、量産ハードウェアに載る製品として世に出た点が、今回のニュースの核心です。
映像は送らず、
骨格の座標だけを送る
プライバシーへの配慮から、SL2Tはカメラ映像そのものではなく「体の動きを表す点の並び」だけを扱う設計になっています。
端末上でランドマーク抽出
Googleの姿勢推定基盤「MediaPipe Holistic」ベースのモデルが端末上で動作し、カメラ映像を顔・体・手の骨格を表す約130点の座標列に変換します。元の映像はここで破棄され、送信されません。
座標列だけをSL2Tへ
サーバー側に渡るのは、動画ではなく数値の座標データのみ。学習データは50以上の手話言語・10万時間超に及び、うちASLは全体の約4分の1を占めるとされています。
グロスを介さず直接テキスト化
従来の手話翻訳は「グロス」と呼ばれる中間表記を経由することが多く、表情や空間の使い方といった非手指要素を取りこぼしがちでした。SL2Tは座標列から英語テキストへ直接変換し、この制約を外しています。
キーボードの代わりに、
手話で入力する
機能はアプリ単体ではなく、Gboardという既存の入力面に組み込まれているのが特徴です。
Gboardでの文字入力
キーボード言語をen-US／en-CAに設定すると、カメラアイコンから手話入力を呼び出せます。検索窓やメッセージアプリなど、テキスト入力欄であればどこでも使えます。
Live Transcribeでの対面会話
相手が話した音声を字幕化する既存機能に、ろう者側のサインを文字化する経路が加わり、双方向の会話をその場でテキストのやり取りに変換できます。
Geminiへの手話クエリ
音声アシスタントに話しかける代わりに、サインでGeminiへ質問や指示を出せます。音声入力に依存しないAIアシスタント操作の一例になります。
ろう者のためではなく、ろう者とともに作る。
誰に、どう効くか
SL2T自体は、Googleのろう者社員Sam Sepah氏が発案し、DeepMindが招集した「AI Sign Language Advisory Committee」(ろう者団体・当事者専門家で構成)と共同で開発が進められたと報じられています。データ収集からユーザー評価、影響評価までろう者コミュニティが関わり、今回の1.0リリースに合わせて共同のインパクトレポートも公開されたとされます。この当事者共同設計のプロセス自体が、他分野のアクセシビリティ機能開発にも参照価値のあるモデルケースです。
デザイナーには、専用アプリを新設せず既存のGboard・Live Transcribeという「すでに使われている入力面」に機能を差し込んだ設計が参考になります。新しい体験を作るのではなく、既存の動線に自然に足す発想です。エンジニアには、映像そのものを送らずMediaPipe Holisticで抽出した約130点の座標列だけをサーバーに渡す構成が、プライバシーを保ちながらジェスチャー・姿勢認識をクラウド推論に繋ぐ一つの実装パターンとして参考になります。プロダクトマネージャーには、いきなり全言語対応を狙わずASL一言語から段階展開し、当事者諮問委員会を通じて優先順位を決めていく進め方が、アクセシビリティ機能のロードマップの立て方として学びになります。
楽観だけでは語れない
世界で手話を使う人はおよそ7,000万人ともされますが、SL2Tが今回対応するのはASLから英語への一方向のみです。DeepMindは他の手話言語への拡張やサイン生成(テキストから手話への逆変換)を「今後の課題」としており、時期は明言されていません。報道によれば、まれな手話単語や早い指文字ではまだ誤認識が起きるとされ、話者の属性別の誤り率(片手・利き手差など一部を除く)は公開されていません。
提供範囲も現時点ではPixel 11という単一機種に限定され、他のAndroid端末への展開は「近日対応」とされるにとどまります。手話ユーザーにとっての本当の到達点は、1機種・1機能の実装ではなく、音声言語と同じレベルでデジタル製品全体に手話が組み込まれることです。ASLでの成果が、文法も地域差も異なる数十の手話言語に展開されたときにも同じ精度を保てるかどうかが、この技術が一過性の発表で終わるか本当の転換点になるかを左右します。