TalkBackの画像説明機能
アクセシビリティ・エンジニア 大塚Androidに標準でインストールされているスクリーンリーダーのTalkBackでは、画像の説明機能が利用できます。
この機能を利用すると、TalkBackのフォーカスがある項目について、Googleの生成AIを利用した説明を、以下の手順で確認できます。
- 説明を確認したい項目にTalkBackのフォーカスを移動します。
- TalkBackメニューを開き、「画像の説明」を選択します。
初めて機能を利用する際には、機能の利用を確認するポップアップが表示されます。その後、数秒で画像の説明が生成され、読み上げられます。
生成結果の画面には、認識対象の色や形などの詳細な内容と、読み取ることができるテキスト情報が記載されています。
「画像の説明」という機能名ではありますが、画像に限らずボタンやテキストなど、TalkBackのフォーカスが移動できる項目であれば説明を取得できます。
完全ではないものの、画像に写っているものを確認したり、ラベルが設定されていないボタンの機能を確認するなど、活用できる場面は多くあります。Webページの閲覧中にも利用できますが、日本語のテキスト認識の精度には課題があり、例えばWebページ上の画像から日本語のテキスト情報を得るといった利用は難しい印象です。
他のスクリーンリーダーで類似の機能としては、iOSのVoiceOverでも画像の説明を読み上げたり、画面上のラベルのない要素などを読み取る機能が利用できます。VoiceOverでは、これらは「画像説明」と「画面認識」という別々の機能として提供されています。
いずれの機能も、設定 > アクセシビリティ > VoiceOver > VoiceOver認識から有効にできます。画像説明については、写っているものの名前や色などが読み上げられますが、TalkBackと比べると得られる情報が簡易的な印象です。画面認識によるボタンなどの読み上げについては、日本語環境では認識が安定せず、同じ画面を開いていても、文字のほとんどが認識されないことがあったり、機能の動作自体が安定しないのが現状です。
TalkBackでは、英語での利用に限られるものの、画像説明機能によって得られた説明に対して、Geminiに追加で質問する機能が利用できます。今後、こうした機能の日本語対応も期待されます。