iOS 27で進化した画像や画面の説明機能

先日リリースされたiOS 27では、音声コントロールや拡大鏡の機能強化など、アクセシビリティに関するさまざまな改善が行われています。

その中でも、日常的にVoiceOverを利用している筆者が注目したのが、VoiceOverの画像・画面説明機能の強化です。iOS 27では、Apple Intelligenceを活用することで、より詳細な画像や画面の説明を得られるようになりました。

これまでにも、VoiceOverでは画像の簡易的な説明を読み上げたり、画面内のラベルのない要素を読み取る機能が利用できました（以前の記事「TalkBackの画像説明機能」でも触れています）。ただし、特に日本語環境では、得られる情報が限られていたり、認識が安定しないことが多くありました。iOS 27では、フォーカスが当たっている画像や要素の詳細な説明を読み上げたり、画面全体の説明を得られるようになりました。

これらの機能は、ローターコントロールの「画像認識」から利用できます。画像認識関連のそれぞれの機能の表示は、設定>アクセシビリティ>VoiceOver>ローター>画像認識ローターから切り替えられます。

画像認識では、以下の機能が利用できます。なお、「画像/項目」等と記載しているのは、フォーカスが画像に当たっているか、それ以外の項目に当たっているかで、読み上げが変化することを表しています。

• 画像/項目の説明：フォーカスが当たっている画像や項目についての説明が読み上げられます
• 画像/項目について質問：フォーカスが当たっている画像や項目について、音声入力で質問することができます
• 画像を詳しく見る/項目を詳しく調べる：フォーカスが当たっている画像や項目についての説明がポップアップとして表示され、文字入力や音声で追加の質問が行えます
• 画面について質問：表示されている画面全体について、音声入力で質問することができます
• 画面を詳しく見る：表示されている画面全体についての説明がポップアップとして表示され、文字入力や音声で追加の質問が行えます
• 画面の説明：表示されている画面全体についての説明が読み上げられます
• インテリジェントな画像の説明を保存：写真アプリ上で、フォーカスが当たっている画像について、画像のキャプションに得られた説明が記載されます。写真にフォーカスを移動すると、保存されたキャプションが読み上げられます

例えば、当社の「アクセシビリティ」サービスページの、多様なユーザーやデバイスからのWebコンテンツへのアクセスを表す図で、「画像の説明」を利用すると、以下のような結果となりました。

上部に「Webコンテンツ」と緑色の文字で書かれ、その下に3つの重なり合うウェブブラウザのウィンドウが配置された図解。中央には「多様なデバイスからのアクセス」と白文字で書かれた赤い矢印の帯があり、その下から上に向かって青い矢印が伸びています。青い矢印の根元は円形に広がっており、その中に杖をついて座っている人と立っている人の白いピクトグラムが描かれ、その左右には青いパソコンのモニターとスマートフォンが配置されています。

参考に、従来から存在するサードパーティーの画像認識アプリであるBe My Eyesで上記の画像を読み込ませると、以下のような結果となりました。

青いしずく型の図形の中に、高齢者と健常者を示す白いピクトグラムの人物2人が描かれているイラスト。片方は杖をついた前かがみの人、もう片方はまっすぐ立った人。 しずく型の上には上向きの青い矢印が伸び、その上に赤い横長の帯があり、白文字で「多様なデバイスからのアクセス」と書かれている。 赤い帯のさらに上には、複数のウェブブラウザ画面のような白いウィンドウが3枚ほど重なって配置されており、その上に緑色の文字で「Webコンテンツ」と書かれている。 しずく型の左右には、左側にデスクトップパソコンのモニターのアイコン、右側にスマートフォンのアイコンが描かれていて、いろいろな機器からアクセスしているイメージになっている。

Be My Eyesの方がより詳細な説明が得られていますが、画像を共有するための手順が必要ですし、認識には数秒～十数秒程度時間がかかります。一方、VoiceOverの「画像の説明」を利用する場合、ローターから選択するだけなのですぐに実行でき、かつ数秒程度で説明を確認できます。

また、前述の画像認識とは別に、ローターコントロールの「画面認識」という機能についても、公式な記載は見当たらないものの、日本語UIの認識精度が向上している印象です。画面認識を有効にすると、ラベルが設定されていない項目や、通常ではフォーカスが当たらないボタンにフォーカスを当てたり、操作したりすることができます。

こちらの機能は現状も動作がやや不安定で、正しく要素名を読み取れなかったり、フォーカスが移動できないこともあります。ただ、iOS 26では、この機能を使っても個別の項目がまとめて読み上げられたり、特定のボタンに移動できないアプリがありました。iOS 27では、そうしたアプリでも、フォーカスを移動して実行できるケースがありました。

なお、前述の画像認識機能はApple Intelligenceを活用しているため、対応機種（iPhone 15 Pro、iPhone 15 Pro Max、iPhone 16以降）でのみ利用できる点は注意が必要です。視覚障害者が単独で得られる情報の幅を広げる機能として、今後のさらなる進化に期待したいです。