Seeing AIがビデオ説明に対応

Microsoftが開発した視覚障害者向けアプリであるSeeing AIが、ビデオの説明に対応しました。10月31日にリリースされたバージョン5.4以降で利用できます。

Seeing AIは、iOS/Android向けに無料で提供されており、カメラや近接センサー、AIを活用した視覚障害者をサポートする以下のような機能が利用できます。

• 短いテキスト：カメラを向けた方向にあるテキストをリアルタイムで読み上げます
• ドキュメント：印刷物などのドキュメントを撮影し、書かれている文字を読み上げます
• 製品：QRコードやバーコードを撮影し、製品に関する情報を読み上げます
• 人物：撮影した写真から、人の人数や表情についての情報や、あらかじめ登録した人物が含まれているかを読み上げます
• 通貨：カメラを向けた方向にある紙幣の種類を読み上げます（日本円にも対応済み）
• シーン：カメラで撮影、もしくは保存された写真全体に写っているものの種類や位置を読み上げます
• 世界：カメラで屋内にある物体をスキャンし、物体までの距離を読み上げたり、あらかじめ作成した屋内ルートのナビゲーションを行うなど、屋内での移動をサポートします
• 色：カメラを向けた方向にあるものの色を読み上げます
• 手書き：撮影した写真に含まれる手書き文字を読み上げます
• ライト：カメラを向けた方向の光の強さを音の高さによってフィードバックします
• その他の画像認識：他のアプリや保存された画像の内容を読み上げます

新たに追加されたビデオの説明では、あらかじめ撮影された動画もしくはmp4形式のファイルを読み込ませることで、シーンごとに音声での説明が追加された状態の映像を再生できます。いくつか動画を認識させたところ、風景や写っているものの動きの変化（止まっている、左から右へゆっくりと移動しているなど）を特に説明し、ものの形や大きさなどについてはあまり説明されない印象でした。

また、端末や回線の状況にも左右されるかと思いますが、30秒程度の動画の認識に1分半程度かかるなど、認識にはそれなりに時間がかかるようです。英語ではありますが、犬の様子や本に書かれたテキストを認識させるデモを行っている動画が公開されているので、こちらも併せてご覧ください（Video Descriptions with the new Seeing AI Update!）。

これまでも、Seeing AIをはじめとして、写真の説明をAIによって生成するアプリはいくつかリリースされていますが、動画を説明するアプリは存在しなかったのではないでしょうか。私自身、AIによる写真の説明が利用できるようになって以降、写真を撮る頻度が増え、これまでとは違った楽しみ方もできるようになりました。

AIによる写真認識のように、こちらから追加で動画について質問したり、ピンポイントで説明を生成できる個所を指定できるようになるなど、動画の楽しみ方の幅が広がることに期待したいです。