クラウドAIを使って視覚世界を伝えるアプリ「Seeing AI」。開発物語と活用方法を教えてもらいにマイクロソフトを訪ねました！

視覚世界を多様なアプローチで伝えてくれるアプリ

こんにちは。mazecoze研究所の平原です。
突然ですが、まずはこちらの動画をご覧ください。

動画には、視覚障害のある女性が様々な場面で「Seeing AI」というアプリを活用している様子が映し出されています。
スマホをかざすと会議室の部屋番号が読み上げられ、カメラの前にいる子どもの状況や、洋服の色なども音声で伝わって。

これどうなってるの、とやや混乱しながらも、見えなかった視覚情報がわかるようになること、そして選択肢の多さからアプリを使う人の自由が広がっていく様子に感動しました。

しかも、動画に登場している石井暁子さんは、私が以前人材教育の会社に勤めていたときに大変お世話になった方！
当時マイクロソフトで人事の仕事をされていた石井さんと、ITラーニングという人材育成プログラムの立ち上げをご一緒し、５年ほど運営に携わりました。仕事を通じて、石井さんからはダイバーシティの視点をたくさん教えていただいたのです。

これは、mazecozeでも伝え広めたい、ふたたびマイクロさんを訪ねる時がきた……一人謎の使命感に燃え、お話を聞いてきました！

※いますぐSeeing AIを試したい方はこちらのApp Storeから無料でダウンロードできますよー

Seeing AI開発物語を聞きに日本マイクロソフトへ！

2020年1月某日、日本マイクロソフト品川本社を訪ねました。
取材に応じてくださったのは、日本マイクロソフト株式会社 アクセシビリティ・エイジングソサエティ担当の大島友子さんと、コーポレートコミュニケーション本部の石井和典さんです。

大島さんは、アクセシビリティ界の有名人。素敵な方だな、お会いしてみたいなとずっと思っていたので、当日会議室にいらしたのを見てドッキリを仕掛けられた人みたいにわーわー騒いでしまいましたよ。うれしかったです。

2019年12月3日に日本語版がリリースされ、現在は6言語対応、世界70か国で使用されているSeeing AIですが、その誕生物語とはいかに。早速うかがいました！

社内ハッカソンから生まれた研究プロジェクト

Seeing AI の原点となるプロジェクトが立ち上がったのは、2014年のことだそう。

大島さん「マイクロソフトでは社内ハッカソン※をよく開催します。エンジニアが多いので、普段の仕事とは別に“こんなのあったらいいよね”というアイデアを持ち寄るハッカソンウィークというのもあって、例年すごく盛り上がるんです。
2014年のハッカソンで、シャキブ シャイフというプログラマーが中心となって“AIを用いて視覚障害のある人のためのことをやろうよ”と言い出したのが、Seeing AI のスタートでした」
※ハッカソン：ハックとマラソンが掛け合わされた造語。エンジニアやデザイナーなどのチームが短期間でサービスやシステムを開発し成果を競う開発イベント

ご自身も視覚に障害があるシャキブさんがハッカソンで発案した後、有志たちが社内ボランティアでプロジェクトを推進し、翌年のハッカソンでも再提案。
マイクロソフトの研究開発機関マイクロソフトリサーチとの共同体制が生まれ、プロトタイプを経て、2017年に英語版のSeeing AI がリリースされました。

その後、CESアジア、モバイル世界会議、アメリカ盲人協会、アメリカ盲人協会のヘレン・ケラー賞など数多くの賞を受賞し、瞬く間に世界にその存在が知れ渡ったのだそう。

大島さん「すごい反響でしたよ。まずは英語版だけだったのですが、英語圏ではない人たちも含めて、視覚障害のある方やそうでない方からも反応がありました。ムービーに出演してくれた石井暁子さんも、英語版の時からのリアルユーザーだったんです」

-日本語、オランダ語、ドイツ語、フランス語、スペイン語版の登場に、「待ってました！」と喜ぶ人がたくさんいたのでしょうね。シャキブさんはいま、こうしたグローバル展開にも関わられているのでしょうか？

大島さん「多言語版についても彼のチームとやりとりしています。社内ボランティアベースでのはじまりが、いまではマイクロソフトの一事業として、シャキブが部門を牽引しています」

ハッカソンのアイデアが製品機能の一部に組み込まれることはよくあるそうですが、Seeing AIのように製品そのものになるのはマイクロソフトでも珍しい事例なのそう。

大島さん「2016年にプロトタイプを発表したときには、社内で年に一度やっている開発者向けビッグイベントで、CEOがキーノートスピーチの最後にSeeing AI の動画を流しました。そこにシャキブが登場して、すごく盛り上がったのだそうです。社員にとってもシャキブやSeeing AIの存在はロールモデルやモチベーションアップになっていると思います」

７歳で視力を失ってから、“コンピューターを通じて世界が変わった”というシャキブさんが、人々の生活をより良くするものを作りたいと願って生み出したSeeing AI。
“私にとっては、見果てぬ夢のようであった世界がひとつずつ現実になりつつあります。そしてそれは、まだ始まったばかりなのです”と動画で語られています。

個人的な物語やビジョンから起こったイノベーション。夢があって、いま社会が求めているのってこういうことではないかな、としみじみ。

Seeing AIの使い方、視覚障害がある人からのアイデアも

ここからは、Seeing AIの活用方法について教えてもらいたいと思います。
Seeing AIに搭載されているのは次の8チャンネル。

• 短いテキスト：カメラに写るテキストを瞬時に読み上げる
• ドキュメント：書類をキャプチャし認識する。フレームに対象書類を納めるナビもしてくれる
• 製品：商品のバーコードから名前とパッケージ情報を認識する
• 人物：目の前にいる人を認識し、推定年齢、性別、感情なども読み上げる
• 通貨：紙幣を識別する
• シーン：キャプチャされた風景について説明する
• 色：色を識別する
• ライト：カメラに写る明るさに対応したトーン音がなる。明るいと高音、暗いと低音

認識したいものや状況に合わせて画面下のチャンネルを切り替えると、カメラに写ったものが読み上げられるというしくみです。
Voice Over（アップル製品に内蔵されているスクリーンリーダー）をオンにすると、Seeing AI の中で起こるすべての機能が音声で読み上げられるのだそう。

大島さん「“見えない自分がこうだったら使いやすい”という視点でシャキブが開発したアプリなので、視覚障害のある人に使いやすいユーザーインターフェースになっていると思います。
いろいろなチャンネルが一つのアプリに入っているのも、シャキブならではの発想で。色を見る、お札を識別するなどのアプリはすでにあるのですが、個別のアプリなんですね。そうすると、使いたい時にそれぞれのアプリを立ち上げて、操作方法や判別ボタンも違ってということになります。Seeing AIでは、様々な機能が同じ操作で使えるところにすごく評価をいただいています」

-よく使われている機能や、思いがけない活用方法をユーザーさんから教えてもらったなどありましたら聞かせてください。

大島さん「“短いテキスト”はオフラインでも使える※ので、使用頻度が高いと聞きます。
はじめ私は、郵便物が来たときに封筒に書かれたテキストを読み上げるような使われ方を想像していたんです。そうしたら石井暁子さんが“一番使っているのは賞味期限を見るとき”だと。暮らしに根差しているなと思いました。
体温計や血糖値を測る機器の読み上げに使っている方もいます。紙だけじゃないんだ！という驚きがありました」
※“短いテキスト”“人物” “色” “通貨” “ライト” もオフラインで利用できる

-それぞれのアイデアで活用の幅が広がっているのですね。

大島さん「明るさで音が変わる “ライト”という機能は、実は全く良さが分からなくて、石井さんに紹介した時にも説明をスルーしたんです（笑）ところが石井さんが“これがすごくいい”と言ってくれて。
お子さんがなかなか寝ないことがあったそうなんです。石井さんは電気を消したつもりが消し忘れていて、でもその状況を見て確認することができなかった。それで明るいからずっと遊んでいたと。 “これがあれば明るさの程度が音の高低で分かる、すごくいい機能だよ！”と。
ああそうなんだ！って思いましたね。明るさで音が変わることの意味が私にはピンとこなかったのですが、全盲の人や光覚がない人にはとても使える機能だったという」

私も “ライト”はすごくユニークだと思いました。光のグラデーションが音の高低で届くのが直感的で、音に光を感じるってこういうことなのかな、共感覚の人が感じる世界ってこんな感じ？など想像が膨らんで。
Seeing AIを通じてサービスを提供する側、使う人それぞれに発見があるって楽しいですね！

暮らしに役立てると同時に、テクノロジーを知ってもらう機会に

-ところでこのSeeing AI、「AI」はどのあたりに使われているのでしょうか？

大島さん「たとえば“ドキュメント”というチャンネルでは、紙の文書を撮影した画像から文字を認識して抜き出すことにAIが使われています。スマホで撮影した画像がマイクロソフトのクラウドに送られ、そこでAIで解析して文字を抜き出し、その文字をスマホに戻してスマホで読み上げるということが行われています。
そのAIがCognitive ServicesというマイクロソフトのクラウドAIです」

-クラウドAI……。ここでそもそもAIについてよくわかっていないことを突然告白しつつ、クラウドAIって何なのかというところからぜひ教えていただきたく！

大島さん「AI・人工知能は、機械が人間の知的なふるまいを模倣する技術のことをいいます。たとえば画像を分析する、音声を理解する、自然な対話をする、データを使用した予測をするなど、AIにできることは多岐にわたっているんですよ。
でもAIが分析したりするためには、事前に多くのデータから学習していないといけなんですよね。その学習させるということが大変なんですが、Cognitive Servicesは既に学習させたAIをどなたにでも使っていただけるようにクラウドで公開しているんです」

-すごいー。Seeing AIは、クラウドAIにつながったアプリで、AIやその他さまざまな技術が絶妙に組み合わさってできているのですね。

大島さん「たとえばCognitive ServicesのFaceという感情認識をする機能はSeeing AIにも活用されています」

大島さん「まだあまり知られていないのですが、メニューから“写真の参照”を選ぶと、カメラに保存した写真を説明してくれる機能もあります。登録しておけばその人の名前が読み上げられますし、有名人であればAIがデータベースから認識します」

“写真の参照”でカメラロールから読み上げてもらいました。お皿の上のチョコレートケーキ。正解！

SNSにアップされた写真を確認するために説明機能を活用している人もいるのだそう。
気になりだすと頭から離れない「この人誰だっけ？」な有名人の名前探しにも使えそうです（笑）

大島さん「“探索”を使えば、写真のどこに何が写っていかも教えてくれますよ。顔だったり犬だったり、数字やテキストも読み上げます」

- Seeing AIは無料で提供されていますが、マイクロソフトさんとしてはビジネスではなく社会貢献という位置づけなのでしょうか。

大島さん「必要とする人の生活に役立てていただきながら、AIってこういう風に使えるんだよ、とマイクロソフトの技術を知ってもらうプロモーションになっていると思っています。Cognitive Servicesは、開発者の方向けにすでに提供しているんですよ」

私も色々さわってみましたが、Seeing AIは簡単で便利でおもしろい！
大島さんがおっしゃるように、このアプリを通じてテクノロジーのおもしろさや可能性に気づき、それぞれの目的や活動に取り入れてみようとする人も多いと思います。

テクノロジーを未踏の価値につなぐ人

-今後、技術の発展に伴って、Seeing AIの機能もさらに成長していくのでしょうか。

大島さん「Seeing AIにそれを入れるのがいいのかどうかというのはあると思いますが、私のアクセシビリティの仕事って、30年前はWindowsの中で音声読み上げ機能や背景色の変更、キーボードのみで操作を完結できる機能などを搭載していくことに限られていました。今はAIがあって、新しい機能が出たらこれって障害のある人にとってどうやって使えるんだろう、応用したらどうなるかな、と考えてつなぐのが自分の仕事になっています。面白いです、すごく」

アクセシビリティとは、情報やサービスや交通などに誰もがアクセスできることやそのしやすさのこと。アクセシビリティの歴史と変化を目の当たりにしてきた大島さんはいま、ご自身を「価値をつなぐ役割」だと捉えられているのですね。

大島さん「キネクトという、動きをセンサーで捉えるカメラがあります。Xboxというゲーム用に開発された、コントローラーを持たずに身体の動きや音声でゲーム操作ができる機器なのですが、これが出た時に障害のある人に使えないかなと。
大学の先生に相談したところ、障害が重くて体を動かしにくいお子さん向けのアプリを作ってくださったことがあります。
カメラが読み取ると、今この部分だけわずかに動いているとか、音楽をかけるとニコニコ笑っている、暗くするとよく動くなど、人の目では認識できなかったことがわかるようになって。ここは動かしやすいんだとか、この音楽が好きなんだとか、暗くした方が動けるんだなど、お子さんへの理解が深まったという親御さんもいます」

-いまあるものから新しい価値を生みだすのは、Seeing AIにも共通した視点ですね。新しいテクノロジーの情報は、大島さんのもとへ日々集まってくるのでしょうか？

大島さん「いや、そんなことないです、ぜんぜん。一生懸命取りにいって情報をかき入れています（笑）新しい技術ばっかりなので、とても勉強になりますね」

「AIが人の仕事を奪う」という話をよく聞く中で、人間の強みである想像力や思考することと、それを拡張するAIの力を協働させてより良い世界を作る。
部門や会社を越境して技術や人とつながり、それを実現させている大島さんは、まさに最先端の働き方をされていると感じます。

大島さん「誰にもどうにもできないと思っていたことがAIであったら可能になる。アクセシビリティからAIの良いところをちゃんと伝えていけたらなと思っています」

現在大島さんは、マイクロソフトの障害者向けAI助成プログラム「AI for Accessibility」も推進し、AI活用のソリューションをサポートされています。
世界中の企業や大学機関から応募を受けるワールドワイドな取り組みながら、２つのプロジェクトが日本初の助成対象になっているのだとか！

大島さん「ALS(筋萎縮性側索硬化症)でロックドインシンドローム※の状況になった人に、瞳孔の動きを活用して意思伝達を図れるようにする東京工業大学の取り組みがあり、マイクロソフトではマシンラーニングというAI技術を使ってシステムの精度を上げる応援をしています」
※ロックドインシンドローム 閉じ込め症候群。意識が保たれてるにもかかわらず、手足の動きや発話などの意思表出が失われた状態

最後に、Seeing AIのこれからの展望について、大島さんに聞きました。

大島さん「石井暁子さんは、“Seeing AIを使うと、目が見えていた時の感覚になれる”っておっしゃいました。
いま、若い方を中心に少しずつ認知が広がってきていますが、視覚障害は情報障害とも言われているように、情報につながることが難しく“え、そんなのがあったの”と言ってくださる方がまだまだ多いです。まずは知っていただきたいです。無料ですし、ぜひ活用していただきたいと思います」

“地球上のすべての個人とすべての組織が、より多くのことを達成できるようにする”というマイクロソフトの企業ミッション。
今回お話をうかがって、見えない人の選択肢と自由を引き出すSeeing AIは、まさにミッションを体現する物語だと感じました。

大島さん、石井さん、貴重なお時間をいただきありがとうございました。AI for Accessibilityのお取り組みなど、ぜひまたお聞かせください！

○Seeing AI（App Store）

（撮影 河野陽介）