視覚障がい者が目先のモノが耳で区別できると好評!話題の無料iOSアプリiDentifiはカナダの高校生の使命感を日本語版で感じた!


カナダの高校生が開発したというiPhone/iPad用の視覚補助アプリのページ

画像は、カナダの高校生が開発したというiPhone/iPad用の視覚補助アプリiDentifiアプリ AppStoreサイトから

 

つまり日常生活で見えない不便を減らすアプリ

チューブ入りのわさび・わしょうが・ニンニクを目隠しでの状態からiPhoneが読み上げるには?

あなたがシャンプーとリンスを使おうとしています。

目をつぶりながら、シャンプーをしたまま次にリンスを取ろうとボトルを選ぶ時の凹凸のないボトルから手触りで選ぶことができるように業界が改善していきました。

自分のセンスに合わせた容器を別に用意した場合はどうでしょうか?

時に同じ形状のボトルの場合は目印が必要になります。リボンなどをつけて分かるようにすれば同じボトルでも区別は付けられますね。

 

iPhoneが撮影したモノがどんなモノなのかを見えない苦労を助けるアプリがリリースされました。

techchurch内にカナダのトロントの高校3年生が視聴覚障がい者に安心して日常生活を送るためのアプリを開発したというニュースを読みました。

(開発した高校生の公式サイトはhttp://getidentifi.com/です。)

英語圏のアプリなので日本語で生活する場合には応用が効かないのかもと読み進めるうちに96言語に対応という表示に担当は感激しました。

そこで、早速iPhoneに入れて、確かめてみることにしたいと思います。

インストール画面からすでに環境設定や手順というように日本語でアプリを入れられるような様子です。

iPhoneから早速検索をかけてみました。

(iPhoneは5で、iOSは10にアップデートしてあります。)すぐに見つかり、ダウンロード後に開いてみます。

iOS 9.0 以上でiPhoneや iPadだけでなく、iPod touchでも動作し、25言語以上に対応するようにデザインしました。

すぐにでもAndroid OSでも動作するように開発中だそうです。将来は96言語まで増やしたいとのこと。

環境設定と手順(利用法) 写真の選択、写真の撮影の4つのエリアから使います。

環境設定と手順(利用法)
写真の選択、写真の撮影の4つのエリアから使います。

アプリの利用する手順はシンプルに撮影した情報を音声で読み上げ

ピンク色のエリアを選択すると次のような音声案内が流れました。

あなたは標準のカメラアプリと同じように(同じようには二度言われる)写真を取るために画面の右下スミをタップします。

また、あなたのライブラリから写真を選択するには、右下スミをタップすることができます。

「設定や手順については、右上のための左上をタップします。」

手順は右上のエリアを、左上というのは環境設定のエリアを説明するための直訳なのでしょう。

見えない視界をiPhoneがカメラで読み取り読み上げるアプリ

最初にiDentifiを開くとVoiceOverをオンにするように求められます。

最初にiDentifiを開くと次のように求められます。

このアプリはiPhoneのVoiceOver機能、音声読み上げ機能が前提です。

このアプリはiPhoneのVoiceOver機能、音声読み上げ機能が前提です。

 

そうすると、VoiceOverの設定を有効にする≒オンにしてもらうようにお願いされました。

iPhoneというとSafariやYoutubeぐらいしか使わないケータイ担当にとって、iPhoneのオーディオ機能らしきVoiceOverという用語にまずギブアップします。

検索によると視覚のアクセシビリティ – iPhone – Apple(日本)からは、

“iPhoneは、ブライユ点字ディスプレイに対応した内蔵画面読み上げ機能であるVoiceOver”という説明が見つかりました。

  1. 設定ボタンを押す。
  2. アクセシビリティを選択する。
  3. 一番上のVoiceOverの機能をオフからオンへ設定します。

選択をしたらダブルタップで決定していきます。

iDentifiアプリが写真へのアクセスを求めますのでOKにしましょう。

iDentifiアプリが写真へのアクセスを求めますのでOKにしましょう。

アプリの手順をVoiceOverで聞いてみる

Momentsはモーマンツ

日本語に対応とあるのは、英語で利用される単語をカタカナや日本語に合わせて訳した言葉に変換してくれたもののようです。

Photoという単語をフォトと読む人は多いと思います。iPhoneのヘッドフォンからは「ふぉーとんず」というように聞こえます。

キャンセルは「きゃんさる」というように聞こえます。Favoritesは「ふぁぼらいつ」と聞こえます。

iPhoneのカメラアプリの日本向けの案内は英語の直訳から抜けきっていないよう

担当が普段、VoiceOverを使いこなすほどに慣れていないだけでなくiOSそれ自体も日本向けのユーザーへの分かりやすい案内の充実に向け発展途上のような気がしました。

手元にあった午後の紅茶のミルクティーの容器に入った普通の紅茶を撮影

手元にあった午後の紅茶のミルクティーの容器に入った普通の紅茶を撮影

ストレートティーの入った紅茶のペットボトルでも、きちんと容器の情報を解析して読み上げるiDentifi

「ローディング」という案内の後でしばらくiPhoneが分析に時間をかけているようです。10秒以内のときもあります。

「それは白いプラスチック製のテーブルと、プジョーのペットボトルのミルクティーです。」

紅茶の色ではなく、ミルクティーの英語を読み取っています。

OCRのように文字を読み取ってスペルで認識するすごいアプリですね。

英単語の発音をローマ字で読み上げをしているシステムのようです。

漢字熟語の読み方はとくに不自然な発音ではありません。

「写真を選択」は「しゃしんをせんたく」ときちんと案内音声が出てきます。

 

数回に渡り解説を求めると視覚補助のクオリティ洗練される

IOデータのUSBメモリを撮影してみました。

IOデータのUSBメモリを撮影してみました。

カメラで撮影された画像を認識し分析した上で、読み上げるアプリのようです。

「つまりデータの赤いSomeドライブであります。」

英文を日本語に苦労して翻訳しているのが分かります。

キシリトールクリスタルというキャンディをカメラで撮影して読み上げてもらいます。

キシリトールクリスタルというキャンディをカメラで撮影して読み上げてもらいます。

「それはピンク・黒飴です」

うーん、ちょっとこれはなんだか分かりません。もう一度、Momentsフォルダ内のキャンディを選び直します。

「それは日本のスクリプトラベルキャンディです」

ちゃんと日本のキャンディなのか外国なのか判断がついたのでしょうか?なんとなく、伝わってきますね。

「それはピンクキャンディパックです」

だんだん日本語として意味の通る説明へ進化しています。

日常生活に欠かせない買ったナイフを撮影してみます。

日常生活に欠かせない買ったナイフを撮影してみます。

「それは表面に青い白のカッターであります。」

おなじみのエアコンのリモコンを撮影してみます。

おなじみのエアコンのリモコンを撮影してみます。

「つまりの23のACリモートであります。」

簡単には、23度を表示している(交流電源で動く)家電のリモコンということになりました。

カメラから液晶表示の23度という数値をきちんと認識しています。これだけでも驚きです。

同じリモコンでもテレビのリモコンを撮影して、エアコンのリモコンと違うような案内になるのかさらに試してみたくなります。

 

読み上げた後ですぐに環境設定というガイド音声が邪魔になってしまった

せっかく、ローディングという前置きの音声のタイミングにより撮影されたモノが何なのかという肝心な音声読み上げと重なることがあります。

担当がVoiceOverを使ったiPhoneの読み上げ操作に慣れていないだけであるかもしれません。

画面を見ながら操作している限りですが、少し聞き取りにくい印象を持ちました。

「ローディング/Loading」という分かりにくい単語も、日本向けに「この写真を解析します」という案内に置き換えるだけでも十分かも。

担当がもしこの言葉を言い換えるのならば、「これからお選びになった写真をご案内します」という前置きに当たる単語と察します。

後で選択した写真の後の操作画面設定の読み上げと「ローディングという」音声がかぶり聞き取りにくいことがあります。

 

 

小型のカゴメ中濃ソースのイメージ

http://www.kagome.co.jp/products/food/10131/より、小型のカゴメ中濃ソースこぶりちゃんで読み上げてみます。

文章入力に必須の辞書機能に匹敵するiDentifiアプリの生活用品データベースを今後充実させるには

上のカゴメ中濃ソースのこぶりちゃんをカメラで撮影して音声読み上げをお願いします。アプリはこう読み上げたのです。

「つまり、カゴメのボトルです。」

もしも、このiDentifiアプリにより、見かけだけで「とんかつソース」といわずに「中濃ソースです」ときちんと区別できたらさらにびっくりです。

iDentifiはコーラでコカ・コーラなのかペプシなのか見分けがつくのがスゴイとユーザーから好評だそうです。

カナダの高校生が開発したアプリが日本国内利用を意識した上でカスタマイズされるのが楽しみです。

ハウスの七味唐辛子の小瓶のイメージ

http://housefoods.jp/products/catalog/cd_1,085414,spice2,wafu,siti.htmlより

同じく上記のカメラで撮影した画像を読み上げしてもらいました。

「それは赤色のビンです。」

一味唐辛子なのか七味唐辛子なのか、ハウスなのかSBの辛子なのかまでは区別は付きません。

 

元々カナダの暮らしに合わせた生活用品で構成されているアプリで日本国内利用でここまで高機能に分析できるとは!!!

実際にとても便利なアプリをありがとうとの感謝のメッセージがAnmol Tukrel氏のところへ多く寄せられているそうです。

 

見づらい苦労を助けるスマートフォンアプリの価値

ケータイ担当としても、画面の細かいスマートフォンの勢いに押されつつ踏ん張っているケータイがLTEケータイへ移行する時代の流れに何かしら違和感を感じています。

というのもメッセンジャーやゲームは日常生活でそこそこ見えることを前提に作られているからです。

文字情報を視力以外でもカバーしてもらえそうなアプリがぜひ今後の日本の生活を豊かになるように強く願います。

柄にもなくスマートフォンアプリやdocomoのiモード対応のらくらくホンなどの行く末も考えながら本特集を組んでみました。

ドライアイや老眼、眼精疲労を招きやすいIT製品への改善はもちろんのこと。

たとえ見えなくても、聞こえなくても調べたい情報がきちんと届く社会の夢を垣間見たような気がします。

参考リンクなど

カナダの高校生が作った、視覚障がい者用対象認識アプリiDentifiは次のサイトよりダウンロードできます。

AppStore内より

 iDentifi- Object Recognition for Visually Impaired By Anmol Tukrel View More by This Developer

 

(2016年11月18日 (翻訳:Sako氏・http://jp.techcrunch.com/ を参考に特集として実際に使ってのレビューです。)

(特集用のアイコンは上記のYoutube動画より)

 

アプリは、複数のテレビ局報道や3つの大きな大学を始め受賞されている。

輝かしい受賞と報道の実績の様子

報道や受賞の数でこのiDentfiアプリへの注目が分かります

    • カナダの首都トロントのCTV News Torontoでテレビ報道されています。
    •  the Canada Wide Science Festival(≒カナダの科学の祭典)にて銀賞を受賞しています。

以下の学術団体より表彰されています。(大学情報はウィキペディアより引用)

  • University of Ottawa/カナダの首都オタワにある大学
  • University of British Columbia/カナダ・ブリティッシュコロンビア州のバンクーバー市西端とオカナガン地方のケロウナにある州立の研究総合大学
  • Western University/オンタリオ州ロンドン市に本部を置くカナダの州立大学
  • York University/オンタリオ州、トロントに本部を置くカナダの州立大学である。1960年に設置、 カナダで3番目に学生数が多い大学
  • Dalhousie University/ダルハウジー大学(英:Dalhousie University)は、カナダ東海岸、ノバスコシア州(Nova Scotia)の州都ハリファックス(Halifax)にある歴史と伝統を誇る州立大学