Header image  
ウェアラブル・ユビキタス・エンタテインメント
の研究を推進しています
 
   最終更新日 2013年11月10日
 
 
 
 


 
ウェアラブルセンシングの課題・応用

  1. はじめに
  2. ウェアラブルコンピューティングと行動認識技術
    1. 行動認識技術に基づくサービス
    2. ウェアラブルセンサを用いた行動認識技術
  3. センシングを活用した情報提示技術
  4. センシングを活用した情報入力技術
  5. ウェアラブルセンサを用いた行動認識の研究動向
  6. おわりに

3 センシングを活用した情報提示技術

米ボーイング社の整備士の例や,ウエアビジョン社の電子めがねの例のように,ウェアラブルコンピューティング技術は情報提示に用いることが有効であるが,センシング技術を活用することで,情報を出すべきタイミング・提示内容を適切に制御し,高度な情報提示を実現できる.

例えば,メンテナンスサポートシステム[1]では,加速度センサと超音波センサを用いて,自転車メンテナンス時のネジ回しや空気入れなど詳細な動作を認識し,作業部分の設計図をHMDに自動表示したり,間違った作業を行った場合に警告するシステムを実現している.また,周囲の危険状況を超音波センサで読み取って危険性を音声や振動で通知するシステム[2]や,脈拍センサや皮膚温センサ,加速度センサを用いてユーザ状況を監視し,薬の飲み忘れや運動不足の指摘を行うLifeMinder[3]が実現されている.

コミュニケーション支援のための情報提示としては,例えばイベントの司会者が,聴衆に知られることなくディレクタからの指示を受けたり,進行表を確認しながら司会進行を行えるシステム[4]や,歩行者が自分の状況を周囲に可視化して提示することで歩行者の安全を確保するシステム[5]を実現している.後者のシステムを装着したユーザの様子を下図に示す.この例では,服に埋め込まれたLEDがブレーキランプやウインカーの役割を果たし,ユーザが今後どちらに移動するかといった情報を直観的に提示している.

3-1
自動車メタファを用いた歩行者情報提示

現在地や状況,見ているものに応じた情報提示を行う典型的な例としては,ナビゲーションシステムが挙げられる.ウェアラブルコンピュータは各ユーザが自分に合った機器を組み合わせて使うため,自分の弱点を補う機能をもつ機器を装着することが有効である.例えば筆者らは,盲目の人には音声,聾唖者には手話ビデオといったように,利用者の機器構成を認識し,障害の部位に応じてコンテンツを切り替え,GPSと地磁気センサを用いて状況依存コンテンツを表示するウェアラブル公園案内システムの実証実験を行った[6].このシステムでは,ユーザがパビリオン跡に近づいて,パビリオンのあった方向を向いたときに自動的にその場所に応じた説明がHMDを通して再生され,クイズなどのアミューズメントコンテンツや現在地の提示を行う(下図).このような場合,聾唖者には周囲の音情報を可視化してHMD上に提示すると行った音響可視化システム[7]も有効である.

3-2
表示例(左上からナビゲーション矢印,クイズ,手話ビデオ付解説,地図

このように,センシング技術を活用することで高度な情報提示を行えるが,より先進的な取り組みとして,トラブル時の情報提示継続機構,主観的コンテキストに基づく情報提示機構,虚偽情報提示によるユーザ状況制御システムの3つについて詳細に述べる.

トラブル時の情報提示継続機構

ウェアラブルコンピューティングを医療や航空などの分野で用いる場合,物理的なデバイス故障やシステムハングアップによる情報提示の中断が深刻な問題を引き起こす可能性がある.そこで筆者らは,ハングアップ等のトラブル時に入出力デバイスをバイパスすることで情報提示を継続する枠組みを提案した[8].提案方式は,センシング技術を活用することで,ユーザにとっての情報認知度が高くなるように入出力デバイスを直結し,情報提示を継続することが特徴である.下図に従来のシステムにおける情報入力から出力への流れ(図上)および提案システムを用いた場合の流れ(図下)を示す.従来のコンピュータでは,センサや入力デバイスからの入力をデバイスドライバが処理してユーザプログラムに渡し,ユーザプログラムは出力内容を同じくデバイスドライバを経由して出力デバイスに提示する.この場合,入出力デバイスの故障,PCの故障,OSやユーザプログラムのハングアップのいずれが起こっても情報を提示できない.一方,提案システムは通常,従来システムと同様にセンサや入力デバイスからの入力をユーザプログラムが処理するが,システムハングアップ時には,あらかじめ定められた入力デバイスと出力デバイスが直接有線/無線で接続され,情報の提示が継続される.

3-3
提案システムと従来システムの違い

このような機構を実現するためには,システムダウン時にどのデバイスとどのデバイスを接続し,どのようなデータ変換を行って提示するかをあらかじめシステム通常稼働時に定義しておく必要があるが,適切なデバイス接続やデータ変換は接続デバイスの状態(種類,稼働状態,破損状態,情報精度等)や,PCやユーザがおかれている状況(実行プロセス,サービス内容,ユーザの現在の行動等)によって変化する.そのため,上図(下部)に存在するデータフロー制御システムはこれらの情報を統合的に判断し,システムダウン時の処理をあらかじめデータコンバータとして用意し,入出力デバイスに配置しておく.具体的には,各提示デバイスを用いる際に認知に影響するユーザ状況や周辺環境を接続されたセンサ等から取得する.例えば,光学式シースルー型HMDはHMDの背景が明るい場合には情報が読み取れない[9]といった特徴が先行研究で明らかであるため,光学式シースルー型HMDに対しては,その影響度を算出するために必要な特徴量であるHMDの背景となる視界領域の画素の階調値,ユーザ周辺の混雑度合い,ユーザが階段を歩行中かどうかを取得することになる.

システムを利用している例を下図に示す.普段は図左のように地図アプリケーションを用いてナビゲーションシステムを利用している状態で,システムがハングアップした場合,例えば図右のように携帯電話の小型ディスプレイに地磁気センサとGPSの情報を提示してシンプルではあるが情報提示を継続する.このような仕組みを用いることで,クリティカルな現場に置いてもウェアラブルシステムが利用できるようになると考えられる.

3-4 3-5
システム利用例(左: 通常時,右: システムハング時)

主観的コンテキストに基づく情報提示

従来の状況依存システムではセンサから得られた値をそのまま活用しているため,客観的には状況とサービスが一貫した対応関係にある.一方,人間はそれまでの行動等の外部要因によって,同じセンサ値からなる状況でも主観的には異なった状況であると感じることがある.そこで筆者らは,コンテキストアウェアなサービスは前者の客観的な一貫性をもつシステムよりも,後者の人間の感覚による主観的な状況に対して一貫したサービスを提供するシステムの方が優れていると考え,主観的コンテキストという概念を提案し,いくつかの実験およびシステムの実装を行った[10].例えば,音声情報提示システムにおいて連続的に音声情報を聴取する場合,主観的な音量が変わると不快になるとコメントされている[11]が,周辺環境に対して単純に音量を調整するようなシステムでは主観的な音量は一定しない.

ここで,主観的音量の存在確認実験の例を示す[10].実験では,被験者が装着したイヤホンから信号音(音量p1,1[kHz])を7秒再生した.その後,スピーカからホワイトノイズ(音量s1)をt秒再生した後,再度イヤホンから信号音(音量p2)を再生した.この際,被験者はp1とp2が等しい音量と感じるように音量p2をΔp調節する.実際はp1=p2であるが,そのことを被験者は知らない.結果の一部として,t=60[s]のときのホワイトノイズの音量s1と信号音の音量p1(=p2)に対する調整された音量Δpを下図に示す.結果から,s1の増加,p1(=p2)の減少に伴い,Δpが大きく,つまりp2がp1より小さく聞こえる傾向がみられた.つまり,提示までの周辺音量が大きくなるにつれて,また再生された音量が小さくなるにつれて,物理的音量が一定であっても,主観的音量が減少する傾向がある.

3-6
主観的音量の存在確認実験の結果

この結果に基づくと,主観的音量に基づく音声提示システムが構築できる.これは,文献[11]で示しているユーザ状況に応じて提示方法を変更することでユーザに情報を正確に伝える音声情報提示システムに,本研究で調査した主観的音量を一定にする機構を組み込んだものである.システムの動作フローを下図に示す.この手法を使った評価実験の結果,客観的な音量調整を行った場合と比べて,同じ音量で情報が提示されていると感じる被験者が7%増加した.

3-7
主観的音量均一化システムの動作フロー

虚偽情報フィードバックの影響評価

これまでにも紹介した健康管理システム等では,ユーザは自身の生体情報(体温や心拍数,血圧など)を閲覧する.ここで,医学の分野では本物の薬と外見が同じで薬効がない偽薬を服用させた場合,思い込みにより症状が改善されるプラセボ効果が存在する.この考え方を健康管理システムに適用すると,具体的な身体的・生理的処置を行わなくても健康が維持できるシステムが構築できる可能性がある.具体的には,下図に示すような健康管理サービスにおいてセンシングされた値と異なる値(以下,虚偽情報)を提示しても,ユーザは提示内容が正しいと思い込んでいるため結果として身体に影響を与えられることを確認した[12].例えば,重要な会議やプレゼンテーションの場では,緊張状態に至りやすく,その影響で意図した通りの発表を行えない可能性がある.しかし,心拍数の上昇から緊張状態を検知した際でも心拍数はあまり変わっていないという虚偽情報を提示すれば,平常状態であると錯覚し,実際の心拍数も低下し,落ち着きを取り戻して円滑に発表を行えるかもしれない.また,居眠り運転が原因の交通事故が多数発生しているが,眠気により生じる心拍数の下降をシステムにより妨げて眠気を覚ますことで,事故を未然に防ぎ,安全に車の運転を行えるかもしれない.さらに,運動時では運動の目的により最適とされる心拍数を維持して運動を行わせるといったシステムも実現できると考えられる.

3-8
虚偽情報を提示する健康管理システム

運動時と緊張時において提示した虚偽情報の影響を調査した評価実験(詳細は文献[12]参照)の結果,個人ごとに虚偽情報に対する影響が異なるものの,虚偽情報から一貫した影響を受けるユーザが多いことを確認した.この結果から,現在の心拍数とユーザ状況を判別し,自動で虚偽情報を提示するプロトタイプシステムを実装した.このシステムは装着型センサを用い,運動時には最適な運動時心拍数に向かうように心拍数を制御し,またプレゼンテーションなどの発声時には緊張しすぎないように,心拍数が上がりすぎないように制御する.

4へ (続きを読む)

参考文献

[1] T. Stiefmeier, G. Ogris, H. Junker, P. Lukowicz, and G. Troster: Combining Motion Sensors and Ultrasonic Hands Tracking for Continuous Activity Recognition in a Maintenance Scenario, Proc. of the 10th IEEE International Conference on Wearable Computers (ISWC 2006), pp. 97--104 (2006).
[2] A. Cassinelli, C. Reynolds, and M. Ishikawa: Augmenting Spatial Awareness with Haptic Radar, Proc. of the 10th IEEE International Conference on Wearable Computers (ISWC 2006), pp. 61--64 (2006).
[3] K. Ouchi, T. Suzuki, and M. Doi: LifeMinder: A Wearable Healthcare Support System Using User's Context, Proc. of the 2nd International Workshop on Smart Appliances and Wearable Computing (IWSAWC 2002), pp. 791--792 (2002).
[4] T. Okada, T. Yamamoto, T. Terada, and M. Tsukamoto: Wearable MC System: a System for Supporting MC Performances using Wearable Computing Technologies, Proc. of Augmented Human Conference 2011 (AH 2011), pp. 25:1--7 (2011).
[5] H. Sasaki, T. Terada, and M. Tsukamoto: A System for Visualizing Human Behavior based on Car Metaphors, Proc. of Augmented Human Conference 2013 (AH 2013), pp. 221--228 (Mar. 2013).
[6] M. Miyamae, Y. Kishino, T. Terada, M. Tsukamoto, and S. Nishio: An Event-driven Navigation Platform for Wearable Computing Environments, Proc. of the 9th IEEE International Conference on Wearable Computers (ISWC 2005), pp. 100--107 (2005).
[7] S. Ruiwei, T. Terada, and M. Tsukamoto: A System for Visualizing Sound Source using Augmented Reality, Proc. of the 10th International Conference on Advances in Mobile Computing and Multimedia (MoMM 2012), pp. 97--102 (2012).
[8] T. Terada, Y. Yanagisawa, M. Tsukamoto, S. Takeda, Y. Kishino, and T. Suyama: A Dependable Wearable System by Device Bypassing, Adjunct Proc. of the Tenth International Conference on Pervasive Computing (Pervasive 2012), Demo Paper, pp. 1--4 (2012).
[9] K. Tanaka, Y. Kishino, M. Miyamae, T. Terada, and S. Nishio: An Information Layout Method for an Optical See-through Head Mounted Display Focusing on the Viewability, Proc. of 7th International Symposium on Mixed and Augmented Reality (ISMAR 2008), pp. 139--142 (2008).
[10] 寺田 努: 主観的コンテキストに基づく情報提示システム, 情報処理学会シンポジウムシリーズ マルチメディア,分散,協調とモバイルシンポジウム(DICOMO2012)論文集, pp. 737--743 (2012).
[11] S. Yataka, K. Tanaka, T. Terada, M. Tsukamoto, and S. Nishio, A Context-aware Audio Presentation Method in Wearable Computing, Proc. of the 26th Annual ACM Symposium on Applied Computing (SAC 2011) (2011).
[12] 中村憲史,片山拓也,寺田 努,塚本昌彦: 虚偽情報フィードバックを用いた生体情報の制御システム, インタラクション2012論文集,pp. 17--24 (2012).

連絡先

mail

tsutomu[[at]]eedept.kobe-u.ac.removehere.jp