電通国際情報サービス(ISID)が2020年11月30日にTECHPLAYのオンラインイベントにて、Hololens2を活用した教育システムと遠隔VRコミュニケーションシステムの開発事例紹介をしました。本記事では本イベントの後半に中川洸佑さんよりお話いただいた「HoloLends2による作業者教育システム」について紹介します。
イベント情報
イベント概要
- イベント名：【Hololens2を活用した教育システムや遠隔VRコミュニケーションシステムの開発事例紹介】進化するSIerの最前線！先端技術を活用した事例の紹介- 電通国際情報サービス（ISID）Meetup #03
- 日時：2020年11月30日(月) 19:00~
- 場所：オンライン
- 参加費：無料
- 参加対象：フロントエンドエンジニア / バックエンドエンジニア / インフラエンジニア / UIUXデザイナー / PdM
登壇者
岡田 敦 氏
株式会社 電通国際情報サービス
Xイノベーション本部 オープンイノベーションラボ
2016年ISIDイノラボに参画。VRを活用した遠隔セラピーシステムの開発、またモノを動かす技術として実空間のモノの位置制御による行動や景観の制御など、実/仮想空間の新たなあり方をテーマとして活動中。前職では映像・音声などの大容量メディアの低遅延・同期転送などの研究開発に従事。
中川 洸佑 氏
株式会社 電通国際情報サービス
Xイノベーション本部 xRビジネスデザイン部
2015年に入社し研究開発部署に配属。 そこでxR技術(当時はVRから)を学習し、現在は様々な分野でxR活用を推進する部署に所属。社内各所にxR仲間を増やすキャンペーンを実施中。
タイムスケジュール
前半に岡田敦さんによる「遠隔VRコミュニケーションシステムの開発と幻肢痛VRセラピーの取り組み」についてのお話を、後半に中川洸佑さんによる「HoloLends2を使った作業者教育システムの取り組み」についてのお話をいただいきました。
タイムスケジュールは以下の通りです。
本記事では後半に中川洸佑さんよりお話いただいた内容をまとめております。
前半の岡田敦さんの「遠隔VRコミュケーションシステムの開発と幻肢痛遠隔VRセラピーの取り組み」についての内容をお読みになりたい方はこちらのリンクから読むことができます。
ISIDによる開発事例紹介【前半】「遠隔VRコミュニケーションシステム」
HoloLends2を使った作業者教育システムの取り組み
今回のイベントの後半にお話いただいた中川洸佑さんによる「HoloLens2を使った作業者教育システムの取り組み」の発表ではARに期待がされる「教育」という面でプロジェクトが動き出したきっかけから実証実験による結果までお話してくださいました。
以下が今回の発表の中川さんによる紹介文です。
HoloLens2とお客様の社内システムを連携して教育システムを作成しました。
TECH PLAYより引用
作業者がARをつかって楽しく自習ができ、拡張性のあるシステムを目指しました。
システムの概要、構成、イチオシポイントなどを紹介いたします。
そもそもHoloLens2とは？
HoloLens2とはMicrosoftが発表した次世代型MRデバイスです。また、MRとは現実空間とCG空間とを融合させた「Mixed Reality (複合現実)」のことです。グラスを通して見る現実にCGが重なることで目の前に３Dオブジェクトが存在するように見えます。また、ハンドトラッキングとアイトラッキングが基本装備されています。
開発のきっかけ
株式会社明電舎がAR教育の仕組みを検討しており、新たなAR教育システムを作りた相談を持ち掛けたことでプロジェクトが発足しました。もともと、明電舎はVuforia Studioを活用してきましたが、教育コンテンツとしてVuforia Studioでは実現が難しい部分があり、別途UntiyでのAR教育システムの開発に踏み切りました。
新しいAR教育システム
XR領域において教育分野はVR技術の活用が有名です。
例えば、コンビニのファミリーマートではVRによる社員研修で一人当たりの教育時間削減を実現したりしています。しかし、中川さんは「新しいAR教育システム」への可能性を強調され、座学だけでなく体感教育や自習を可能にすることでより楽しい学習を目指しておられました。
そして、「新しいAR教育システム」でやりたいことを3つにまとめてお話しいただきました。
- ① 教育シナリオを作成し、シナリオに沿ったAR体験ができる。
- ② 手や目線の動きを記録して教育コンテンツを作れる。
- ③ 教育受講履歴を記録できる。
教育シナリオ
アプリケーションを動かす場合、アプリの中に教育シナリオを埋め込み、デバイスで稼働という方法が一般的ですが、それでは「最初に作ったシナリオでしか体験できない」「新しい機材が出ると対応できない」などの課題があります。そこで、システムはそのままで後からシナリオを追加できる仕組みを作り、学習コンテンツとテストコンテンツの両方で使えるシステムを完成させました。
実際には、データベース側には3Dモデルやシナリオ定義されたJSONを配置し、今後も後からシナリオを足せるような仕組みを構築したそうです。(JSONとは「JavaScript Object Notation」の略であり、「JavaScriptオブジェクトの書き方を元にしたデータ定義方法」のこと。)
手や目線の動きを活用したコンテンツ
それぞれのシナリオに合わせて3Dモデルに対しての手・目線の動き、音声を組み合わせて記録し、教育コンテンツを作成できる仕組みも開発。また、作成された記録はサーバーに保管されるため受講者は好きなタイミングでその記録を再生することができます。
受講履歴の記録
受講した回数のデータや動かしている時間からシナリオの改善などに繋げられるため、履歴に関してもデータベースで管理されています。
機器の予約システムとも連携しデバイス名から使用者を把握することができます。システム側が「この時間に予約しているのは〇〇さんだから、使っているのは〇〇さんだ。」と認識することでログインなしに情報を引っ張ってきてその人の記録として保存することができます。
筆者の所感
XRにおいて教育は期待がかけられている分野です。
時間削減、人件費カット、あらゆる効率化と理解のしやすさで教育への関心はかなり高まっています。
今回、中川さんにお話いただいた「新しいAR教育システム」はまさにHoloLens2という最新デバイスを最大限にしたものでした。私自身、HoloLens2を装着したことがありますがハンドトラッキング・アイトラッキングの精度には驚かされます。そして、その手や目線・音声のデータを保存し後から再生できるようにしたことは効果的に教育プログラムを作成する点で画期的と言えるでしょう。
発表では実際にその映像を見せていただけました。その手の位置や目線の場所の分かりやすさに驚かされましたし、このように人がどこを見てどう動いて声を発したのかが分かれば、教育の枠を超えてエンタメやスポーツ、福祉など多くの面で活用することができると感じています。
また、拡張性の高い仕組みであり、これがあるとないとでは利用者の負担が大きく変わってきます。
教育という分野では現在多くの技術が生み出されています。その中でより現実空間で、より実践的なまさに新しい教育システムを目の当たりにして心が躍りました。
イベント最後の質疑応答
質疑応答でのやり取り
質疑応答では前半にお話いただいた岡田さんと中川さんの二人で答える場面もあり、お二人が熱くこれからのXR世界について話されており、大変参考になりました。
注目してるコンテンツはあるか？という質問に、
中川さんは
「コンテンツの発展もそうだが、それよりもハードウェアが進化したことに驚いた」
と話しておられました。ハードウェアが進化するとハンドトラッキングやアイトラッキングなど新しくできることがかなり増えるという驚きとともに、その活用の可能性に面白さを感じているようです。
岡田さんも
「Oculus Quest2の発表で今まで重さや解像度でVR酔いなどがあったが普通に楽しめるようになった」と話しておられ技術的な進歩を改めて感じさせられます。
また、お二人の意見が分かれた質問で
VR空間にオフィスはこれから先来るか？というものがありました。
岡田さんの「来るだろう」という回答に対し、中川さんは「まだなのではないか」と答えました。
また、中川さんは「現実より便利かどうかということに視点を当てなくていけないため、オフィス全てをVR内に入れ込むのはまだ来ないだろう。オフィスの特定の機能だけを切り出してVRでやるものならあるかもしれないが。」といったような内容の回答をされていたことが印象的です。
今回のイベントは「医療・福祉」「教育」というXRの中でも期待値が高い分野を取り扱ったものでしたのでその技術が社会の実際に使われたときの有用性を考えると確実に社会に変化をもたらし、XRが溶け込んだ新たなニューノーマルが誕生するきっかけの一つになるだろうと感じます。
また、質疑応答の時間ではお二人のXRに対する熱量を感じ、聞き手の私もXRの未来を考え胸が熱くなりました。
今回、TECH PLAYのイベントに参加し大変貴重なお話を伺うことができたことを大変嬉しく思います。
[author_box label=”この記事を書いた人]
