情報通信プラットフォーム

ビッグデータ可視化プラットフォーム「Polyspector™」の開発について

2016年10月

概要

当社は、数億件のデータをインタラクティブに視点を変えながら可視化できるビッグデータ可視化プラットフォーム「Polyspector™」を開発しました。本技術により、収集したデータのトレンドや背後に潜む問題点などを迅速に分析できます。本プラットフォームの詳細は、東京で開催される国際会議UIST2016にて、10月17日にデモストレーション発表します。

開発の背景

高度情報化社会の進展にともない、データ収集、解析、処理というビッグデータの利活用におけるサイクルの中で、飛躍的な効率向上や革新的なサービス・製品などの新たな付加価値の創出がなされています。収集したデータのトレンドや背後に潜む問題点を直感的に把握するためには、データを様々な視点で可視化することが有効です。
BI(ビジネスインテリジェンス)ツール(注1)などの従来の可視化技術では、可視化対象のデータを予め準備し描画処理を行うことで結果を表示しています。しかし、可視化対象となるデータ量が増大すると、描画処理に膨大な負荷と時間がかかり、処理中の画面更新ができなくなります。一方で準備の段階で統計処理などによりデータ量を低減すると、トレンドや問題点を見過ごす可能性があります。そのため、今後予想されるデータ量の爆発的な増大にも対応可能なビッグデータの可視化技術が望まれています。

本技術の特徴

そこで当社は、全データの俯瞰から部分的な詳細表示まで可視化結果の見た目を維持しながらデータの準備時間と描画時間を大幅に低減する技術とプラットフォームを開発しました(イメージ動画)。ビッグデータを可視化する場合にモニタ画面の解像度がデータ数より遥かに少ないことを利用し、画面上の同じ位置にマップされる複数のデータを1つのデータオブジェクト(注2)として専用データベースエンジンで最適に集約することにより、億単位のデータを一般的なパソコンでも1秒で俯瞰できるようになります。例えば、時系列ログデータを月単位からマイクロ秒単位まで自在にズームイン/アウトして、全体の俯瞰から特定範囲の詳細まで、快適なレスポンスで可視化できます。
また、本プラットフォームは、Webブラウザを用いて遠隔処理サーバにアクセスする構成であり、ローカル環境やクラウド環境のどちらでも容易に構築できます。

100ナノ秒間隔で収集された1週間のストレージトレースデータ可視化
※ 1.6億件レコード
※ X軸:時刻 Y軸:アドレス

※再生ボタンをクリックすると、YouTubeに掲載している動画が再生されます。
※YouTubeは弊社とは別企業のサービスであり、各サービスの利用規約に則りご利用ください。

インタラクティブ操作で全体の俯瞰からズームインを繰り返して時間やアドレスを絞り込み、高い使用性でアクセスパターンを可視化できる。

ビッグデータ時代における従来技術の問題点

開発のポイント

今後の展望・予定・目標

当社は、2018年末に本プラットフォームを用いたサービスの実用化を目指します。

(注1)企業内の膨大なデータを蓄積・分析・加工して、企業の意思決定に活用しようとする方法。

(注2)ひとつのテーマを持ったデータ・処理の集まり。