大規模な時系列データの収集から分析までをGridDBで

GridDB V6では、大規模IoTシステムで長期間にわたり蓄積された時系列データを、より高速に分析するための「列データ高速分析機能」を新たに搭載しました。

100億件規模の長期間時系列データに対する分析処理を大幅に高速化しました。

課題
蓄積したデータを、すぐに分析できない

大規模IoTシステムで高まる長期間データ分析のニーズ

産業IoTや社会インフラの分野では、設備、センサー、運用ログなどから大量の時系列データが継続的に発生します。

こうしたデータを長期間にわたって蓄積し、高速に分析して、設備運用の最適化や業務改善に活用するニーズが高まっています。

従来の大規模IoTシステムの課題

大規模IoTシステムでは、データの収集・蓄積を担うデータベース(DB)と、長期間にわたるデータの分析を担うデータウェアハウス(DWH)を組み合わせて構成する場合があります。

こうした構成では、収集用DBからDWHへのデータ転送や加工処理が必要となるため、リアルタイム分析が難しくなることに加え、システム構成の複雑化や導入・運用コストの増加が課題となっていました。

解決策
収集と蓄積を、ひとつのデータ基盤で

GridDBが実現するデータ統合基盤

GridDB V6では、長期間にわたるデータの分析を高速化しました。

従来DWHが担っていた分析処理をGridDBに統合し、収集から分析までを一つのデータ基盤で実行することが可能になりました。

効果
分析のスピード、システム構成、コストが変わる

■ リアルタイムなデータ分析

分析のためのデータ転送や整形処理を削減し、収集したデータを同一のデータ基盤上で分析できます。これにより、設備監視、予兆保全、品質管理、需給最適化など、迅速な判断が求められるシステムでのデータ活用を支援します。

■ シンプルなシステム構成

分析専用DWHや、収集DBからDWHへのデータ連携処理を削減することで、システム構成を簡素化し、システム全体の信頼性向上に貢献します。

■ 導入・運用コストを削減

分析専用基盤やデータ連携処理が不要となる構成では、ハードウェア、ソフトウェア、保守・運用にかかるコストの削減を期待できます。

技術
高速分析を支える新機能

列データ高速分析機能

GridDB V6では、新たに「列データ高速分析機能」を搭載しました。分析対象となる列を「列指向索引」として保持し、分析時に必要な列データを効率よく読み出します。

また、列指向索引のデータを圧縮して格納し、圧縮したままメモリ上で演算することで、ストレージから読み出すデータ量やメモリ使用量を抑えながら、分析処理を高速化します。

性能
分析時間を約70分の1に

100億件規模のデータ分析が、約2,900秒から約41秒に

工場IoTを想定した100億件規模の長期間時系列データを用いた当社測定環境において、集計処理の実行時間をGridDB V5の約2,900秒からGridDB V6の約41秒に短縮しました。

注:以下の条件で測定
データセット:       工場IoTデータ(日時・文字列・数値からなる20カラム)約100億件
測定環境:              サーバ6台からなるクラスタ構成、サーバは6コアCPU、64GBメモリ、12TB HDD搭載
検索条件:              日付絞り込み条件と集計関数(1~3カラム)からなるテーブルスキャンクエリ
                                SELECT SUM(col1), SUM(col2), SUM(col3) FROM TBL WHERE col0 BETWEEN TIMESTAMP(~)  AND TIMESTAMP(~);

関連情報