GridDB V6では、大規模IoTシステムで長期間にわたり蓄積された時系列データを、より高速に分析するための「列データ高速分析機能」を新たに搭載しました。
100億件規模の長期間時系列データに対する分析処理を大幅に高速化しました。
大規模IoTシステムで高まる長期間データ分析のニーズ
産業IoTや社会インフラの分野では、設備、センサー、運用ログなどから大量の時系列データが継続的に発生します。
こうしたデータを長期間にわたって蓄積し、高速に分析して、設備運用の最適化や業務改善に活用するニーズが高まっています。
従来の大規模IoTシステムの課題
大規模IoTシステムでは、データの収集・蓄積を担うデータベース(DB)と、長期間にわたるデータの分析を担うデータウェアハウス(DWH)を組み合わせて構成する場合があります。
こうした構成では、収集用DBからDWHへのデータ転送や加工処理が必要となるため、リアルタイム分析が難しくなることに加え、システム構成の複雑化や導入・運用コストの増加が課題となっていました。
GridDBが実現するデータ統合基盤
GridDB V6では、長期間にわたるデータの分析を高速化しました。
従来DWHが担っていた分析処理をGridDBに統合し、収集から分析までを一つのデータ基盤で実行することが可能になりました。
■ リアルタイムなデータ分析
分析のためのデータ転送や整形処理を削減し、収集したデータを同一のデータ基盤上で分析できます。これにより、設備監視、予兆保全、品質管理、需給最適化など、迅速な判断が求められるシステムでのデータ活用を支援します。
■ シンプルなシステム構成
分析専用DWHや、収集DBからDWHへのデータ連携処理を削減することで、システム構成を簡素化し、システム全体の信頼性向上に貢献します。
■ 導入・運用コストを削減
分析専用基盤やデータ連携処理が不要となる構成では、ハードウェア、ソフトウェア、保守・運用にかかるコストの削減を期待できます。
列データ高速分析機能
GridDB V6では、新たに「列データ高速分析機能」を搭載しました。分析対象となる列を「列指向索引」として保持し、分析時に必要な列データを効率よく読み出します。
また、列指向索引のデータを圧縮して格納し、圧縮したままメモリ上で演算することで、ストレージから読み出すデータ量やメモリ使用量を抑えながら、分析処理を高速化します。
100億件規模のデータ分析が、約2,900秒から約41秒に
工場IoTを想定した100億件規模の長期間時系列データを用いた当社測定環境において、集計処理の実行時間をGridDB V5の約2,900秒からGridDB V6の約41秒に短縮しました。
注:以下の条件で測定
データセット: 工場IoTデータ(日時・文字列・数値からなる20カラム)約100億件
測定環境: サーバ6台からなるクラスタ構成、サーバは6コアCPU、64GBメモリ、12TB HDD搭載
検索条件: 日付絞り込み条件と集計関数(1~3カラム)からなるテーブルスキャンクエリ
SELECT SUM(col1), SUM(col2), SUM(col3) FROM TBL WHERE col0 BETWEEN TIMESTAMP(~) AND TIMESTAMP(~);