DB技術:GridDBにおけるペタバイト級IoTデータ管理

DB技術:GridDBにおけるペタバイト級IoTデータ管理

スケールアウトとスケールアップのベストミックスでペタバイト級のデータ管理を実現

IoTシステムでは、デバイスの増加や長期の稼働を経て蓄積するデータのサイズが増えてきており、ペタバイト級データの管理が必要となってきています。一方で、数十台のサーバからなる大規模なクラスタシステムは高コストになるため、より少ないサーバからなる小規模なクラスタが望まれるケースもあります。そのためには、クラスタを構成する1サーバあたりに蓄積できるデータベースの最大サイズを大きくする必要があります。

そこで、IoT向けスケールアウト型データベースGridDB(図1)[1]の機能強化版(V4.3)では、内部のデータ管理構造の最適化を行うことでリソース使用量の大幅削減を図り、1サーバあたりのデータベース最大サイズを増加させました。また、この強化とともに、データベースのバッファ制御機能とクラスタ内のデータ配置機能の強化、さらに、複合索引などの機能を強化し、大規模データに対する処理性能を向上させました。これらにより、要件に応じて、スケールアウト(※1)だけではなく、スケールアップ(※2)の手段を組み合わせて、少ないサーバ台数でもペタバイト級データとミリ秒オーダー処理を両立できるようになりました(図2)。

また、稼働しているデータベース全体に負荷を与えることなく、長期保存が必要なデータを外部のアーカイブファイルに保存する長期アーカイブ機能も備えました。保持期間を超えたら自動的にデータを参照不可とした後、物理的にデータを削除する、GridDBの従来機能である期限解放機能を拡張することで、効率的なアーカイブ処理を実現しました。これにより、データベースのサイズ削減とデータの長期保存を両立します(図3)[2]。

さらに、株式会社日立製作所様のデータ統合・分析基盤「Pentaho」との間で動作検証が実施され、「GridDB」が「Pentaho」のデータソースとして利用可能であることが確認されました。これにより、様々なビジネスシーンで、データ利活用の可能性が広がることになります[3]。

GridDBは製造業や社会インフラなどの高い信頼性と可用性が求められるシステムで活用されています。今後も、IoTやビッグデータによるデジタルトランスフォーメーションを支えるデータベースとしてGridDBを強化していきます。

※1 スケールアウト:サーバ台数を増やすことで、処理能力を高める手法
※2 スケールアップ:サーバを高性能化や大容量化することで、処理能力を高める手法

IoT向けスケールアウト型データベース GridDB

NoSQLデータベースとSQLデータベースの両方の利点を兼ね備えたデータベースです。

IoT向けスケールアウト型データベース GridDBのイメージ図

IoT向けスケールアウト型データベース GridDBのイメージ図

ペタバイト級データベースを小規模クラスタで実現

リソース使用量の大幅削減により、クラスタを構成する1サーバあたりに蓄積できるデータベースの最大サイズを増加させました。

ペタバイト級データベースを小規模クラスタで実現のイメージ図

ペタバイト級データベースを小規模クラスタで実現のイメージ図

長期アーカイブ機能

GridDBの従来機能である時系列データの期限解放機能を拡張することで、効率的なアーカイブ処理を実現します。

長期アーカイブ機能のイメージ図

長期アーカイブ機能のイメージ図