金松 基孝 データベース技術
広域に分散格納された大規模データをSQLで高速検索
オープンソース技術部
金松 基孝
私たちはCPS(Cyber Physical Systems)、DX(Digital Transformation)向けに、オープンソースソフトウェア(OSS)のデータベースをベースとした大規模分散SQLエンジン「PGSpider™」を開発しています。
大量のセンサーや機器で構成されるCPSでは、生成されるデータも膨大なものとなります。社会インフラ、エネルギー分野のシステムで、処理や消費エネルギーなどを最適化するには、得られた全データを集約して処理すればよいのですが、データが広域に分散しているため、実際にデータを集約することは困難です。
そこで、広域に分散している機器のデータを、仮想的に一つのテーブルとして扱えて、高速に検索することができる大規模分散SQLエンジン「PGSpider™」を開発しました。
PGSpider™に接続された子ノードのテーブル名とPGSpider™内の仮想テーブル名を自動的にマッピングすることで、分散されたテーブルを1つの仮想的なテーブルとして扱うマルチテナント機能、異なるデータソースに対するアクセス機構、並列データ処理などの機能を追加することで、データ検索の高速化を実現しました。
また、子ノードとのネットワーク接続が遮断されたときの接続リカバリー機能を追加したことで、可用性も向上させました。
「PGSpider™」だけでなく、さらにIoT分野における制御機器の特性を活かした、データベース技術やデータ処理の開発も進めています。
関連する研究領域
・共通要素技術 OSS活用と“東芝ならでは”の差異化機能の開発で魅力あるソフトウェアを創出
・東芝レビュー【R&D最前線】エッジコンピューティングに対応した大規模分散データの高速検索フレームワークPGSpider(2019年1月号)