インフラの設備更新計画案を深層強化学習で自動生成

我が国の社会インフラにおいては、高度成長期（1960～70年代）に大量導入した設備が設計寿命を超過し始めており、更新や老朽化対策が急務となっています。とりわけ、重要インフラの一つである電力系統設備では、再生可能エネルギーや分散電源の増加、人口減少、電化推進などの要因による需給バランスの変化に加え、激甚化する自然災害のリスク増加への対応も求められています。一方、電力系統は、各設備が大規模ネットワークで接続されており、高品質な電力供給を維持するためには、電力系統全体のバランスを考慮する必要があるという特徴があります。しかし、人手による設備計画立案ではこれらの複雑化する社会要請に対し、短期間に対応することが困難であるため、AIによる支援が有効になってくるものと考えられます。

AIによる設備計画立案の支援では、設備計画の立案担当者が与えた電力系統の設備パラメータや需要変動モデル及びコスト関数に対して、各設備の設置や撤去の順番及びタイミングの最適解をAI が推定し、設備計画の策定を支援します（図1）。電力系統に接続されている各設備の関係をグラフ構造として表現し、時系列的な変化を扱う最適化問題を強化学習によって解くことにより（図2）、設備計画案をAIが提示します。

しかし、従来のAI技術における強化学習は、このようにグラフ構造が変化する対象を扱えませんでした。そこで、グラフの構造が変化しても再学習の必要のないGAT (Graph Attention Network)^*1をベースに、多種の設備を扱える当社独自のグラフ構造強化学習モデルを開発しました。系統変更時にも再学習が不要であるため、環境条件が変動しても柔軟に計画を策定することが可能です。

グラフ構造強化学習モデルの有用性を確認するために、IEEE^*2の標準系統モデルの一つであるIEEE case14を用い、年間の電力需要曲線を考慮した系統シミュレーションで、停電を発生させずに変圧器の設置や削除を行う設備計画問題を設定しました。ランダムアクションモデル、UCBアルゴリズム^*3などの他の手法と比較した結果、評価指標である電力設備の総コストが最も低い値となり、有用性を確認しました。

今後、提案手法を用いた設備計画支援システムを現実の電力系統設備に適用するとともに、広く社会インフラ設備の計画策定に貢献することを目指します。

*1：Petar Veličković, Guillem Cucurull, Arantxa Casanova，Adriana Romero Pietro Liò，Yoshua Bengio，”Graph Attention Networks,” ICLR 2018
*2：Institute of Electrical and Electronics Engineers（米国電気電子学会）
*3：Upper Confidence Bound Algorithm