近年、さまざまなAI技術が飛躍的に進化し、多くの企業ではAIをビジネスに活用する取り組みが進められています。しかし、未だ実証実験の段階にあるものが少なくありません。AIを実際に活用できる段階まで引き上げていくにあたり課題となるのが、AIの品質保証です。世界的に見ても、AIの品質保証に対するニーズが高まっており、各所で議論が進められています。私たちは、さまざまな産業領域へ東芝のAIを適用するために、こうした社会動向を踏まえながらAIの品質保証に関する仕組みづくりを進めています。ここでは、その取り組みをご紹介します。


高品質で信頼性が高いAIが求められている


AIは、すでにスマートフォンやEC(Electronic Commerce)サイトのマーケティングなど、私たちの身近なサービスで活用されていることから、「AIに触れたことがない」という人は少ないでしょう。

このように世の中での活用が増えている中、社会インフラや工場といった産業領域においても、AIをビジネスで活用する方法を模索し、「どのようにして使えばよいのか」「どのようなところに使うと効果的なのか」といったことを知るためのさまざまな実証実験が行われています。しかし、これらのAIを実運用で使う際には、「システムが大規模かつ複雑である」「システムの稼働を止められない」など、ミッションクリティカルなシステムを抱える産業領域ならではの課題を考慮した、高品質で信頼性の高いAIが求められます。そこでカギとなるのがAIの「品質」です。

一般的なソフトウェアの開発では、「こういう機能がほしい」というお客さまの要件を基に設計したルールに基づき、確実性のある動作をするソフトウェアを作りあげていきます。このようなソフトウェア開発における品質保証のプロセスは、長い時間をかけて研究と実践が進み、東芝グループにおいても信頼性の高い品質保証プロセスを確立しています。ところが、AIの開発においては、この品質保証の考え方をそのまま適用するだけでは、十分ではないといわれています。AIは、お客さまの要件を基に設計をして、実際に存在するデータを学習することにより作っていきます。学習したデータや学習した内容によってその動作が決まることから、その内部の仕様を把握することが困難なため、AIはブラックボックスであるともいわれています。このように、不確実性のある動作をするAIの開発には、その特性を踏まえた品質保証の新たな仕組みが必要になります。

実際に国内では、AIの「品質保証」を求める声が高まっており、業界や学会、行政を中心に、さまざまな議論が進められています。例えば、有識者が集まってAIの品質保証を考えている「AIプロダクト品質保証コンソーシアム」や、個々の産業分野でも「プラントにおけるAIの信頼性評価に関する検討会」などが立ち上げられています。また、ISO/IEC(国際標準化機構/国際電気標準会議)においても、AIの品質保証を考えていこうという流れができています。

東芝は、こうしたAIの品質保証に関する国内外の動きを受け、AIに対する最新の品質保証の考え方と、自分たちがこれまでに培ってきた技術や知見を掛け合わせて、各産業分野に対して最適な形でAIの品質管理を行う仕組み作りに取り組んでいます。そこで目指しているのは、安心して使えるAIを社会に実装することです(図1)。


高品質なAIサービス開発に向けた品質保証ガイドラインを策定


AIの品質管理への取り組みに指針を示すため、東芝では「AI品質保証ガイドライン」を策定しています。ガイドラインは、AIの特性を考慮したグローバルスタンダードな品質保証の考え方に、私たちが培ってきたAI開発の経験から見いだしたAIサービスの企画から開発、運用までに関わる全てのプロセスと担当者の視点を加えて、東芝独自に体系化したものです。具体的には、品質保証を行うにあたり必要となる観点を、次の3つの要素で整理し、網羅的にまとめています。

  • 品質保証の軸:品質を評価する対象を示す「データ」「モデル」「システム」「開発プロセス」「顧客」
  • ステークホルダー:担当者である「技術営業*」「AIモデル開発者」「AIシステム開発者」「AIシステム運用者」「品質保証担当者」
    * 技術営業:ここでは、技術的な専門知識を生かしてお客さまに提案活動をする業種を指しています。
  • 開発工程: 開発のライフサイクルの時点を示す「検討」「PoC(Proof of Concept)」「開発」「運用」

産業分野に向けたAIサービスの開発において、このガイドラインを基点に、現在検討が進んでいる当該分野の動向を把握して今後定められていくであろうAIの品質保証の規格や基準にも沿うようにすることで、その分野で必要な品質管理の取り組みを、AIサービスのライフサイクル全般で、実践できるようになると考えています。


実運用を想定した品質評価技術を開発


ガイドラインに沿った品質管理を行う際、AIの品質を評価することが重要です。そこで、品質保証に必要な観点に適合させるために、AIの実運用を想定して開発している品質評価技術の中から、「説明性技術」と「頑健性評価技術」をご紹介します。

説明性技術とは、ブラックボックスといわれるAIの性質に対して活用するもので、AIモデルが推論した根拠を提示してAIの説明性を高める技術です。例えば、工場の製造ラインで不良品を見つける場合、推論した不良の種類と、それをどのくらいの確からしさで推論したのか(確信度)を出力するAIを用いることがあります。このとき、AIモデルが出力した確信度の高さで、良品なのか不良品なのかを判定しますが、その根拠を確信度だけで把握することは困難です。そこで東芝では、製品の外観検査向けの説明性技術を開発しました。これを用いることで、入力された画像のどの部分がAIモデルの推論に影響したのかを確認できるようになるため、推論結果に対する信頼が高まり、さらにはもし間違った推論をした場合には、その原因の特定ができるようになります(図2)。

次に、頑健性評価技術について、説明します。頑健性とは、AIモデルへの入力データに何らかの変化があっても、期待する結果を安定して出力できる特性のことです。AIを実運用する際には、季節による変動や温度の変化、機器の経年劣化といった利用する環境変化や、部品など対象の状況に伴う入力データの変化を想定し、AIモデルには、常に一定レベルの性能を維持することが求められます。そこで、このような変化に対して性能をどのくらい維持できるかの度合いを評価する、頑健性評価技術を開発しました。通常行われるAIで実現したい機能の評価だけでなく、頑健性というさまざまな環境の変化に対する定量的な評価も行えることで、実運用において、より安定して性能を発揮するAIの提供が可能になります。

これらをはじめとする品質評価技術の開発により、東芝は、お客さまにより安心して使っていただけるAIサービスへと進化させる取り組みを、日々続けています。


信頼性の高いAIサービスの開発を加速


AIの品質管理は、適用する分野の知見やノウハウを踏まえた上で、適切に行う必要があります。そこで私たちは、AIサービスの開発を行っているエンジニアと連携して、ガイドラインに沿ったAIサービスの開発やツール化した品質評価技術を用いた品質管理に取り組んでいます。こうした活動を通して、グローバルなAI品質の考え方と東芝のAI開発のノウハウ、さらにはAIの開発と運用を支える仕組みとして整備した「MLOps基盤*」を活用した東芝独自のAI品質管理による、高品質で信頼性の高いAIサービスの提供を目指していきます。
* MLOps基盤については、同号2つ目の記事で詳しくご紹介しています。

東芝には、これまでのAI技術の開発で蓄積してきたさまざまな強みがあります。お客さまの課題にしっかりと向き合い、その解決に東芝の強みを生かしたAIで貢献していくことで、ご期待に応えていきたいと考えています。

これからも私たちは、信頼性の高い、安心して使い続けられるAIの社会実装を目指し、AIの品質保証の仕組みをしっかりと整備していきます。そして、東芝ならではの高性能で高機能なAIの社会実装によって、社会インフラやデータサービスを支えていきます。

  • この記事に掲載の、社名、部署名、役職名などは、2021年6月現在のものです。

>> 関連情報

関連記事

このマークが付いているリンクは別ウインドウで開きます。