- 状態変化検出
- 異常検知
深層学習モデルを監視する未知データ検知技術
応用先
- MLOpsプラットフォームにおけるモデルの性能劣化検知
- エッジデバイスにおけるモデルの性能劣化検知（省メモリなため）
ベンチマーク・強み・実績
様々な公開画像データで評価した未知データの検知性能と、評価時に追加で必要となるメモリ量
（CIFAR-10で学習したモデルで、MNIST、SVHN、CIDAR-100をそれぞれ未知データとして評価、表中の性能数値は、VGG-13、VGG-16、ResNet-18の各モデルの平均値）
| 分類確率 による未知データ検知 （従来技術） |
マハラノビス距離 による未知データ検知 （従来技術） |
提案方法 | ||
| 性能（AUROC） | MNIST | 93.3 | 96.5 | 99.1 |
| SVHN | 94.9 | 96.2 | 97.0 | |
| CIFAR-100 | 88.8 | 91.6 | 91.8 | |
| 追加メモリ | 0.00GB | 3.50GB | 0.05GB | |
問い合わせ窓口
問合せの際はタイトル【東芝AI技術カタログ：深層学習モデルを監視する未知データ検知技術】やURLを文面に含めてください。
本技術は研究開発中のためご要望にすぐに対応できない可能性があります。
参考文献：
- K. Uematsu et al., ”Dimensionality-Induced Information Loss of Outliers in Deep Neural Networks” Machine Learning and Knowledge Discovery in Databases. Research Track: European Conference, ECML PKDD 2024, Vilnius, 2024, Lithuania, September 9–13, Proceedings, Part I, Pages 144 - 160
- モデルメンテナンス, 2021年度AIPシンポジウム成果報告会（理研AIP-東芝連携センター） (PDF形式)
