AIは膨大なデータを学習し、高い精度で判別や推定をするアルゴリズムを作り出すことをご存じの方は多いでしょう。しかし、「どのような過程を経て、正しい判定を出しているのか」と疑問を持たれた方もいるのではないでしょうか。今回は、Deeptectorが判定の際に注目した部分を示す「Explainable AI（XAI）」機能についてご紹介いたします。

AIの判定過程はブラックボックス？

AIが自動的かつ的確にタスクをこなすためには、学習が必要になります（「AIに良い学習データ、良くない学習データとは？」参照）。　しかし、判定結果が正しいといっても、どのように結果が導かれたかの根拠やロジックはわからず、「ブラックボックス問題」とも言われていました。そのため、誤った結果を出した場合にどのように改善すべきなのか、わからないのではないかという懸念や信頼性の問題もあり、導入を見送ったという企業担当者の声を伺うことがありました。このような背景もあり、近年ではExplainable AI（XAI）＝「説明可能なAI」の技術が注目されています。Deeptectorにおいても、分類型の判定において、画像のどの部分を見て判定をしたかをヒートマップで示す「Explainable AI（XAI）機能」（※）を搭載しています。

※2023年3月現在、分類型のみ搭載。

DeeptectorのXAI機能による判定結果を見てみましょう。判定結果（確信度）と合わせて、写真のどの部分を参考に判断したかをヒートマップで示しています。以下の写真の場合、犬と猫の分類を判定しており、ヒートマップが赤く表示されている主に顔部分で判断されたことがわかります。

XAI機能で可視化！ 餃子と小籠包を見分けたポイント

さらに身近なものでXAI機能を試してみましょう。

あなたは餃子と小籠包をどのように判別していますか？　味はさておき、両方とも皮のひだはあるものの、餃子は半月形、小籠包はまんじゅう形と、形が大きく異なります。

まずは餃子と小籠包において、分類型の判定を見てみましょう。

※吹き出しはDeeptectorの機能ではありません。

3枚の写真では、ほぼ100%の確信度で餃子と小籠包を判定しています。ただし、XAI機能を利用していないため、画像のどの部分を以て判定したのかがわかりません。本写真の場合、器の形状や付属物で判断した可能性も考えられます。

では、同じ写真において、XAI機能を使ってみましょう。

XAI機能を利用することで、画像内の参考箇所が特定されます。赤くなっている部分から、餃子、小籠包そのものの形や色（焦げ目）などの見た目から判定しており、器の形状や付属物はほとんど参考にされていないことがわかります。

安心して画像認識AIを活用するために

XAI機能を搭載した画像認識AIであれば、「どの部分で判定をしているのか」が可視化されます。ユーザーはAIの判定根拠や理由を把握可能となることで、より安心感を持って運用へと適用することができるでしょう。また、判定精度を上げるためにどのような画像を用いて追加学習をさせればよいか、迷うこともないでしょう。

信頼性と透明性を兼ね備えた画像認識AIを選ぶなら、Deeptectorをお勧めいたします。

「Deeptector」はNTTコムウェア株式会社の登録商標です。

------------------------------------------------------------------
■Deeptector 商品HPはこちら
■Deeptectorに関する資料はこちら
■Deeptectorに関するお問い合わせはこちら
------------------------------------------------------------------