【エッジAI入門】NXP FRDM-MCXN947のNPUで画像認識!CIFAR-10を動かしてみた

開発・デバッグ

今回は、NXPのマイコン評価ボード「FRDM-MCXN947」を使って、AIによる画像認識を動かしてみました。

FRDM-MCXN947には、AIの推論処理に特化したNPU(Neural Processing Unit)が搭載されています。

NXPが公開しているサンプルプログラムを使用することで、AIの学習モデルを自分で作成しなくても、マイコン上で画像認識を体験できます。

さらに今回は、Pythonを使って画像認識用のGUIアプリを作成し、好きな画像を選択して推論結果を確認できるようにしてみました。

実際に試すと、わずか約7.7msで画像を分類できることが確認できました。

ただし、複数の物体が写った画像を入力すると、少し意外な結果も出てきました。

その様子を紹介します。

▼ 今回の実験動画はこちら

1. 使用したFRDM-MCXN947とは?

今回使用したのは、NXP Semiconductorsのマイコン評価ボード「FRDM-MCXN947」です。

このボードにはArm Cortex-M33を搭載したMCXN947マイコンが使用されており、AI推論の演算を高速化するNeutron NPUが内蔵されています。

一般的なマイコンではCPUがAIの演算を行いますが、NPUを使用することで、対応するニューラルネットワークの演算を効率的に処理できます。

今回は、以下の環境で実験しました。

  • 評価ボード:NXP FRDM-MCXN947
  • 開発環境:MCUXpresso for VS Code
  • AI推論:TensorFlow Lite Micro
  • 学習済みモデル:CIFAR-10を用いたCifarNet
  • 推論処理:Neutron NPU

2. CIFAR-10とは?

CIFAR-10とは、画像認識AIの学習や評価に使われる画像データセットです。

32×32ピクセルのRGBカラー画像で構成され、次の10種類に分類されています。

分類英語名
飛行機airplane
自動車automobile
鳥bird
猫cat
鹿deer
犬dog
カエルfrog
馬horse
船ship
トラックtruck

今回のサンプルでは、このCIFAR-10を使って学習したAIモデルがあらかじめ用意されています。

さらに、NXPのNeutron NPUで実行できる形式に変換されたモデルがSDKに含まれているため、自分で学習やモデル変換を行う必要がありません。

つまり今回は、学習済みモデルに画像データを入力して、マイコン上でAI推論を行う実験になります。

3. サンプルプログラムの仕組み

最初に、NXPが提供している tflm_cifar10 サンプルを実行してみました。

すると、シリアルモニタに次の結果が表示されました。

Detected: ship (99%)

これは、入力された画像をAIが「船」と判定したことを示しています。

推論処理の流れを簡単に整理すると、次のようになります。

① 学習済みモデルを初期化する

MODEL_Init()

あらかじめ用意されている学習済みモデルを使用して、AI推論を実行できるように初期化します。

② 入力画像データを取得する

サンプルには船の画像データが含まれています。

画像はRGB形式のデータとして image_data.h に格納されています。

今回のモデルが扱う画像サイズは32×32ピクセルです。

RGBは赤・緑・青の3要素で構成されるため、1枚の画像のデータ量は以下になります。

32 × 32 × 3 = 3,072バイト

③ AIによる推論を実行する

MODEL_RunInference()

この関数で学習済みモデルに画像データを入力し、推論を実行します。

内部ではTensorFlow Lite Microの処理を通じて、NPUを利用した推論が行われます。

④ 推論結果を取得する

MODEL_ProcessOutput()

推論結果を処理し、分類した物体の名前とスコアを表示します。

このように、学習済みモデルとNPUを活用することで、比較的少ないプログラムでもAI画像認識を体験できます。

4. Pythonで画像認識GUIを作ってみた

NXPのサンプルプログラムでは、推論結果がシリアルモニタにテキストで表示されるだけです。

これでは実際に何を認識しているのかが少し分かりづらいため、今回はPythonを使用してGUIアプリを作成しました。

このアプリでは、PC上で画像ファイルを選択して、FRDM-MCXN947に推論させることができます。

処理の流れは以下のとおりです。

  1. Pythonアプリで画像ファイルを選択する
  2. 画像を32×32ピクセルのRGB形式に変換する
  3. USBシリアル通信で評価ボードに画像データを送信する
  4. FRDM-MCXN947のNPUで推論を実行する
  5. 推論結果をPCへ返し、画面に表示する

また、CIFAR-10の10種類すべての分類スコアを棒グラフで表示できるようにしました。

ここで重要なのは、PC側ではAI推論を行っていないということです。

Pythonアプリは画像変換と通信、結果表示を担当し、実際のAI推論はFRDM-MCXN947上で実行しています。

5. 実際に画像認識を試してみた

それでは、いくつかの画像を入力して結果を確認してみます。

鳥の画像を入力した場合

最初に鳥の画像を入力してみました。

推論結果は、

鳥(bird):99.61%

となり、正しく分類できました。

推論時間は 7.724ms でした。

この時間はNPUによる推論処理の時間であり、PCから画像を送信する時間などは含まれていません。

猫や馬の画像も試してみる

続いて猫や馬の画像を入力したところ、こちらもそれぞれ猫、馬として分類できました。

このように、対象となる物体がはっきり写っている画像であれば、今回の学習済みモデルでも良好な結果が得られました。

猫とインコが一緒に写っている画像では?

実際の環境では、画像に複数の物体が写ることもあります。

そこで、猫とインコが一緒に写っている画像を入力してみました。

結果は、

猫(cat):96.48%

となりました。

猫と鳥の両方が写っているものの、AIは猫として分類しました。

これは、今回使用したCIFAR-10モデルが画像内のすべての物体を検出するものではなく、画像全体を10種類のうちの1つに分類するモデルだからです。

10種類すべてが写っている画像では?

さらに、CIFAR-10に含まれる10種類の物体をすべて1枚に収めた画像を用意してみました。

この画像を推論すると、

飛行機(airplane):約98.8%

という結果になりました。

犬や猫、鳥、自動車なども写っていますが、AIは飛行機と判定しています。

この結果からも、今回のモデルが複数の物体をそれぞれ検出しているわけではないことが分かります。

なお、表示される98.8%という数値は、AIが飛行機というクラスに与えた分類スコアです。画像の98.8%を飛行機が占めているという意味ではありません。

6. 今回の実験で分かったこと

今回の実験を通して、FRDM-MCXN947のNPUを使えば、マイコン上でも画像認識の推論を実行できることが確認できました。

NXPのSDKには学習済みモデルが用意されているため、AIの学習方法を詳しく知らなくても、まずは推論処理を動かしてみることができます。

また、今回のCIFAR-10モデルでは、画像1枚あたり約7.7msという推論時間を確認できました。

一方で、画像に複数の物体が含まれている場合には、必ずしも人間が期待する分類結果になるわけではありません。

つまり、AIで何を認識したいのか、どのような入力データを想定するのかを考えて、学習済みモデルを設計することが重要だと感じました。

今回の実験は、用意された学習済みモデルを使ったものですが、実際の製品開発では用途に適したモデルを作成する必要があります。

7. 今後は自分でAIモデルを作ってみたい

次のステップでは、TensorFlowなどを使って自分でAIモデルを学習させ、FRDM-MCXN947のNPUで実行するところまで挑戦したいと考えています。

また、今回は画像認識を試しましたが、マイコンを利用したエッジAIには別の可能性もあります。

例えば、加速度センサーなどから取得したデータを用いて、動きの分類や異常検知を行う方法です。

画像に比べて入力データ量を小さくできるケースもあるため、マイコンでの実用的なエッジAIとして面白そうです。

FRDM-MCXN947は、こうしたエッジAIの学習を進めていくうえで、良い評価環境になりそうだと感じました。

まとめ

今回はNXPのFRDM-MCXN947を使って、CIFAR-10によるAI画像認識を動かしてみました。

今回確認できたポイントは以下のとおりです。

  • FRDM-MCXN947にはAI推論向けのNeutron NPUが搭載されている
  • SDKに学習済みモデルが含まれており、簡単にAI推論を体験できる
  • Python GUIから画像を送信して、NPUの推論結果を可視化できた
  • 今回のモデルでは、画像1枚の推論時間は約7.7msだった
  • 複数の物体が写った画像では、画像全体が1つのクラスに分類される

今後も、実際にマイコンを動かしながらエッジAIについて学んでいきたいと思います。

動画でも実際の動作を紹介していますので、ぜひご覧ください。

▼ 動画:FRDM-MCXN947でAI画像認識を動かしてみた


KUMITATE

読むだけでなく、
実際に動かして学びませんか?

クミタテは、組み込み開発や電子工作を 実践しながら学べる学習プラットフォームです。 ESP32を使ったプログラミングから、電子回路、センサー、 通信、基板設計まで、自分のペースで学習できます。

  • 無料で学べる実践的な教材を掲載
  • すぐに試せるサンプルプログラム付き
  • Googleアカウントですぐに登録可能
クミタテに無料登録する
開発・デバッグ
スポンサーリンク