NXP Semiconductorsのi.MX 8M Plusアプリケーション・プロセッサとサイバーリンクのAI顔認証エンジンFaceMeで構成した宮川製作所の顔認証端末「Noqtoa（ノクトア）」。i.MX 8M Plusの特徴のひとつであるNPU（ニューラル・プロセッシング・ユニット）を活用して、人物の顔の特徴量抽出を高速化し、1万人の登録に対してわずか0.2秒という顔認証レスポンスを実現した。宮川製作所で開発を担当したお二人を中心に話を聞いた。
集合写真
（左より）
株式会社宮川製作所 プロダクツ開発本部 リーダー 原 秀太郎 氏（ファームウェア開発担当）
株式会社宮川製作所 プロダクツ開発本部 リーダー 佐藤 諒弥 氏（ハードウェア開発担当）
株式会社マクニカ 第1技術統括部 応用技術第6部 第1課 矢澤 祐也 氏
NXPジャパン株式会社 セキュア・コネクトエッジ製品部 プロダクト・マーケティング 浜野 正博 氏
目次
顔認証市場の成長性を見据えて顔認証端末「Noqtoa」を開発
――宮川製作所は2022年9月に顔認証端末「Noqtoa（ノクトア）」を発売しました。開発の経緯について教えてください。
宮川製作所・佐藤：RFIDシステムや音声案内システムなどを手掛けているなかで、画像処理/エッジAIをキーワードとして新たなビジネスに挑戦しようといろいろな市場を調査した結果、顔認証がこれから伸びていくだろうと考えたのが開発に着手したきっかけです。開発を進めていたタイミングで新型コロナの感染が広がり、非接触の需要が高まったこともあって、製品化を図りました。
図1.宮川製作所が開発した顔認証端末「Noqtoa（ノクトア）」。NXPのi.MX 8M Plusアプリケーション・プロセッサ（クワッド・コア品）とサイバーリンクのAI顔認証エンジンFaceMeで構成した。登録は最大1万人。顔認証のレスポンスは0.2秒と高速である。NFC認証にも対応している。
――顔認証端末は競合製品も多いと思うのですが、Noqtoaにはどういった強みがあるのでしょうか。
佐藤：いろいろな製品が市場に出ていますけど、中国をはじめ海外製が中心で、日本製もありますが大手メーカーがほとんどでシステム価格が高いという課題があります。Noqtoaは開発も生産も国内ですから安心して使っていただけることに加え、Noqtoa上ですべての認証処理を行ういわゆるエッジ方式を採用していますので、クラウド認証方式に比べて認証時間が短いこと、ネット上への情報流出リスクが低いこと、システムの規模に応じたスケーリングを端末数を変えるだけで実現できること、ローカルネットワーク環境での運用やサーバを常時稼働にせずとも運用が可能であること、などがメリットであると考えています。
なお、顔の特徴量抽出を含む顔認証処理については、サイバーリンクのAI顔認証エンジンFaceMeを採用しました。
宮川製作所・原：顔認証ソリューションに関してインターネットで検索したときに、サイバーリンクのFaceMeとNXPのi.MX 8M Plusアプリケーション・プロセッサの組み合わせ例が マクニカのサイトに載っていたのを見つけたんです。
マクニカ・矢澤：宮川製作所様からお問い合わせをいただいて、サイバーリンクのFaceMeと、エッジ側で高速に処理できるNXPのi.MX 8M Plusプロセッサをご紹介させていただきました。顔認証のAIモデルを作ろうとすると学習用データとして何万人もの顔写真を集めなければなりませんから、認識精度が高くエッジ製品に最適化されたFaceMeを採用されたのは適切なご判断だったと思います。
――Noqtoaは認証スピードとして0.2秒を謳っています。 デモの動画を見てもかなり高速に思えますが、どういった基準でこの性能値を定めたのですか？
佐藤：当初は歩いたままの完全なウォークスルー認証を実現しようと思ったのですが、そうすると処理性能的に認証精度が下がってしまうことが分かり、他社製品と競合できる0.2秒を実力値として目標にしました。Noqtoaの前で少しだけカメラの方を向いていただくだけで十分なので、ストレスはないと思います。
推論を高速化するNPUを内蔵したi.MX 8M Plusプロセッサを採用
――Noqtoaに採用したNXPのi.MX 8M Plusアプリケーション・プロセッサには、推論処理を高速化するNPUが内蔵されているそうですね。特徴を教えてください。
NXP・浜野：デュアルコア構成またはクワッドコア構成のArm® Cortex®-A53プロセッサに、最大2.3 TOPSの積和演算性能を持つNPU（ニューラル・プロセッシング・ユニット）を組み合わせて、いわゆるエッジAI用のプロセッサとして開発したのがi.MX 8M Plusアプリケーション・プロセッサです。
矢澤：推論処理に必要な大量の積和演算を高速化するために、8ビット整数の積和演算をハードウェアで並列処理できるようにしたエンジンがNPUと考えていただくといいと思います。
――なるほど、INT8のアクセラレータと考えればいいわけですね。Noqtoaの開発に当たって、NPUの効果は評価されましたか？
佐藤：やりました。性能は10倍ぐらい違って、NPUを使うと顔認証のレスポンスは0.2秒ぐらいで実現できるのですが、NPUを使わないと2秒ぐらい掛かってしまうぐらいに差がありました。
原：NPUを使わないで実装すると、Arm Cortex-A53コアが顔認証処理に占有されてしまい、2要素認証用のNFC（近距離無線通信）処理や表示処理などがほとんど動かなくなってしまうほどでした。限られたリソースで所定の機能すべてを実現しなければなりませんので、顔認証をオフロードできるNPUにはすごい恩恵を感じます。
矢澤：たしかFaceMe SDKの中にNPUのスイッチがあって、どちらで動作させるかを選べるようになっていたかと。
原：そうです。ちなみに、NPUが担当しているのはカメラで撮影した映像から顔の特徴量を抽出する部分です。あらかじめ登録してある最大1万人の人物の特徴量との比較は、Arm Cortex-A53コアが担っています。
浜野：NPU以外にも盛りだくさんな特徴を持つのがi.MX 8M Plusアプリケーション・プロセッサです（図2）。カメラ入力とISP（イメージ・シグナル・プロセッサ）をそれぞれ2系統、表示制御用のGPU（グラフィック・プロセッシング・ユニット）、ビデオ・エンコードおよびデコード回路、オーディオ機能、リアルタイム制御用のArm Cortex-M7コアなどを搭載しています。マシン・ビジョン・システムや、スマート・スピーカーをはじめとするオーディオ機器など、幅広いアプリケーションに適した構成になっています。
佐藤：Noqtoaは顔認証だけしかできないデバイスとしてではなく、汎用的に使うことを考えて設計しました。その意味でも、さまざまなインタフェースや機能ブロックを持っているi.MX 8M Plusアプリケーション・プロセッサは、とても使い勝手が良いと感じます。
図2：i.MX 8M Plusアプリケーション・プロセッサの内部構成。デュアルコア構成またはクワッドコア構成のArm Cortex-A53コアを中心に、最大2.3 TOPSのNPU（図中の「Machine Learning Accelerator」）、イメージシグナルプロセッサ、グラフィックプロセッシングユニット、ビデオエンコーダ/デコーダなどを内蔵している。
限られたリソースの中での機能のトレードオフがエッジAIのポイント
――NoqtoaはいわゆるエッジAIのひとつかと思いますが、お客様と接しているなかで、エッジAIに対する関心はいかがですか？
矢澤：たとえばセンサ・データを収集して異常などを検知するアプリケーションを開発したい、というお話はよくありますね。すべてのデータをサーバーに上げるのは非効率になりますから、画像処理を含めて、エッジ側でできるだけ処理させようという狙いです。
浜野：クラウドAIに比べてエッジAIは、サーバーやネットワークの費用を抑えられますし、ネットワークの往復がないので応答も高速になります。あと、生のデータをクラウドに送らずにすみますので、とくにNoqtoaのような人物の映像を扱うアプリケーションではプライバシーやセキュリティの観点でも安心です。NXPとしてもエッジAIには力を入れています。
――実際にNoqtoaを開発してみて、エッジAIならではの難しさや工夫したところはありましたか？
原：先ほども少し出ましたけど、エッジAIは使えるリソースに制約がありますので、実現したい機能をすべて同時に詰め込むという考え方では設計を進めることはできません。決められたハードウェアの中で、機能と性能をどうトレードオフさせるかが難しいなと感じました。
佐藤：AIの推論モデルをどのように用意するかが課題のひとつと思います。今回はFaceMeを使いましたが、顔認証かどうかは別にして、ゆくゆくはなんらかの推論モデルを自前で開発してみたいなという夢はあります。
浜野：NXPでは自社でAIモデルを開発したいお客様向けに「eIQ® 機械学習ソフトウェア開発環境」という開発ツールを提供しています（図3）。主要なフレームワークに対応し、組み込み機器に展開できるようにトレーニング済みモデルを変換したり、一からモデルをトレーニングすることもできます。もちろんNPUへの最適化も可能です。機会があればぜひ試していただきたいと思います。
図3：機械学習モデル（推論エンジン）の開発をサポートする「eIQ® 機械学習ソフトウェア開発環境」。TensorFlow LiteなどのフレームワークやONNX形式のモデルにも対応している。Arm Cortex-Aプロセッサ、NPU、GPU、DSPなど、使用するハードウェアリソースに応じた最適化が可能。
筐体サイズを半分にしたNoqtoa Liteも開発し事業の拡大を狙う
――お話しいただける範囲でかまいませんが、Noqtoaの事例があれば教えてください。
原：まずは社内ですね。2023年7月に竣工した開発センター棟のエントランスや執務室入り口に延べ13台のNoqtoaを設置してあります。Noqtoaの前に立ったときに、自分が開発したとおりに顔認証が働いて扉が開錠されたのが、とても嬉しかったことを覚えています。
あとは、弊社のウェブにも掲載していますが、 NTT東日本－関信越さんが導入されています。従業員の認証や体調チェックに加えて、フリー・アドレスの座席を抽選で選ぶシステムです。
――将来のエンハンスなどは考えていますか？
佐藤：はい。より手軽に使っていただきたいと考え、本体サイズをおよそ半分にした「Noqtoa Lite」を開発し、東京ビッグサイトで開催された「SECURITY SHOW」（2024年3月12日～15日）で試作機を初披露しました（図4）。タッチパネルや体温測定機能などは省いていますが、顔認証機能やNFC認証機能などはNoqtoaと同じです。建屋の外側の出入り口にも設置できるように、IPX5レベルの防滴を実現する防水アタッチメントをオプションで用意する予定です。
図4：小型化を図った「Noqtoa Lite」（右の正方形の筐体）。壁のスイッチ・ボックスに取り付けられるサイズに収めた。顔認証のレスポンスは0.2秒と変わらない。
浜野：NXPはi.MXシリーズの最上位製品としてi.MX 95アプリケーション・プロセッサを2023年1月に発表し、一部のお客様にサンプル出荷を始めています（図5）。Arm Cortex-A53コアに比べて1.2倍程度の性能が得られるArm Cortex-A55コアを採用し、コア数も6コアに増やしていますので、かなりの性能向上が期待できます。また、NPUとしては、NXPが新たに開発した「eIQ Neutron NPU」を搭載しています。宮川製作所様でもいずれ評価していただければと思います。
図5：i.MXシリーズのラインアップ。ハイエンドの「i.MX 95アプリケーション・プロセッサ」が新たに加わった。より高性能なArm Cortex-A55プロセッサのほか、NXPが新たに開発した「eIQ Neutron NPU」を搭載している。
原：プロセッサの性能が上がれば、現在はオフにしているFaceMeが持つ表情認識機能なども有効にできると思いますので、たとえば元気のなさそうな人に「体調はいかがですか？」と表示するなど、これまでにはないユーザーインタフェースが実現できるかもしれません。画面表示のビジュアルももっと良くしたいと思っているので、ぜひ試してみたいと思います。
矢澤：私の部署が扱っているi.MX 8M Plusアプリケーション・プロセッサとFaceMeを組み合わせたNoqtoaを開発していただいたことに感謝していて、われわれとしてもいろいろな機会を通じてNoqtoaを紹介していければと思っています。また、浜野さんから紹介のあったi.MX 95アプリケーション・プロセッサの検討も含め、宮川製作所様のこれからの取り組みを楽しみにしています。
――顔認証端末という新しい分野に参入を果たされた宮川製作所のこれからの発展をお祈りします。今日はありがとうございました。
※本記事は2024年3月末日時点の情報に基づいています。
NXP、NXPロゴはNXP B.Vの商標です。ArmおよびCortexは、EUおよびその他の国におけるArm Ltd（またはその子会社もしくは関連会社）の商標または登録商標です。他の製品名、サービス名は、それぞれの所有者に帰属します。All rights reserved. © 2024 NXP B.V.
こちらも是非
“もっと見る” インタビュー
ウインドリバーが始めた、Yocto Linuxにも対応する組み込みLinux開発・運用支援サービスとは？
リアルタイムOSの「VxWorks」やYocto Projectベースの商用組み込みLinuxである「Wind River Linux」を提供し、組み込みOS市場をリードするウインドリバー。同社が新たに注力しているのが組み込みLinuxプラットフォームソリューションの開発と運用の負担を軽減するLinux開発・運用支援サービスの「Wind River Studio Linux Services」だ。
IoT社会が求めるセーフティとセキュリティを提供するBlackBerry
携帯端末会社からソフトウェア会社へと変貌を遂げたカナダのBlackBerry。同社を代表するリアルタイムオペレーティングシステム「QNX OS」は、さまざまな組み込みシステムのほか、数多くの自動車に搭載されている。近年、同社が力を入れているのが、FA機器や医療機器など、企業活動や生命財産に影響を与える恐れのあるミッション・クリティカルなシステムだ。取り組みについて日本でBlackBerry QNXするアガルワル・サッチン氏に話を聞いた。
「あるくメカトロウィーゴ」に命を吹き込む、 STM32マイコンと使いやすく充実したエコシステム
リビングロボットが開発した「あるくメカトロウィーゴ」は、ロボット・キャラクターとしての造形の可愛さに加え、ロボットの動作をプログラミングできる手軽さもあり、さまざまな教育現場で活用されている。その動きの制御を担っているのが、STマイクロエレクトロニクス（以下ST）の32ビット汎用マイコンSTM32とセンサーデバイスだ。今回は採用に至った経緯や実際の開発についてお話を伺った。