OpenVINOを使ってみる
ちょっとお仕事でOpenVINOというものを触る機会があったので調べたことをまとめてみます。
ちなみに、私はディープラーニングについては初心者、というよりほぼ初見です。
すっごく昔にOpenCVで顔検出をちょっとだけ試したことがあるくらいです。（モデルはなんかサンプルだったか何を使った気がするけど覚えてない）
OpenVINOについて
OpenVINO (Open Visual Inference and Neural network Optimization) は、Intelが提供するディープラーニングモデルの最適化とデバイスへの展開を行うためのオープンソースツールキットです。OpenVINOは、CPU、GPU、VPU、FPGAなどのバックエンドに対応しており、高速かつ効率的に推論を行うことができる、そうです。
OpenVINOの主な機能は以下
- ディープラーニングモデルの最適化
- 推論エンジンの作成
- デバイスへの展開
OpenVINOは、PythonやC++などのプログラミング言語に対応しており簡単に利用することができる、だそうです。
…なんのこっちゃ。。
というわけで、ハンズオンをやってみます！
※環境構築等の詳しい内容はハンズオンの中で学んでください。ここでは簡単に触りだけ説明します。
OpenVINO™ ツールキット基礎知識
OpenVINO™ ツールキットは「インテルのエッジデバイスでディープラーニング推論を高速に実行するソフトウェアライブラリー」です。
OpenVINO™ ツールキット・パッケージ構成
runtimeパッケージ - いくつか種類があります。OpenVINO™ ツールキットを利用するプログラムを実行するのに必要となります。 ⚫ Python runtime (pip) : pipでインストール。C++開発をしないのならこれでもOK。Windowsでも使えます。 ⚫ C++ runtime (インストーラー) : runtimeといいつつ、C++開発に必要なincludeファイルなどはこのパッケージに含まれている。今回はこの方法を紹介します。 ⚫ C++ runtime (yum/apt) : yum/aptでインストール。Ubuntu / RHELなどで利用可能 (当然ですがWindowsでは使えません)
Development tools(開発者)パッケージ - OpenVINO™ ツールキットを使ったプログラム開発に必要。モデル変換ツール、モデルダウンロードツール、モデル最適化 (量子化など) ツール、ベンチマークツールなどが付属しています。
OpenVINO™ ツールキットをインストール
すべて書くとかなり長くなるので手順だけ記載します。
- OpenVINO™ ツールキット C++ runtime パッケージのダウンロード
- 必要ツール類、オプションツール類のダウンロード、インストール o CMake、Python、Microsoft Visual Studio 2019、Git
- OpenVINO™ ツールキット C++ runtime のインストール
- OpenCV のダウンロード、インストール
- OpenVINO™ 開発ツール(development tools) のインストール (pip)
途中、色々と注意事項があるので公式のハンズオンの動画を見ながらインストールされることをおすすめします。
全ての準備できたら、「Developer Command Prompt for VS2019」というツールがインストールされているはずですのでそれを立ち上げます。
ここからはOpenVINO™ ツールキットのインストールが完了した前提で話を進めます。
コマンド類がたくさん出てきますが今回のハンズオンを試す際には以下のことを覚えておくと良いと思います。
- OpenVINO™ ツールキットのための環境変数を設定するバッチファイルを実行
- Developer Command Prompt for VS2019を立ち上げる度に必要です。
- Pythonバーチャル環境を有効化
- Developer Command Prompt for VS2019を立ち上げる度に必要です。
Python仮想環境の作成
作業フォルダを作成してその中にPythonの仮想環境を作成・切り替える例です。
cd %USERPROFILE%
mkdir work
cd work
# pip, setuptoolsを最新のものにアップデートする
python -m pip install -U pip setuptools
# "venv-ov22.1"という名前でPython仮想環境を作成する。
python -m venv venv-ov22.1
# 作成した仮想環境を有効化する。これ以降、コマンドプロンプトの先頭に仮想環境名、"(venv-ov22.1)"が表示されるようになる。
venv-ov22.1\Scripts\activate
# 仮想環境内のpip, setuptoolsを最新のものに更新する。
python -m pip install -U pip setuptoolsOpenVINOツールキットの開発関連ツール (Model Optimizer, Model Downloader, Benchmark_appなど) をインストールします。
python -m pip install openvino-dev[tensorflow2,pytorch,onnx,caffe,kaldi,mxnet]==2022.1.0ここまででOpenVINO開発ツールのインストールは終わりです。
ここまでできたら一度「Developer Command Prompt for VS2019」を閉じましょう。
環境が正しくセットアップされたか確認 - ベンチマークの実行
先ほどと同じ様に「Developer Command Prompt for VS2019」を立ち上げます。
Developer Command Prompt for VS2019が立ち上がったら、以下の2点を行います。
- OpenVINO™ ツールキットのための環境変数を設定するバッチファイルを実行
"%PROGRAMFILES(X86)%\Intel\openvino_2022\setupvars.bat"• Pythonバーチャル環境を有効化
cd %USERPROFILE%\work
venv-ov22.1\Scripts\activate環境が正しく構築されたかどうか、ResNet-50のモデルをダウンロードし、ベンチマークツールを実行してみることで確認します。
- Resnet-50モデルをOMZからダウンロードします。omz_downloaderを使用します。
omz_downloader --name resnet-50-tfダウンロードしたOMZモデルはフレームワーク形式（TensorFlow Protobuf(.pb)）なのでomz_converterを使用してOpenVINOツールキットのIR形式モデルに変換します。
omz_converter --name resnet-50-tf- omz_downloader は Open Model Zoo (OMZ)からモデルを自動ダウンロードするツールです。
- omz_converterはOMZからダウンロードしたpublicモデル (publicフォルダ以下にダウンロードされるフレームワーク形式のモデル) をOpenVINO™ ツールキットのIR形式に変換するツールです。
※Open Model Zooとはインテルが学習済みモデルを配布しているサイトです。（https://github.com/openvinotoolkit/open_model_zoo/tree/master）
上記2つのコマンドを実行すると、workフォルダ以下public/resnet-50-tf/FP16のフォルダ内に変換されたIRモデルファイルが生成されています。
.xmlはモデルの構造（トポロジー）を記述したXMLファイル
.binが重み、バイアス値などを格納したバイナリ
ベンチマークはbenchmark_appを使って計測します。以下のコマンドを実行してください。
benchmark_app -m public\resnet-50-tf\FP16\resnet-50-tf.xml -niter 100 -d CPU推論回数=100、推論デバイス=CPU
なんかよくわからないけど、ベンチマークが計測されました。
詳しい内容はハンズオンの中の動画で説明されています。（CPUやGPUを使った際の違いも紹介されています）
とりあえず成功したようです！（笑）
さて、ここまではOpenVINOツールキットのインストールでした。。長かった。。。
。。。
。。。
。。。
さて、気を取り直してこれからサンプルプログラムを動かします！
OpenVINO™ ツールキットのサンプルプログラムのビルド・実行
OpenVINO™ ツールキットC++サンプルプログラムをビルドし、実行してみます。
サンプルプログラムは比較的シンプルで、凝った作りになっていないためOpenVINO™ ツールキットのAPI学習の参考用に有用です。（とのことですが、私にはハードル高そう。。。）
それではいってみましょう！
以下のコマンドを実行してビルドを行います。
cd %PROGRAMFILES(X86)%\Intel\openvino_2022\samples
cd cpp
build_samples_msvc.batなんかよくわからんけど色々と出ました（笑）
実行可能バイナリは、
%USERPROFILE%\Documents\Intel\OpenVINO\inference_engine_cpp_samples_build\intel64\Release
以下に生成されるようです。
/w=3840,quality=80,fit=scale-down)
hello_classificationサンプルプログラムを実行してみる
以下のコマンドを順に実行します
cd "%USERPROFILE%\Documents\Intel\OpenVINO\inference_engine_cpp_samples_build\intel64\Release"
omz_downloader --name googlenet-v1
omz_converter --name googlenet-v1以下の画像をダウンロードして
"%USERPROFILE%\Documents\Intel\openvino\inference_engine_cpp_samples_build\intel64\Release"
に「dog.bmp」という名前で保存します。
※ウチのワンちゃんです（かっこいいでしょ？）
サンプルプログラムを実行してみます。(推論デバイス=CPU)
hello_classification.exe public\googlenet-v1\FP16\googlenet-v1.xml dog.bmp CPU
65.8%の確率でクラスID253のオブジェクトだと判定されたようです。
googlenet-v1モデルはImageNetデータセットで学習されているようなので、ImageNetのラベルデータを確認してID253のクラス名を確認します。
下記URLをブラウザーで開いてクラス名を確認します。
このリストはIDが1から始まっているので、推論結果の253に1を足した254が判定されたクラス名となります。
ん？「basenji」？？？
何じゃそりゃ？？？
Googleで調べました。
バセンジーとは、
コンゴ共和国原産の狩猟用犬種である
えーと、ウチの犬はバセンジーではないですが（似てるかもだけどｗ）、とりあえず推論としては「犬」という結論になりました！
さて、ずいぶんと長い記事になってしまいましたので、この記事はこのあたりで締めたいと思います。
ハンズオンでは「Open Model Zoo」のデモプログラムのダウンロード、ビルドなどその他、実用的なプログラムの紹介もされています。
もし興味がある方はぜひハンズオンを体験してみてください（動画を見ながらやるだけです）
以下、Open Model Zooを使う際の自分用のメモです。
# 事前準備
## 「Developer Command Prompt for VS2019」を開始します。
## OpenVINO™ ツールキットのための環境変数を設定するバッチファイルを実行します。
```
"%PROGRAMFILES(X86)%\Intel\openvino_2022\setupvars.bat"
```
## Pythonバーチャル環境をアクティベート
```
cd %USERPROFILE%\openvino
venv-ov22.1\Scripts\activate
```
# 顔認識
## デモディレクトリに移動
```
cd %USERPROFILE%\openvino\open_model_zoo\demos\face_recognition_demo\python
```
## モデルのダウンロード
```
omz_downloader --list models.lst
```
## モデルの変換
```
omz_converter --name face-recognition-resnet100-arcface-onnx
```
## 実行
```
python face_recognition_demo.py -i 0 -m_fd intel\face-detection-retail-0004\FP16\face-detection-retail-0004.xml -m_lm intel\landmarks-regression-retail-0009\FP16\landmarks-regression-retail-0009.xml -m_reid intel\face-reidentification-retail-0095\FP16\face-reidentification-retail-0095.xml --verbose
```