$ mkdir ~/Vitis/vitis_r1.4
$ git clone --recurse-submodules -b v1.4 https://github.com/Xilinx/Vitis-AI.git

$ docker pull xilinx/vitis-ai-cpu:1.4.916

$ docker image ls

※ご参考「現行ユーザーでのdockerコマンド使用について」

dockerコマンドは、rootユーザーのみ使用となっていますが、グループを作ってそこに現行ユーザーを追加すれば、現行ユーザーでも使用可能です！
詳細は、こちらをご参照ください！

$ cd ~/Vitis/vitis_r1.4
$ url=https://www.xilinx.com/bin/public/openDownload?filename=vitis-ai-runtime-1.4.0.tar.gz
$ wget -O ${url##*=} ${url}

$ cd ~/Vitis/vitis_r1.4
$ mkdir -p work_so-one/compiled_output

$ cd ~/Vitis/vitis_r1.4/Rev1.0/v1.0.1/040_dpu_archtecture
$ tar -zxvf so-one_dpu_arch_v1.0.1.tar.gz

$ cp so-one_dpu_arch/arch.json ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one/

$ cd ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one
$ vim compile_cf_model.sh

$ cd ~/Vitis/vitis_r1.4
$ less Vitis-AI/models/AI-Model-Zoo/model-list/dk_tiny-yolov3_416_416_5.46G_1.4/model.yaml

変換対象の量子化済みのモデルは、「board:GPU」にあります。ただ、今回はcaffeベースとなるため、評価ボードで実行する際は、実行時のパラメータを記載したprototxtが必要になります！！

このprototxtが「board：ZCU102 & ZCU104 & kv260」に格納されています。
そのため、２種類をダウンロードする必要があるのですね~

と、いうことで早速ダウンロードしていきましょう！
”download link”と記載された箇所があるので、リンクをコピーしてwgetコマンドでダウンロードします。

※「board：ZCU102 & ZCU104 & kv260」のダウンロード

$ cd ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one
$ url=https://www.xilinx.com/bin/public/openDownload?filename=tiny_yolov3_vmss-zcu102_zcu104_kv260-r1.4.0.tar.gz
$ wget -O ${url##*=} ${url}

上記コマンドを実施すると、以下のように出力されます。

※画像クリックで大きな画像が表示されます。

その後、作業ディレクトリ内に
「tiny_yolov3_vmss-zcu102_zcu104_kv260-r1.4.0.tar.gz」があればOKです！

※「board：GPU」のダウンロード

$ cd ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one
$ url=https://www.xilinx.com/bin/public/openDownload?filename=dk_tiny-yolov3_416_416_5.46G_1.4.zip
$ wget -O ${url##*=} ${url}

同じく実行すると、以下の画面が出力されます。

※画像クリックで大きな画像が表示されます。

同様に作業ディレクトリ内に
「dk_tiny-yolov3_416_416_5.46G_1.4.zip」があればOKです！

これでダウンロードが完了です。

$ cd ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one
$ unzip dk_tiny-yolov3_416_416_5.46G_1.4.zip

コマンド実行後、以下のように出力されます。

※画像クリックで大きな画像が表示されます。

作業ディレクトリ内に解凍後の「dk_tiny-yolov3_416_416_5.46G_1.4」ディレクトリが存在していればOKです！

$ cd ~/Vitis/vitis_r1.4/Vitis-AI
$ bash docker_run.sh Xilinx/vitis-ai:1.4.916

$ conda activate vitis-ai-caffe
$ cd work_so-one
$ bash compile_cf_model.sh tiny-yolov3_416_416 dk_tiny-yolov3_416_416_5.46G_1.4

正常に完了すると、以下のような画面が出力されます。

※画像クリックで大きな画像が表示されます。

そして、work_so-oneディレクトリ内にcompiled_outputディレクトリが生成され、その中に変換されたAIモデルが格納されています。

以下が実行後のwork_so-oneディレクトリ内部です！
※「tiny-yolov3_416_416.xmodel」が変換済みAIモデルに該当します。

これにて変換は完了です！

SDイメージファイル内にアクセスするために、手順の通りにいくと、当社提供SDイメージファイルをmicroSDに書き込み、カードリーダを介してマウントさせる方法になっています。

が、しかし、現状在宅勤務を継続しており、手元にHostPCがない…！
そのため、こんな状況でも作業できる別な方法で試します！！
※詳細は、こちらがご参考になるかと思います。
（※こちらの作業を試される場合、自己責任でお願いいたします！）

mountコマンドを用いて、/mntディレクトリに一時的にマウントします！
事前準備として、パーディション情報から、マウント先の開始位置を確認します。

その前に、イメージファイルを解凍して、

$ cd ~/Vitis/vitis_r1.4/Rev1.0/v1.0.1/030_sd-image_vitis-output
$ gunzip so-one_dpu_sd-card_v1.0.1.img.gz

 

fdiskコマンドでimgファイルのパーディション情報を確認します。

$ fdisk so-one_dpu_sd-card_v1.0.1.img

すると、以下のように出力されます。

情報から、マウントするポイントは、512*2000896となりますので、こちらを指定してマウントしていきましょう。

その前に、マウントするにあたり、
/mntディレクトリ内にマウント用のディレクトリを作ることをお勧めします。
ディレクトリを作成し、マウントをしていきましょう。

$ mkdir /mnt/sd_card_img
$ sudo mount -o loop,offset=$[512*2000896] ./so-one_dpu_sd-card_v1.0.1.img /mnt/sd_card_img

すると、あら不思議！
/mnt/sd_card_imgディレクトリ内に、/ディレクトリが！

ということで、本題に戻りまして…
イメージファイル内に無事アクセスできたので、実機動作に必要なファイルをコピーします。
こちらは手順書通りに行えばOKです！

$ cd ~/Vitis/vitis_r1.4
$ sudo mkdir -p /mnt/sd_card_img/home/root/work_so-one
$ sudo cp -a vitis-ai-runtime-1.4.0.tar.gz /mnt/sd_card_img/home/root/work_so-one/
$ cd ~/Vitis/vitis_r1.4/Vitis-AI/work_so-one
$ sudo cp -a densebox_640_360-zcu102_zcu104_kv260-r1.4.0.tar.gz /mnt/sd_card_img/home/root/work_so-one
$ sudo cp -a compiled_output /mnt/sd_card_img/home/root/work_so-one/

これにてコピーは完了です！
最後に、アンマウントだけは確実に行って終了します！
さよならSDイメージ～♪

$ sudo umount /mnt/sd_card_img

コピーが完了したイメージファイルを圧縮して、Etcherソフトで書き込んで完了です！

$ cd ~/Vitis/vitis_r1.4/Rev1.0/v1.0.1/030_sd-image_vitis-output
$ gzip so-one_dpu_sd-card_v1.0.1.img

圧縮すると、「so-one_dpu_sd-card_v1.0.1.img.gz」が生成されます。
Etcherソフトを用いてmicroSDに書き込みます。
※書き込みに関しては、手順書のP11にも記載しておりますので、ご参照ください。

お疲れ様でした！

次は、実機動作確認です。
早速試してみましょう。

－今回は、以下環境で評価ボードを起動します。
・SDブート
・Windows10搭載のPC上で、コンソール接続ソフト経由で操作

－手順書には、今回の環境での起動方法が詳細に記載されているので、安心しながら作業できます。

－空き容量不足による不具合を防止するために、初めに最適化を実行します。

最適化に使用するスクリプトを解凍し、実行して完了です。

# tar zxf /media/sd-mmcblk1p1/app/dpu_sw_optimize.tar.gz
# bash dpu_sw_optimize/zynqmp/zynqmp_dpu_optimize.sh

完了後、以下のように出力されます。

－続いて、HostPCでダウンロードしていたランタイムをインストールします。
解凍した後、含まれているセットアップ用スクリプトを実行して完了です。

# cd /home/root/work_so-one
# tar zxf vitis-ai-runtime-1.4.0.tar.gz
# cd vitis-ai-runtime-1.4.0/2020.2/aarch64/centos/
# bash setup.sh

セットアップ用スクリプトを実行すると、以下のようにインストール画面が表示されます。

※画像クリックで大きな画像が表示されます。

－最後に、推論実行に必要なファイルを各々のディレクトリに配置します。

# cd /home/root/work_so-one
# tar zxf tiny_yolov3_vmss-zcu102_zcu104_kv260-r1.4.0.tar.gz
# mkdir -p /usr/share/vitis_ai_library/models
# cp -a compiled_output/tiny-yolov3_416_416 /usr/share/vitis_ai_library/models/
# cp -a tiny_yolov3_vmss/tiny_yolov3_vmss.prototxt /usr/share/vitis_ai_library/models/tiny-yolov3_416_416/

さまざまなファイルを扱ったので、一度整理しますね。
/usr/share/vitis_ai_library/modelsディレクトリの構成はこんな感じです。
※評価ボードのLinux OS上にtreeコマンドがなかったため、findコマンドにて代用しました。

※画像クリックで大きな画像が表示されます。

※ご注意！！
prototxtについて、
おそらく「tiny-yolov3_vmss.prototxt」となっているかと思います。
こちらは「tiny-yolov3_416_416.prototxt」にリネームお願いいたします！！

－まず、実行に必要な環境変数を設定します。以下のコマンドを実行します。

# cp -a /mnt/sd-mmcblk1p1/dpu.xclbin /usr/lib/
# export XLNX_VART_FIRMWARE=/usr/lib/dpu.xclbin

－続いて、画面表示について設定します。以下のコマンドを実行します。

# export DISPLAY=:0.0
# xrandr --output DP-1 --mode 640x480

－これでフィニッシュです！！以下のコマンドでデモを実行します。

# cd
#/usr/share/vitis_ai_library/samples/yolov3/test_video_yolov3 test_video_yolov3_416_416 0

実行後、コンソールに以下が出力され、約1秒後にデモ画面がモニタに表示されます。

モニタにはこのように表示されます。
※プライバシー保護のため、顔付近は黒く塗りつぶさせて頂きましたm(__)m

左斜め下あたりに、ペットボトルを認識したバウンディングボックスが表示されています！

今回はサンプルモデルのため、精度に関して実行環境(外部)の影響により良いときと良くないときそれぞれありますが、 処理速度に関しては、23FPSとなかなか良い結果が出ているのではと思います！

これにて作業完了です！
上記のような流れで、その他のAI Model Zooのモデルも動作させることが可能です。
※姿勢推定(open pose)や、ナンバープレート検知(plate detect)など…

サンプルとなりますが、変換~実装までの流れは把握できるため、独自モデルを動かす際にも参考になるのではと考えております。