本篇介紹如何安裝與使用 TensorFlow Object Detection API,自動辨識照片或影片中的物件。

Tensorflow Object Detection API 是 Google 以 TensorFlow 為基礎所開發的物件偵測程式開發架構(framework),其以開放原始碼的方式釋出,所有想要開發以深度學習自動辨識物件程式的人,都可以很方便的利用這套架構發展自己的系統。

安裝 Tensorflow Object Detection API

首先安裝 TensorFlow 的基本環境:

# CPU 版
pip install tensorflow
# GPU 版
pip install tensorflow-gpu

若在 Ubuntu Linux 中,其餘的套件可以使用 apt 安裝:

sudo apt-get install protobuf-compiler python-pil python-lxml
sudo pip install jupyter
sudo pip install matplotlib

在其他的 Linux 系統中,則可統一用 pip 安裝:

sudo pip install pillow
sudo pip install lxml
sudo pip install jupyter
sudo pip install matplotlib

從 GitHub 上面下載 Tensorflow Object Detection API 的原始碼:

git clone https://github.com/tensorflow/models.git

Tensorflow Object Detection API 在使用之前,要先編譯 Protobuf 函式庫:

# 編譯 Protobuf 函式庫
cd models/research
protoc object_detection/protos/*.proto --python_out=.

接著將 models/researchmodels/research/slim 加入 PYTHONPATH 環境變數中,這個步驟在每次使用 Tensorflow Object Detection API 之前都要執行,建議可以加入 ~/.bashrc 中:

# 將 models/research 與 models/research/slim 加入 PYTHONPATH
export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

若沒有出現錯誤訊息的話,接下來就可以開始使用 Tensorflow Object Detection API 偵測物件了。

常見問題

如果 protoc 的版本太舊,編譯時可能會出現這樣的錯誤訊息:

object_detection/protos/anchor_generator.proto:11:3: Expected "required", "optional", or "repeated".
object_detection/protos/anchor_generator.proto:11:32: Missing field number.

若遇到這樣的狀況,可以直接下載預先編譯好的 protoc 來使用:

# 建立放置 protoc 的目錄
mkdir protoc_3.3

# 下載與解壓縮 protoc 3.3
cd protoc_3.3
wget https://github.com/google/protobuf/releases/download/v3.3.0/protoc-3.3.0-linux-x86_64.zip
chmod 775 protoc-3.3.0-linux-x86_64.zip
unzip protoc-3.3.0-linux-x86_64.zip

# 使用 protoc 3.3 編譯
/your/path/protoc_3.3/bin/protoc object_detection/protos/*.proto --python_out=.

Hello World

Tensorflow Object Detection API 的原始碼中有附帶一個簡單的入門範例程式,位於 models/research/object_detection/object_detection_tutorial.ipynb,適合初學者來學習如何使用這套 API,這個範例程式是一個 .ipynb 的文件,必須要在 IPython Notebook 的環境中執行。

進入 object_detection 目錄,開啟 Jupyter Notebook:

cd object_detection
jupyter notebook

開啟 Jupyter Notebook 之後,開啟 object_detection_tutorial.ipynb 這個範例程式碼:

打開範例程式碼

這個範例程式碼是由 Google 官方所提供的,裡面還有一些簡略的說明,對於熟悉 Python 與 TensorFlow 架構的人來說,應該是很容易就可以看得懂。

物件偵測範例程式

這個範例程式本身就有附帶測試用的圖片資料,所以可以直接執行,正常來說執行後就會得到兩張偵測結果的圖片。

物件偵測範例程式執行結果

這樣就完成 Tensorflow Object Detection API 基本的環境安裝與測試了。

我直接拿幾張照片來測試,這個範例程式碼所使用的模型是 SSD + Mobilenet,辨識物件的速度非常快,但是精確度似乎不是非常好。

這份範例程式碼的的測試圖檔是由 TEST_IMAGE_PATHS 這個變數來設定的,我們可以修改它,加上自己的圖片來測試一下:

# 設定測試用的圖檔
PATH_TO_TEST_IMAGES_DIR = 'test_images'
TEST_IMAGE_PATHS = [ os.path.join(PATH_TO_TEST_IMAGES_DIR, 'image{}.jpg'.format(i)) for i in range(1, 2) ]

以下是一些 Tensorflow Object Detection API 測試結果的圖片。

SSD + Mobilenet 模型測試結果

SSD + Mobilenet 模型測試結果

SSD + Mobilenet 模型測試結果

SSD + Mobilenet 模型測試結果

SSD + Mobilenet 模型測試結果

接下來我們將以這個範例程式碼為基礎,介紹如何修改裡面的設定,根據自己的需求製作出適合的自動物件辨識引擎。