1 LibTorch 模型部署

現(xiàn)有的深度學(xué)習(xí)框架有很多（如 PyTorch，TensorFlow、Caffa），TensorFlow和 PyTorch 是目前主流的深度學(xué)習(xí)框架，TensorFlow 框架可以靈活的應(yīng)用于較大規(guī)模的產(chǎn)品，容易進(jìn)行工程化的部署。但是受制于靜態(tài)圖，使得采用動(dòng)態(tài)圖的PyTorch 框架成為最受歡迎的深度學(xué)習(xí)框架，還有著靈活的構(gòu)建、訓(xùn)練網(wǎng)絡(luò)模型，很多集成化的工具，使得調(diào)試非常簡(jiǎn)單。

采用 PyTorch 訓(xùn)練 ResNet101 缺陷分類識(shí)別模型和 YOLOV5 缺陷目標(biāo)檢測(cè)模型，采用 PyTorch 框架的內(nèi)置函數(shù)，將訓(xùn)練好的模型轉(zhuǎn)換成 c++可讀取的模型，用 c++去推理，這就是 LibTorch 模型部署的方式，可以提高系統(tǒng)運(yùn)行的穩(wěn)定性，提升推理的速度。

2 Docker 部署系統(tǒng)

Docker 容器技術(shù)具有以下幾點(diǎn)優(yōu)勢(shì)，使得部署整個(gè)系統(tǒng)更加方便、快捷、穩(wěn)定。

（1）對(duì)系統(tǒng)資源高效的利用

（2）快速的啟動(dòng)時(shí)間

（3）開發(fā)和部署一致的環(huán)境

（4）持續(xù)快速的部署

（5）更簡(jiǎn)單的遷移

（6）更加容易的維護(hù)和擴(kuò)展

3 輕量級(jí)服務(wù)器框架 Tornado

Tornado 是由 python 語(yǔ)言編寫的輕量級(jí)服務(wù)器框架，具有性能優(yōu)越，速度快，高并發(fā)，內(nèi)嵌了 HTTP 服務(wù)器的優(yōu)點(diǎn)。Tornado 單線程的異步網(wǎng)絡(luò)程序，默認(rèn)啟動(dòng)時(shí)根據(jù) CPU 數(shù)量運(yùn)行多個(gè)實(shí)例，可以利用 CPU 多核的優(yōu)勢(shì)。從實(shí)際的需求出發(fā)，采用高性能、輕量級(jí)的 Tornado 服務(wù)器框架。

微信公眾號(hào)：人工智能感知信息處理算法研究院

知乎主頁(yè)：AI高級(jí)人工智能