DB-SD38 AI語(yǔ)音與機(jī)器視覺開發(fā)應(yīng)用系統(tǒng)平臺(tái)

AI語(yǔ)音與機(jī)器視覺開發(fā)應(yīng)用系統(tǒng)平臺(tái)是一款集成AI語(yǔ)音、機(jī)器視覺、深度學(xué)習(xí)、嵌入式Linux于一體的高端教學(xué)科研實(shí)驗(yàn)平臺(tái)。

 

整個(gè)教學(xué)平臺(tái)由實(shí)驗(yàn)箱高性能嵌入式主板夠成，高性能嵌入式核心板采用高性能64位ARM處理器，標(biāo)配4GB DDR3內(nèi)存和16GB閃存，可運(yùn)行ubuntu、android、linuxqt等多種操作系統(tǒng)，可滿嵌入式linux和AI應(yīng)用開發(fā)。
平臺(tái)采用多核高性能 AI 處理器，預(yù)裝 Ubuntu Linux 操作系統(tǒng)與 OpenCV 計(jì)算機(jī)視覺庫(kù)，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學(xué)習(xí)端側(cè)推理框架。
提供多種應(yīng)用外設(shè)與豐富的機(jī)器視覺、AI語(yǔ)音、深度學(xué)習(xí)實(shí)戰(zhàn)應(yīng)用案例，如語(yǔ)音前處理（聲源定位、語(yǔ)音增強(qiáng)、語(yǔ)音降噪、回聲消除、聲音提�。�、語(yǔ)音活體檢查、語(yǔ)音喚醒、語(yǔ)音識(shí)別、語(yǔ)音合成、自然語(yǔ)言處理、聲紋識(shí)別門鎖、語(yǔ)音智能家居、手寫字識(shí)別、人臉識(shí)別、目標(biāo)檢測(cè)、端側(cè)推理框架、圖像識(shí)別、人體分析 、文字識(shí)別、人臉門禁控制、車牌道閘控制、手勢(shì)家居控制等，通過案例教學(xué)讓學(xué)生掌握計(jì)算機(jī)視覺與深度學(xué)習(xí)的基本原理和典型應(yīng)用開發(fā)。

2.2.1.          嵌入式網(wǎng)關(guān)核心板

RK3399核心板是一款266-pin金手指形式高性能ARM計(jì)算機(jī)模塊，它采用了瑞芯微64位六核（包含雙核Cortex-A72 +四核Cortex-A53）Soc RK3399作為主處理器，標(biāo)配4GB DDR3內(nèi)存和16GB閃存，板載2×2 MIMO雙天線Wi Fi模組，尺寸只有69.6×50mm，模塊上帶有獨(dú)立的Typec供電接口，以及USB-C顯示接口。
       
RK3399計(jì)算模塊具有豐富的外設(shè)和擴(kuò)展接口，可以擴(kuò)展使用雙MIPI寬動(dòng)態(tài)攝像頭，另外它還帶有eDP顯示接口，MIPI顯示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運(yùn)行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統(tǒng)，軟件資源和生態(tài)非常豐富，尤其是Android 8.1具有NN SDK神經(jīng)網(wǎng)絡(luò)加速軟件包，Qt-5.10集成了VPU硬件編解碼，GPU圖形加速，可使用QML快速開發(fā)流暢的動(dòng)態(tài)式界面，因此RK3399核心板非常適合做高端人臉識(shí)別，機(jī)器視覺，VR虛擬現(xiàn)實(shí)，自動(dòng)駕駛，深度計(jì)算分析等方面的人工智能產(chǎn)品快速原型及產(chǎn)品開發(fā)。
硬件參數(shù)：

CPU	SOC:RK3399 核心:64位雙核Cortex-A72 +四核Cortex-A53 頻率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz)
GPU	Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC
VPU	4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc
Memory	RAM: Dual-Channel 4GB DDR3
Storage	eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1
Power Management	RK808-D PMIC,配合獨(dú)立直流/直流,啟用dvf solfware省電,RTC喚醒,系統(tǒng)睡眠模式
Connectivity	以太網(wǎng):本機(jī)千兆以太網(wǎng) wi - fi: 802.11 a / b / g / n / ac 藍(lán)牙:4.1雙模式 天線:雙天線接口
Video Input	1個(gè)或兩個(gè)4-Lane MIPI-CSI,雙重ISP, 13 mpix / s,同時(shí)支持雙相機(jī)數(shù)據(jù)的輸入
Video Output	HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI
USB	USB 2.0: 2獨(dú)立的本地主機(jī)USB 2.0 USB 3.0: 1本地主機(jī)USB 3.0 USB c類型:支持USB3.0 c型和顯示端口1.2 Alt模式USB c型
PCIe	PCIe x4, compatible with PCIe 2.1, Dual operation mode
調(diào)試	1 x調(diào)試UART, 3 v級(jí),1500000個(gè)基點(diǎn)
LED	1x Power LED(Red)     1x GPIO LED(Green)
Key	Power Key x1   Reset Key x1   Recovery Key x1
工作溫度	-20℃ to 70℃
電源	直流12 v / 1(邊緣連接器)或DV 5 v / 2.5 (c型)

 

2.2.2.          網(wǎng)關(guān)底板其他外設(shè)

 
l  11.6寸高清觸顯一體屏：板載，eDP接口,電容式多點(diǎn)觸摸，分辨率1920*1080
l  按鍵：板載重啟、恢復(fù)、電源3個(gè)功能按鍵，4個(gè)用戶自定義按鍵
l  UART：1路RS232，1路RS485
l  以太網(wǎng)：100/1000M
l  音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚(yáng)聲器
l  無線網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l  4G模組：板載，板載EC20模組
l  LoRaWAN網(wǎng)關(guān)模塊接口：板載mini-pcie接口，可接入SX1301八通道并行LoRaWAN網(wǎng)關(guān)模塊。1個(gè)項(xiàng)目須至少配備1個(gè)LoRaWAN網(wǎng)關(guān)模塊，以實(shí)現(xiàn)對(duì)實(shí)驗(yàn)室所有l(wèi)ora節(jié)點(diǎn)的接入管理。
l  Zigbee網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  BLE網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  USB 3.0 HOST接口：板載2個(gè)
l  Debug接口：板載1個(gè)
l  Download接口：板載1個(gè)
l  鍵盤：板載7寸80鍵標(biāo)準(zhǔn)鍵盤
l  高清相機(jī)模組：CMOS傳感器OV13850，MIPI信號(hào)輸出，400萬像素，最高支持2688x1520像素。
l  麥克風(fēng)陣列：板載7顆數(shù)字高性能硅麥克風(fēng)。
l  紅外接收：板載紅外接收模塊1個(gè)
l  震動(dòng)馬達(dá)傳感器：1個(gè)
l  LED：板載4顆藍(lán)色LED燈珠。
l  天線接口：板載wifi、BLE、lora、LET 共4個(gè)天線接口。
l  傳感器擴(kuò)展接口：板載，與無線傳感器節(jié)點(diǎn)的傳感器模塊接口兼容，可完成linux系統(tǒng)下的傳感器驅(qū)動(dòng)開發(fā)實(shí)驗(yàn)。
l  OBD接口：板載，標(biāo)準(zhǔn)16針OBD-II插座，與配套軟件結(jié)合可完成基于CAN總線通信相關(guān)實(shí)驗(yàn)。
l 

電源：DC 9-12V輸入
l  其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz

2.3.       外設(shè)模塊

2.3.1.         

4G LTE模塊l  網(wǎng)絡(luò)：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l  制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l  工作頻帶：HSPA1900/2100，GSM 900/1800；
l  高速USB 2.0接口、PCI-E接口；
l  支持短信、數(shù)據(jù)、電話本、PCM語(yǔ)音功能；
l  支持IPv4,IPv6協(xié)議；
l  支持LTE多頻；
l  支持最大150M/50Mbps的理論上下行數(shù)據(jù)傳輸速率；

2.3.2.          AI麥克風(fēng)陣列

l  7路麥克風(fēng)陣列，提供聲源定位、語(yǔ)音增強(qiáng)、語(yǔ)音降噪、回聲消除、聲音拾取等功能。
l  帶硬件浮點(diǎn)運(yùn)算的RISC-V 雙核64位處理器，主頻最高800MHz。
l  具備機(jī)器聽覺能力和語(yǔ)音識(shí)別能力，內(nèi)置語(yǔ)音處理單元（APU）。
l  具備卷積人工神經(jīng)網(wǎng)絡(luò)硬件加速器KPU,可高性能進(jìn)行卷積人工神經(jīng)網(wǎng)絡(luò)運(yùn)算。
l  麥克風(fēng)陣列模塊集成TFT彩屏屏，能夠直觀顯示音頻頻譜圖。
l  內(nèi)置ARM STM32 USB音頻驅(qū)動(dòng)芯片，提供USB聲卡驅(qū)動(dòng)，開放源代碼。
l  接口：雙列直插封裝/USB，需能夠接入到eAIOT平臺(tái)使用。
l  支持語(yǔ)音識(shí)別、語(yǔ)義理解、語(yǔ)音合成、人機(jī)對(duì)話等功能，可與硬件進(jìn)行語(yǔ)音交互。
l  5米監(jiān)測(cè)范圍、基于linux系統(tǒng)。

2.3.3.          AI攝像頭

l  1/1.8" SONY Exmor CMOS
l  有效像素200萬像素，30幀@1920*1080
l  C/CS鏡頭接口，最低照度0.001 Lux，120dB TWDR
l  支持協(xié)議：PROFILE S，GB/T28181，F(xiàn)TP/RTSP.UPNP等
l  支持雙碼流、手機(jī)監(jiān)控、心跳機(jī)制，具3D降噪、去霧、數(shù)字寬動(dòng)態(tài)、鏡頭校正、走廊監(jiān)控等智能模式
l  提供基于eAIOT教學(xué)平臺(tái)的人臉識(shí)別系統(tǒng)案例。

2.4.       物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)

1、功能簡(jiǎn)介
1）學(xué)生能夠?qū)⑽锫?lián)網(wǎng)感知層設(shè)備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務(wù)平臺(tái)，平臺(tái)能夠接收并存儲(chǔ)傳感器和執(zhí)行器的實(shí)時(shí)數(shù)據(jù)，模塊在線狀態(tài)，并實(shí)時(shí)顯示。
2）提供后臺(tái)管理系統(tǒng)，能夠設(shè)置賬號(hào)類型和使用權(quán)限。支持多用戶管理及權(quán)限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個(gè)子用戶，并且可以為每個(gè)子用戶分配增、刪、改幾種權(quán)限，子用戶創(chuàng)建的資源相互隔離。
3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復(fù)雜的自動(dòng)化控制策略，實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)系統(tǒng)的自動(dòng)化控制。
4）提供豐富的可視化控件庫(kù)，通過拖拽、簡(jiǎn)便配置即可完成美觀的UI設(shè)計(jì)。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5）物聯(lián)網(wǎng)感知層設(shè)備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠?qū)崿F(xiàn)模塊的在線監(jiān)測(cè)。
6）云平臺(tái)支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術(shù)取得傳感器采集的數(shù)據(jù)，形成一個(gè)完整的無線傳感器網(wǎng)絡(luò)。
7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)軟件，進(jìn)行數(shù)據(jù)圖形化展示。
8）實(shí)現(xiàn)基于云平臺(tái)的智能家居實(shí)驗(yàn)，并包含配套完整的教學(xué)資源。
9）支持本地化部署和云端部署兩種方式。
10）提供“物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)”軟件著作權(quán)登記證書及軟件產(chǎn)品登記測(cè)試報(bào)告復(fù)印件并加蓋公章，原件備查。

 

 

3.     部分實(shí)驗(yàn)案例

3.1.1.          嵌入式linuxQT綜合實(shí)驗(yàn)

3.1.2.          手寫字識(shí)別

學(xué)習(xí)設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，然后用已經(jīng)標(biāo)注過的MNIST數(shù)據(jù)來訓(xùn)練這個(gè)模型，然后進(jìn)行測(cè)試驗(yàn)證。

圖：手寫字識(shí)別案例

3.1.3.          人臉識(shí)別

通過OpenCV自帶的分類器、OpenCV的深度學(xué)習(xí)分類器是基于SSD(Single Shot  Detector)框架的ResNet網(wǎng)絡(luò)，實(shí)現(xiàn)在圖片、視頻中對(duì)人臉的檢測(cè)，并用矩形框框出來。
學(xué)�？捎糜谏矸葑R(shí)別、課堂/上下班考勤、會(huì)議簽到、刷臉支付、門禁通行、安防監(jiān)控相關(guān)場(chǎng)景。

圖： 人臉識(shí)別案例

3.1.4.          目標(biāo)檢測(cè)

  利用深度學(xué)習(xí)框架caffe，實(shí)現(xiàn)對(duì)常見物體的檢測(cè)。

圖：目標(biāo)檢測(cè)案例

3.1.5.          人體姿態(tài)識(shí)別

使用邊緣側(cè)推理框架Tengine檢測(cè)圖像中的所有人體并返回每個(gè)人體的矩形框位置，精準(zhǔn)定位 21 個(gè)核心關(guān)鍵點(diǎn)，包含五官、四肢、脖頸等部位，更多關(guān)鍵點(diǎn)持續(xù)擴(kuò)展中；支持多人檢測(cè)、人體位置重疊、遮擋、背面、側(cè)面、中低空俯拍、大動(dòng)作等復(fù)雜場(chǎng)景。

圖：人體姿態(tài)識(shí)別案例

3.1.6.          手勢(shì)識(shí)別

利用深度學(xué)習(xí)框架caffe，實(shí)現(xiàn)對(duì)簡(jiǎn)單手勢(shì)的識(shí)別。

圖：手勢(shì)檢測(cè)和識(shí)別系統(tǒng)案例

3.1.7.          車牌識(shí)別

使用opencv 的 HAAR Cascade 檢測(cè)車牌大致位置，使用卷積神經(jīng)網(wǎng)絡(luò)回歸車牌左右，然后使用卷積神經(jīng)網(wǎng)絡(luò)滑動(dòng)窗切割字符、及識(shí)別字符。

圖：交通門禁車牌檢測(cè)和識(shí)別系統(tǒng)案例

3.1.8.          人臉門禁

采用 mtcnn 進(jìn)行人臉檢測(cè)，采用MobileFaceNet 進(jìn)行人臉識(shí)別，然后用活體檢測(cè)算法進(jìn)行檢測(cè)。

圖：人臉門禁檢測(cè)和識(shí)別系統(tǒng)案例

3.1.9.          聲紋鎖實(shí)驗(yàn)

通過語(yǔ)音增強(qiáng)、語(yǔ)音質(zhì)量檢測(cè)、語(yǔ)音增強(qiáng)、有效語(yǔ)音提取、聲紋特征提取等步驟，完成聲紋注冊(cè)及聲紋驗(yàn)證。

圖：聲紋電子鎖系統(tǒng)案例

3.1.10.      AI語(yǔ)音控制智能家居

本系統(tǒng)實(shí)現(xiàn)語(yǔ)音數(shù)據(jù)高速傳輸，基于百度語(yǔ)音識(shí)別 API 完成語(yǔ)音識(shí)別，并用無線方式控制電燈，電風(fēng)扇，以及獲取溫度和濕度。

圖：語(yǔ)音控制智能家居系統(tǒng)案例

3.1.11.      知識(shí)圖譜和聊天機(jī)器人

知識(shí)圖譜融合了兩千五百多萬的實(shí)體，擁有億級(jí)別的實(shí)體屬性關(guān)系，機(jī)器人采用了基于知識(shí)圖譜的語(yǔ)義感知與理解，致力于最強(qiáng)認(rèn)知大腦。自然語(yǔ)言處理工具包的功能有：中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、關(guān)鍵詞提取、文本摘要、新詞發(fā)現(xiàn)、情感分析等。

圖：知識(shí)圖譜和文本聊天機(jī)器人系統(tǒng)案例