ARM9架構(gòu)的S3C2440A芯片網(wǎng)絡(luò)攝像機(jī)

2013-08-28 11:36 來源:電子信息網(wǎng) 作者:鈴鐺

攝像機(jī)硬件核心采用三星公司推出的基于ARM9架構(gòu)的S3C2440A芯片,該處理器主頻達(dá)到400 MHz可以滿足實(shí)時(shí)壓縮,MJPEG視頻流可以達(dá)到320×240分辨率25 fps的性能要求。外圍搭配64 MB SDRAM、256 MB NAND Flash,網(wǎng)絡(luò)功能由DM9000以太網(wǎng)MAC控制芯片負(fù)責(zé)

1


圖1 S3C2440A系統(tǒng)硬件框圖

像頭模塊由USB控制器控制,系統(tǒng)供電由3片LM71117組成,分別輸出3.3 V、1.8 V、1.25 V電壓,輔助外圍接口構(gòu)成攝像機(jī)硬件結(jié)構(gòu)。S3C2440A系統(tǒng)硬件框圖如圖1所示。

網(wǎng)絡(luò)攝像機(jī)是互聯(lián)網(wǎng)上的TCP/IP設(shè)備,系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如圖2所示。其中在家庭區(qū)域內(nèi)根據(jù)安防的特點(diǎn)在大門走廊、客廳內(nèi)、陽臺(tái)區(qū)域分別布置攝像機(jī),再由網(wǎng)線連接到路由器,配置路由器參數(shù)映射每個(gè)攝像機(jī)獨(dú)立端口與IP地址,即完成Internet接入。遠(yuǎn)端由固定位置的PC機(jī),移動(dòng)位置的3G筆記本和隨身攜帶的3G Android手機(jī)組成,PC機(jī)可以通過WEB瀏覽器訪問與控制網(wǎng)絡(luò)攝像機(jī),Android手機(jī)通過客戶端實(shí)現(xiàn)實(shí)時(shí)訪問。

2


圖2 系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D

2 系統(tǒng)軟件設(shè)計(jì)

2.1 網(wǎng)絡(luò)攝像機(jī)軟件設(shè)計(jì)

搭建攝像機(jī)需要Linux系統(tǒng)環(huán)境,首先移植Bootloader,對(duì)Linux 2.6.32內(nèi)核進(jìn)行裁剪,加載Linux UVC(USB video device class)驅(qū)動(dòng)及相關(guān)驅(qū)動(dòng),將編譯好的Linux系統(tǒng)鏡像燒寫到ARM板Nand Flash中,對(duì)Bootloader設(shè)置啟動(dòng)引導(dǎo)地址,即完成軟件運(yùn)行環(huán)境搭建[2]。

分析網(wǎng)絡(luò)攝像機(jī)性能需求與拓展性,須滿足下列條件:

◆ 視頻監(jiān)控實(shí)時(shí)性;

◆ 支持多客戶端同時(shí)連接;

◆ 圖像識(shí)別算法或預(yù)留接口;

◆ 功能模塊化滿足后期開發(fā)可擴(kuò)展。

因此,采用多線程架構(gòu)與互斥鎖機(jī)制來保證實(shí)時(shí)性、模塊化的思想設(shè)計(jì)代碼結(jié)構(gòu)。軟件程序主流程如圖3所示。

3


圖3 軟件程序主流程

其中主要實(shí)現(xiàn)如下功能。

① 初始化Linux V4L2接口,必須按照V4L2標(biāo)準(zhǔn)結(jié)構(gòu)初始化結(jié)構(gòu)體,其中包括struct v4l2_capability cap;struct v4l2_format fmt;struct v4l2_buffer buf;struct v4l2_requestbuffers rb; struct v4l2_streamparm setfps。此外將視頻設(shè)備名、視頻寬度、視頻高度、幀率、視頻格式和抓取方法傳遞給函數(shù)init_videoIn(struct vdIn *vd, char *device, int width, int height, int fps, int format, int grabmethod)實(shí)現(xiàn)初始化。值得注意的是眾多USB camera并不支持JPEG格式視頻流直接抓取,針對(duì)YUYV格式抓取卻有廣泛支持。后期進(jìn)行圖像識(shí)別算法操作時(shí)直接分析YUYV原始圖像數(shù)據(jù),將節(jié)省JPEG壓縮數(shù)據(jù)轉(zhuǎn)換為原始圖像數(shù)據(jù)的大量運(yùn)算開銷,因此采用YUYV抓取模式。

② 創(chuàng)建核心圖像處理線程。在該線程內(nèi)實(shí)現(xiàn):抓取功能。

◆ UVC設(shè)備單幀抓取,uvcGrab(struct vdIn *vd)函數(shù)實(shí)現(xiàn)單幀YUYV格式的原始圖像拷貝到內(nèi)存,采用高效的mmap內(nèi)存映射方法讀取;

◆ JPEG核心算法實(shí)現(xiàn),JPEG壓縮算法占用大量CPU時(shí)間,下一小節(jié)將詳細(xì)討論。

③ 創(chuàng)建套接字接口。為實(shí)現(xiàn)多用戶同時(shí)連接網(wǎng)絡(luò)攝像機(jī),必須采用socket服務(wù)線程,每當(dāng)有新用戶連接同時(shí)產(chǎn)生一個(gè)新線程與之對(duì)應(yīng),實(shí)現(xiàn)多用戶端同步監(jiān)控。

④ 搭建基于Web瀏覽器訪問方式的web主頁。嵌入式設(shè)備資源有限,輕量級(jí)的Web Server主要有:Boa、Httpd、Thttpd等。本設(shè)計(jì)選用開源的Boa、交叉編譯Boa源碼配置boa.conf文件,配置系統(tǒng)etc自啟動(dòng)shell加入Boa程序,將編寫HTML頁面文件放入系統(tǒng)中對(duì)應(yīng)的www目錄后即可正常工作。

2.2 MJPEG壓縮算法研究與實(shí)現(xiàn)

MJPEG(Motion Joint Photographic Experts Group)視頻編碼格式,把運(yùn)動(dòng)的視頻序列作為連續(xù)的靜止圖像來處理,這種壓縮方式單獨(dú)完整地壓縮每一幀,編輯過程中可隨機(jī)存儲(chǔ)每一幀,可進(jìn)行精確到幀的編輯。

MJPEG單幀壓縮算法為JPEG(Joint Photographic Experts Group)。

人眼視覺生理特性決定眼睛對(duì)構(gòu)成圖像的不同頻率成分具有不同的敏感度。JPEG壓縮是有損壓縮[3],但損失的部分是人類視覺不容易察覺到的部分,利用眼睛對(duì)色彩域中的高頻信息部分不敏感的特點(diǎn),節(jié)省大量需要處理的數(shù)據(jù)信息。一幀原始圖像數(shù)據(jù)對(duì)其進(jìn)行JPEG算法編碼過程分兩大部分:

① 空間冗余度,去除視覺上的多余信息;

② 結(jié)構(gòu)(靜態(tài))冗余度,去除數(shù)據(jù)本身的多余信息。

JPEG編碼中主要涉及包括:DCT、zigzag編碼、量化、RLE編碼、范式Huffman編碼、DC(直流分量)的編碼。JPEG編碼流程如圖4所示。

4


圖4 JPEG編碼流程

DCT(Discrete Cosine Transform)變換,又稱離散余弦變換是可逆的、離散的正交變換。它將原始圖像色彩空間域轉(zhuǎn)換為頻譜域。由于相鄰兩點(diǎn)像素色彩很多是接近的,壓縮這些不需要的數(shù)據(jù)必須利用圖像信號(hào)的頻譜特性。JPEG壓縮原理的理論依據(jù)是圖像信號(hào)頻譜線大都分布在0~6 MHz范圍內(nèi),而且一幅圖像內(nèi)大多數(shù)為低頻頻譜線,而高頻的譜線只占圖像比例很低的圖像邊緣或者細(xì)微紋理細(xì)節(jié)的信號(hào)時(shí)才出現(xiàn)。根據(jù)這一特性,在做數(shù)字圖像處理時(shí)對(duì)包含信息量大的低頻譜區(qū)域分配較多的比特?cái)?shù),相反的對(duì)于包含信息量低的高頻譜區(qū)域分配較少的比特?cái)?shù),達(dá)到圖像壓縮的目的,而圖像質(zhì)量并沒有肉眼可察覺的降低。除了DCT變換,常用的變化算法還有:WalshHadamard沃爾什哈達(dá)瑪變換、哈爾變換、傅氏變換等。

DCT變換公式為:

5


時(shí)C(u)=1,C(v)=1。f(i,j)經(jīng)過DCT變換之后,F(xiàn)(0,0)是直流系數(shù),其他參數(shù)時(shí)為交流系數(shù)。經(jīng)過DCT變換后一幅圖像的DCT系數(shù)塊集中在8×8矩陣的左上方,這里直流DC系數(shù)幅度最大,這一矩陣區(qū)域集中了圖像的大部分低頻頻譜分量,離矩陣左上角越遠(yuǎn)的高頻頻譜幾乎不含圖像信息。變換過程本身雖然并不產(chǎn)生壓縮作用,但是變換后的頻率系數(shù)卻非常有利于碼率壓縮。

量化是對(duì)DCT系數(shù)的一個(gè)優(yōu)化過程,利用了肉眼的高頻不敏感特性對(duì)數(shù)據(jù)進(jìn)行大幅壓縮。整個(gè)過程是簡(jiǎn)易的把頻率域的每個(gè)成份除以對(duì)應(yīng)的常數(shù),并對(duì)結(jié)果四舍五入取整,整個(gè)流程的目的是減少非零的系數(shù)以及增加零值系數(shù)數(shù)目。量化是有損運(yùn)算,是圖像質(zhì)量下降的主要因素。對(duì)于人眼對(duì)亮度與色差的敏感性不一致,分別使用亮度量化表與色度量化表。對(duì)量化后的數(shù)據(jù)采用zigzag蛇形編碼,這是因?yàn)榻涣鞣至恐泻写罅康牧阒?,zigzag編碼可以產(chǎn)生更多連續(xù)的零值,對(duì)下一步使用行程編碼非常有利。

行程編碼(Run Length Coding)是一種根據(jù)相同數(shù)據(jù)連續(xù)重復(fù)多次的情況簡(jiǎn)化表示的算法。例如,5555333333999按照行程編碼表示為(5,4)(3,6)(9,3)可以對(duì)數(shù)據(jù),尤其是大量的零值壓縮數(shù)據(jù)長度。

編碼后的數(shù)據(jù)還須通過Huffman編碼來壓縮,Huffman編碼的最大特點(diǎn)是使出現(xiàn)頻率較高的數(shù)字小于8位,而出現(xiàn)頻率低的數(shù)字大于8位,這使得數(shù)據(jù)大幅壓縮。

到此數(shù)據(jù)的壓縮過程結(jié)束,對(duì)壓縮后的數(shù)據(jù)按照J(rèn)PEG文件格式要求進(jìn)行保存,加上文件開始標(biāo)記Start Of Image = FFD8,文件結(jié)束標(biāo)記End Of Image = FFD9,量化表標(biāo)記Define Quantization Table = FFDB,霍夫曼編碼表標(biāo)記Ddfine Huffman Table = FFC4,幀開始標(biāo)記Start Of Frame = FFC0等標(biāo)記,再加上圖片識(shí)別信息字節(jié)標(biāo)記就最終形成完整的可用于傳輸或存儲(chǔ)的JPEG幀圖像,通過套接字接口不間斷地發(fā)送JPEG圖像即形成MJPEG視頻流。

為提高CPU效率,減少進(jìn)程間切換產(chǎn)生的開銷,將壓縮算法函數(shù)集成到單一線程里。JPEG核心壓縮編碼函數(shù)MCUcode實(shí)現(xiàn)如下:

uint8_t *MCUcode(S_JPEG_ENCODER_STRUCTURE * enc,uint32_t image_format, uint8_t * output_ptr) {

DCT(enc﹥Y1);//DCT離散余弦變換函數(shù)

quantization(enc,enc﹥Y1, enc﹥ILqt);//量化函數(shù),亮度量化表量化并按照zigzag排列存儲(chǔ)

output_ptr = huffman(enc, COMPONENT_Y, output_ptr);//霍夫曼編碼函數(shù)

DCT(enc﹥Y2)……

DCT(enc﹥Y3)……

DCT(enc﹥Y4)……

DCT(enc﹥CB);//DCT離散余弦變換函數(shù)

quantization(enc,enc﹥CB, enc﹥ICqt);//量化函數(shù),色度量化表量化

output_ptr=huffman(enc, COMPONENT_CB, output_ptr);//色度霍夫曼編碼函數(shù)

DCT(enc﹥CR)……

return output_ptr;

}

其中Y1、Y2、Y3、Y4對(duì)應(yīng)水平排列的4像素亮度值,CB、CR是水平排列以2像素為1單位像素的色度值。

1 2 > 
S3C2440A芯片 MJPEG

相關(guān)閱讀

暫無數(shù)據(jù)

一周熱門