没有登录
中国开发网: 论坛: 程序员情感CBD: 贴子 726169
dead_lee: 居然有留底..
國立成功大學
工程科學系碩士班
碩士論文
基於膚色之
裸體影像偵測之研究
The Study on Naked People Image Detection
Based on Skin Color
研 究 生:胡冠宇
指導教授:王明習
中華民國九十三年七月二十三日


i
中文摘要
本論文在以膚色為基礎的裸體影像偵測研究上,提出一個新方法,以將
裸體影像分成三大類特徵模組的方式來加以偵測。首先,採用Bayesian YCbCr
膚色偵測模型,來做為膚色偵測的方法。再將含大量膚色的影像丟入裸體影
像分類流程中,以分類出裸體影像和非裸體影像。而這些分類流程中,包含
臉部特寫影像分類器,而用來過濾會影響裸體偵測效能的臉部特寫影像;全
裸影像分類器,用來過濾膚色大量集中在軀體上,影像中人物一絲不掛之全
裸圖;胸前特徵影像分類器,利用顏色和亮度上的差異,以及胸前特徵與膚
色間之關係,來切割出胸前特徵,並以之作為裸露胸前特徵影像判別之依據;
裸露私處部位影像分類器,利用快速物件分析的方式,分析膚色像素在影像
上的分布,來切割出私處部位,並以之作為判斷之依據。本論文,測試了從
網路下載總共1538 張影像,研究成果有89.79%正確率,在未來不但有助於
色情影像上的防堵,也能提供作為影像內容擷取技術上的參考。
ii
Abstract
This thesis presents a new method for judging whether there are any naked
people in an image based on skin color. The system consists of five stages. At first,
The Bayesian YCbCr Skin Color Model is used to detect naked skin areas of the
image and segmented it out roughly. Second. Haar face detector is used to avoid
a facial closed-up shot. And then, a full-naked body image classifier is used to
filter out the images which contain a naked people with no clothes on his body,
and the nipple classifier is used to filter out these images which appear nipples on
the human body. Finally, the private part classifier is used to filter out the images
which contain people with her privates naked. Our proposal algorithm perform a
recognition ratio of 89.79% with testing total 1538 images which were
downloaded from the Internet and it is helpful both for the
blue-picture-website-filter and for the semantic image indexing in the
Content-based Image Retrieval.
iii
致謝
回憶研究生活二年來的點點滴滴,從當初只懂唸書的木頭大學生,
變成如今一個融合所見所聞來創作自己想法的研究生。幕幕往事彷彿歷
歷在前,這些美好的回憶都將會是我未來成功的基礎。
在這兩年的研究生活中,首先感謝我的指導教授 王明習老師。
『老師,謝謝您在我的學習路途中不斷的諄諄教誨;
謝謝您在我徬徨不知所措時,指引我方向;
謝謝您在我辜負您期許時,還不斷給予我機會,並教導我如何
勇敢地去面對。』
感謝口試委員 陳澤生老師及 孫永年老師對我的論文的悉心指
教,方使我的研究更加完善。另外必須感謝學長 陳淵琮、賴建明、翁
榮德、陳國銘、曾百民、徐百寬、韋俊丞,在我不解時,給予我熱切的
解決方向或答案。感謝實驗室同窗 陳柏馠、鐘博仁、鐘耀群、邱志傑、
何俊賢、徐培華、王美雅,老同學 政育、毓儒、人傑、俊良、俊安、
信璋、建信、振銘、証富、學展、碩甫、富駿、孟勳、建安、守威、名
恕、榮煌、慶國、建樹與我分享生活與課業上的一切。
最後感謝我的家人及女友 雅真,在這兩年中不斷的鼓勵與支持,
使我能專心致力於所學並順利畢業。沒有你們就沒有今日的我,謝謝。
胡冠宇 2004/7/28
iv
章節目錄
中文摘要.........................................................i
Abstract........................................................ii
誌謝...........................................................iii
目錄............................................................iv
圖目錄..........................................................Vi
第一章 緒論.............................................................................................................1
1.1 研究動機與目的........................................................................................1
1.2 過去之相關研究........................................................................................3
1.3 研究方法概述............................................................................................5
1.4 本文大綱.....................................................................................................6
第二章 膚色偵測技術............................................................................................7
2.1 色彩空間的選擇........................................................................................8
2.1.1 在膚色偵測技術上最好的色彩空間........................................................8
2.1.2 YCBCR 色彩空間.....................................................................................10
2.2 膚色分類模型..........................................................................................12
2.2.1 BAYESIAN YCBCR 膚色模型....................................................................12
2.2.2 BAYESIAN YCBCR 膚色模型訓練流程....................................................14
第三章 裸體影像分類器......................................................................................20
3.1 臉部特寫影像分類器..............................................................................22
3.1.1 HAAR 臉部偵測技術................................................................................24
3.1.2 臉部特寫影像分類..................................................................................25
3.2 全裸影像分類器......................................................................................26
3.3 胸前特徵影像分類器..............................................................................28
3.3.1 胸前特徵圖轉換(NIPPLE MAP TRANSFORMATION) .................................29
3.3.2 胸前特徵圖的影像之加強(NIPPLE MAP ENHANCEMENT)......................30
v
3.3.3 胸前特徵的切割(NIPPLE MAP SEGMENTATION)......................................33
3.3.3.1 類似橢圓的形狀..................................................................................34
3.3.3.2 SOBEL 邊界...........................................................................................35
3.3.3.3 大量膚色環境......................................................................................36
3.4 私處部位分類器......................................................................................38
3.4.1 應用SOBEL 邊緣偵測的前處理..............................................................39
3.4.2 應用快速分析物件的前處理..................................................................40
3.4.3 私處部位特徵的擷取..............................................................................46
第四章 實驗結果與討論......................................................................................49
4.1 BAYESIAN YCBCR 膚色模型測試結果........................................................50
4.2 HAAR 臉部特寫影像分類器測試結果........................................................53
4.3 全裸影像分類器測試結果......................................................................55
4.4 胸前特徵影像分類器測試結果..............................................................58
4.5 私處部位影像分類器測試結果..............................................................61
4.6 整個裸體偵測系統測試結果..................................................................64
第五章 結論與未來展望......................................................................................66
5.1 結論...........................................................................................................66
5.2 未來展望...................................................................................................67
vi
圖目錄
圖1-1,色情影像範例。..........................................................................................3
圖1-2,裸體影像辨識主要流程圖。......................................................................6
圖2-1,膚色CBCR 機率分布圖。....................................................................... 11
圖2-2,膚色CBCR 機率分布圖。....................................................................... 11
圖2-3,BAYESIAN YCBCR 膚色分類模型訓練流程圖。................................15
圖2-4,人工切割膚色範例圖。............................................................................16
圖2-5、CBCR 統計機率範例圖。........................................................................17
圖2-6,BAYESIAN YCBCR 膚色模型結果圖。................................................17
圖2-7,測試BAYESIAN YCBCR 膚色模型偵測結果。...................................18
圖3-1,裸體影像分類器流程圖。........................................................................21
圖3-2,臉部特寫影像分類流程圖。....................................................................23
圖3-3,HAAR 臉部偵測結果範例圖。...............................................................25
圖3-4,膚色面積比例統計圖。............................................................................27
圖3-5,胸前特徵擷取辨識流程圖。....................................................................28
圖3-6,胸前特徵在RGB 和灰階圖上的比較範例圖。.....................................28
圖3-7,胸前顏色特徵值範例圖。........................................................................29
圖3-8,胸前特徵轉換範例圖。............................................................................30
圖3-9,強化胸前特徵m× m遮罩之令m = 5 的範例圖。..................................31
圖3-10,胸前特徵加強結果範例圖。..................................................................33
圖3-11,胸前特徵切割流程圖。..........................................................................34
圖3-12,胸前特徵切割範例圖。..........................................................................36
圖3-13,胸前特徵切割結果範例圖。..................................................................37
vii
圖3-14,裸露私處部位影像分類方法流程圖。..................................................39
圖3-15,應用SOBEL 邊緣偵測之前處理範例圖。...........................................40
圖3-16,SAT 和RSAT 的輔助影像示意圖。.....................................................43
圖3-17,RSAT 的遞迴計算方式示意圖。...........................................................44
圖3-18,RSAT 的詳細計算示意圖。...................................................................45
圖3-19,八個方向的私處部位凹字型特徵遮罩。..............................................46
圖3-20,凹字型私部特徵擷取流程圖。..............................................................47
圖3-21,私處部位偵測結果範例圖。..................................................................48
圖4-1,BAYESIAN YCBCR 膚色模型測試統計圖。........................................51
圖4-2,BAYESIAN YCBCR 膚色模型誤判範例圖。........................................52
圖4-3,為用膚色模型加上HAAR 人臉辨識測試結果統計圖。......................54
圖4-4,HAAR 臉部分類器誤判範例圖。...........................................................55
圖4-5,膚色模型加上全裸影像分類器的測試結果統計圖。............................56
圖4-6,全裸影像分類器誤判範例圖。................................................................57
圖4-7,膚色模型加上胸前特徵影像分類器的測試結果統計圖。....................58
圖4-8,胸前特徵分類器判斷失敗範例圖。........................................................59
圖4-9,胸前特徵誤判範例圖。............................................................................60
圖4-10,膚色模型加上裸露私處部位特徵影像分類器的測試結果統計圖。..62
圖4-11,私處部位特徵分類器判斷失敗範例圖。..............................................63
圖4-12,整個裸體偵測系統的測試結果統計圖。..............................................65
1
第一章 緒論
1.1 研究動機與目的
在現代社會,透過網路查詢資訊是最便捷的知識學習方式之ㄧ。過
去資訊的流通,往往仰賴著實質的書本,印刷成冊後,才會傳遞到閱讀
者手中。一本書的誕生,須經歷印刷、出版、銷售等程序。因此,知識
內容的品質和內涵,都經過了一道篩選的程序,政府和書商也擔任了控
制不當的資訊流入市面的監管者。而今,使用者能夠輕易的藉由網路,
找到各式各樣、形形色色的新聞、圖片。然而,在網路世界中,流通的
訊息是不分級的,即使是色情、暴力、賭博毒品及藥物濫用等等的文字
或貼圖,或是利用網路來做匿名的人身攻擊,以及誘騙金錢、進行黑市
交易,這些對社會治安秩序有所影響及有違社會善良風氣,甚或許許多
多具負面教育之教材等,在網路上都是防不勝防。
網路人口的迅速膨脹,橫跨了社會的各個領域。不論是資料查詢、
做問卷、網路購物和拍賣、線上遊戲、電子報,都供應了現代人的需求。
然而,網路是開放性空間,閱讀者無法先行篩選資訊好壞,必須閱讀後
才知其內容如何。再加上近年來,資訊科技日新月異和電腦網路的普
及,使得任何人在任何時間任何地點,只要透過網際網路,就能比以前
更簡單又快速的獲得大量資訊。而網路頻寬的發展,更從昔日的數據機
傳輸提升為ADSL 或同軸網路傳輸(CABLE),大大改善了以往頻寬的限
2
制,使得以往只能擁有快速文字內容的瀏覽,而現在已經能夠迅速地享
受大量網路多媒體影音資訊。
如此快速又容易的獲得大量資訊,是時代的一大進步,可是相對的
也帶來了負面的問題。從相關研究顯示青少年學子對網路世界充滿了好
奇與逐漸沉迷的現象。尤其以驚人的速度在網際網路上蔓延開來的色情
網站,對於身心發展尚未健全的青少年,更是產生無法估計的影響。而
目前防堵色情網站的方法,幾乎以文字判別為主。雖然以字串比對的方
式,已經可以偵測出大部分的色情網站內容,但是依舊無法完全偵測出
色情網站。因此,期望透過影像辨識的技術,來加強偵測和杜絕色情網
站,為本論文研究之主要動機。
本論文期望透過辨識一張影像是不是包含色情因子的方式,日後可
以直接應用在個人電腦上不當資訊防堵軟體,以達到第一時間的立即防
堵青少年直接透過電腦接觸到色情網站之目的。或者以影像上判斷的方
式,來加強以往只以文字結構設計的網頁黑名單技術,以直接由路由器
(Router)來阻擋的方式,來防堵色情影像的散佈。
然而,色情影像並不只限於彩色的裸體影像,事實上,色情影像其
實也包含了黑白的色情漫畫或者沒有任何裸體的人物卻含有猥褻動作
的影像,如圖1-1 之影像在人類感觀上皆認為是色情影像,可是這些影
像卻皆非彩色的裸體人物影像。也就是說,我們難以從影像上的觀點來
3
對色情影像找到一個共通的定義,因為色情影像可以為彩色或者黑白,
也可以為裸體或者非裸體,而這也就是為何在過去的研究中,對於如何
偵測與辨識一張影像是否為色情影像的論文並不多的主要原因。有鑑於
此,我們採取與其他相關研究論文一樣的方式,將題目從如何判斷這是
一張色情影像,縮小成如何判斷一張彩色影像裡面是否含有裸體的人類
來做為研究之目的。
圖1-1,色情影像範例。(a)(b) 黑白的色情漫畫;(c)(d) 沒有任何裸體
的人物卻含有猥褻動作的影像。
1.2 過去之相關研究
而辨識裸體影像的技術其實也是屬於影像內容擷取技術
(Content-Based Image Retrieval,CBIR)中的一門學問[13]。因此,其實
它就跟CBIR 一樣,都是用人類對於這個物件在抽象概念上的了解來建
構演算法。而既然我們人類判斷事物的概念,總是不會有一個完整標準
的定義,因此要將概念轉換成演算法,就不能只從單一種的特徵來著
手。因此在裸體圖辨識上的研究,通常都會利用到多項特徵,如色彩資
4
訊(Color)、形狀分布(Shape)和材質(Texture)等。
過去裸體辨識的研究,有1996 年,D.A. Frosyth 和M. Fleck [6]先
以透過膚色顏色和材質資訊辨識,再採以肢體物件組成之辨識方式來加
以分析,透過裸體圖包含的人體是以多個肢體互相組成的想法,來判斷
此張圖片是否包含裸體圖。2001 年,Feng Jiao [10]用皮膚顏色、Sobel
邊緣檢測和Gabor filter 篩選出來的皮膚材質來過濾出膚色區塊來,最
後計算出膚色區塊的顏色向量集中程度,然後以SVM(Support Vector
Machine [12])來決定哪些是裸體圖片。2002 年,L.L. Cao [5]等人,提出
以Adaboost learning [8]的方式,來自動學習如何從皮膚顏色做統計、形
狀和皮膚材質等特徵中,取出各特徵的最佳比重參數,以達到最好的裸
體圖辨識率之演算法。
以上這些裸體圖辨識技術,全都以膚色辨識為基礎,因此膚色辨識
的好壞直接影響了裸體辨識技術的成敗。而單純以大量膚色與總面積的
比例來辨識裸體圖有可能產生三種誤判的情形,第一,有可能影像中沒
有人體,卻有類似膚色顏色成分的物件或背景,而且其面積夠大,以致
被判斷成裸體影像。第二、清涼穿著的影像,影像中只包含人的肢體,
而軀幹部位沒有任何裸露,卻因攝影角度關係,而造成這張影像包含大
量膚色面積。第三、臉部特寫影像,一般臉部特寫,臉部是影像主要呈
現的主題,因此往往膚色面積也佔全部面積有相當大的比例,如大頭照
5
影像。
1.3 研究方法概述
由過去之研究得知,裸體影像辨識系統主要都以偵測大量膚色為
主,可是以這樣的方式,可能會產生如前述之三種誤判情形;且就我們
觀察發現,裸體影像其實可分類成全裸、裸露胸前特徵和裸露私處部位
特徵之影像。基於上述二點原因,本論文以分別加入臉部特寫影像分類
器、全裸影像分類器、裸露胸前特徵影像分類器和裸露私部特徵影像分
類器的方式,來減少以膚色面積為門檻的誤判,以求取更精確的裸體圖
辨識率。然而我們必須先說明,因為膚色偵測技術會直接影響到本論文
裸體偵測的成敗,而膚色偵測技術的好壞卻非本論文所要探討的目的,
因此我們必需以良好的膚色偵測技術為前提來做為我們裸體偵測之基
礎。而在兼顧良好的膚色偵測效果和富有彈性的未來應用考量下,我們
採用Bayesian YCbCr 膚色模型[4],來做為我們裸體偵測的基礎。
本論文的裸體偵測主要系統流程圖如圖1-2 所示,它包含了兩個個
主系統。第一為膚色擷取分類系統,將輸入的原始影像,由Bayesian
YCbCr 膚色模型[4],來分類膚色和非膚色像素,之後再透過一些前處理
和門檻之設定,來過濾出包含大量膚色之影像,也就是候選之裸體影
像。第二為裸體影像分類系統,把輸入的包含大量膚色之影像,透過各
分類器的分類,以依次分類出臉部特寫影像、全裸影像、裸露
6
圖1-2,裸體影像辨識主要流程圖。
胸前特徵影像和裸露私處部位影像的方式,來降低誤判率而提高整體的
辨識率,然而各子分類系統,只是用來完成整個裸體影像的分類,而最
後結果的輸出,只有裸體影像和非裸體影像兩種。
1.4 本文大綱
本文綱要如下:在第一章,我們介紹裸體偵測技術之需要與相關研
究。第二章,介紹膚色擷取分類系統。第三章,介紹裸體影像分類系統。
第四章,實驗結果與討論。第五章,結論與未來展望。
7
第二章 膚色偵測技術
一般膚色偵測技術主要都用在人臉偵測,裸體圖辨識等。而對於一
張裸體影像而言,人體乃是這張影像最想呈現的主要部分,也就是說,
裸體影像中的膚色面積往往佔整張影像總面積之固定比例以上,因此,
過去的裸體圖片偵測的研究,無一不以膚色偵測技術為基礎來做裸體圖
辨識。同樣地,我們也以膚色偵測技術來作為本論文的裸體偵測技術的
基礎。因此,我們採用膚色面積佔全部面積比例的方式來作為我們判別
的根據與標準,換句話說,若是人體膚色面積佔整張影像面積的比例超
過一個臨界值,我們就判定這張影像可能為色情影像。而綜觀所有琳瑯
滿目的膚色偵測技術[15],都會考慮下列三個問題:
第一、該如何選擇哪一個色彩空間。
第二、如何分類膚色群和非膚色群。
第三、如何分割或處理分類後的膚色群,以便拿來應用。
因此我們將分別依序針對以上三個問題,提出本論文的做法和考
量,並且介紹本論文所使用的Bayesian YCbCr 膚色模型及訓練膚色分
類器的流程。
8
2.1 色彩空間的選擇
從西元1666 年,牛頓三稜鏡分解太陽光開始。後來西元1802 年,
Thomas Young 提出三原色學說。之後興起了200 年的色彩科學之研究,
色彩空間便是這段時間內所研究出來的產物。而在計算機視覺領域裡,
色彩空間更是佔極重要地位。各種色彩空間各有其特有的色彩特徵,而
計算機視覺領域常用的色彩空間就超過十種,例如:常見的RGB、
Normalized RGB、HSI、HSV、HSL(Hue Saturation Intensity or Value or
Lightness)、TSL、YCbCr、CMY、CIE L*a*b*、CIE L*C*h 等等[2]。
各個色彩空間都是因應各式各樣的需求而被提出,也因此都擁有相
異的特性。而如何在眾多的選擇中,挑出一個最適合自己應用的色彩空
間,更是眾說紛紜,尤其在膚色分類的應用上,如何選擇最合適的色彩
空間方法更是多不可數[6][10][5][15]。
2.1.1 在膚色偵測技術上最好的色彩空間
2001 年Albiol、Torrest 和Delp 提出,任何包含膚色的色彩空間都
分別存在一個擁有相同效能的膚色偵測方法[1],並且在論文中提出了
色彩空間的選擇是獨立於膚色群和非膚色群分類方法之外的;換句話
說,並不會有某種方法,在某個色彩空間上擁有最佳效能,卻在另一色
彩空間上不是最佳效能。也就是說各種膚色偵測方法都可以應用在各個
9
色彩空間上,只是會因應各個色彩空間的屬性上不同,而使方法上的計
算複雜度也因此不同。其定義與證明如下:
參考Albiol 之定義[1],假設D(X p )是在色彩空間C 上的最佳膚色偵
測方法;而( ) p T X 是一個介於色彩空間C 和色彩空間C′ 的可逆轉換。因
此,透過( ) p T X 轉換,我們可得另一個存在色彩空間C′上的最佳膚色偵
測方法( ) ( ( )) p p D′ X ′ = D T −1 X ′ 。
既然( ) p T X 為色彩空間C 和C′ 上的轉換為可逆轉換,那麼最佳的膚
色偵測方法( ) p D X 轉換後的( ) p D′ X ′ 的偵測正確率就必定是相同的。現在
若在色彩空間C′ 上,尚存在一個比( ) p D′ X ′ 正確率更高的膚色偵測方法
( ) p D′′ X ′ ,則透過( ) p T X ,我們可得( ) ( ( )) p p D′′′ X ′ = D′′ T X 其正確率與( ) p D′′ X ′ 一
樣,而比( ) p D X 高。與( ) p D X 為色彩空間C 上最佳的假設不符,因此我們
可得證,一個最佳的膚色偵測方法,應用在每一個互相擁有可逆轉換的
色彩空間上,其正確率都是最高的。
因此,選擇色彩空間的重點,不再是選擇哪一個色彩空間,會擁有
最佳的膚色偵測效果;而是要選擇哪個色彩空間,可以提供最有價值和
最簡便的膚色偵測方法。
10
2.1.2 YCbCr 色彩空間
本論文選擇YCbCr 作為膚色偵測方法的色彩空間,主要因為下列
兩點理由支持;第一,YCbCr 被廣泛的應用在眾多電腦視覺技術上,例
如JPEG 影像壓縮、MPEG、H.236 視訊壓縮、CCD Camera 等等。因此
只要我們發展同一個色彩空間的膚色偵測模型,之後就可以直接應用在
JPEG 或MPEG 等格式中,而不必再另外轉換成其他色彩空間。這是
YCbCr 特有的價值之一。第二、膚色分布在CbCr 上有不錯的集中效果,
而且根據研究指出[4],各色人種的膚色分布在CbCr 上的差異也不大,
如圖2-1 及圖2-2 所示,可發現各色人種在CbCr 上分布都極接近,且
都有不錯的集中效果。因此只要透過三維RGB 轉換成二維CbCr,就可
大大降低膚色分類上的複雜程度。
YCbCr 色彩空間來自於CCIR Recommendation 601 規格[3],其中Y
為明亮程度,其值為16 到235,代表明亮程度由黑到亮,共220 個區
間。而彩度Cb 和Cr 其值皆為16 到240,共225x225 個彩度區間。YCbCr
與RGB 兩種色彩空間之互相轉換矩陣分別如方程式(2-1)所示為RGB
轉成YCbCr 之轉換矩陣及方程式(2-2)所示為YCbCr 轉回RGB 之轉換
矩陣。
11
⎥ ⎥ ⎥


⎢ ⎢ ⎢


⎥ ⎥ ⎥


⎢ ⎢ ⎢


− −
+ − −
⎥ ⎥ ⎥


⎢ ⎢ ⎢


=
⎥ ⎥ ⎥


⎢ ⎢ ⎢


B
G
R
Cr
Cb
Y
112 93.786 84.214
37.797 74.203 112
65.481 128.533 24.966
128
128
16
(2-1)
⎥ ⎥ ⎥


⎢ ⎢ ⎢





⎥ ⎥ ⎥


⎢ ⎢ ⎢


= − −
⎥ ⎥ ⎥


⎢ ⎢ ⎢


128
128
16
0.00456621 0.00791071 0
0.00456621 0.00153632 0.00318811
0.00456621 0 0.00625893
Cr
Cb
Y
B
G
R
(2-2)
圖2-1,膚色CbCr 機率分布圖。左圖為黑人膚色CbCr 機率分布圖
(Distribution of conditional probability density function),該圖右邊
垂直黑條表示機率值從0 到0.012 時,表現在影像上的灰階值為
從200 到0,右圖為白人膚色CbCr 機率分布圖。
圖2-2,膚色CbCr 機率分布圖。左圖為黃種人膚色CbCr 機率分布圖
(Distribution of conditional probability density function),該圖右邊
垂直黑條表示機率值從0 到0.012 時,表現在影像上的灰階值為
從200 到0。右圖為將黑、白、黃三種人之膚色之CbCr 機率分
布圖結合在同一圖中。
12
2.2 膚色分類模型
在決定了色彩空間之後,接下就是要決定採取哪一種的方法來分類
膚色像素和非膚色像素,最簡單的方式是利用統計CbCr 數據來決定一
個門檻值,可是我們發現若只簡單從統計機率上的門檻來做調整,很難
由人工來找出一個最佳門檻值。因此我們採用Bayesian 決定法則,透
過機率統計,來決定單一像素之CbCr 是否屬於膚色或非膚色群組。
2.2.1 Bayesian YCbCr 膚色模型
本節說明如何利用Bayes Decision Rule for Minimum Cost,針對膚
色偵測來設計一個有效率的膚色擷取模型。首先我們定義一個未知的樣
本X,而此未知的樣本X 將被分類成膚色類( 1
ω )或非膚色類( 2
ω )。ij C 為
代表屬於j
ω 的X 被指定成i
ω 時所要負擔的花費成本。當i = j 時為指定正
確的花費成本,而i ≠ j 為指定錯誤的花費成本。設R (X ) i 代表將X 指定
為i
ω 時,所負擔的花費成本。從上述定義,可得:
( ) ( | ) ( | ) 1 11 1 12 2 R X = C ⋅ p ω X +C ⋅ p ω X (2-3)
( ) ( | ) ( | ) 2 21 1 22 2 R X = C ⋅ p ω X + C ⋅ p ω X (2-4)
其中p( X) i ω | 代表X 屬於i
ω 的條件機率,也就是a posteriori probability。
再加入決定法則:
13
1 2 2
1 2 1
( ) ( )
( ) ( )
ω
ω
> ⇒ ∈
< ⇒ ∈
R X R X X
R X R X X (2-5)
因此綜合以上我們可得:
( ) ( ) ( ) ( ) 12 21 2 21 11 1 1 C − C ⋅ p ω | X < C − C ⋅ p ω | X ⇒ X ∈ω (2-6)
( ) ( ) ( ) ( ) 12 21 2 21 11 1 2 C − C ⋅ p ω | X > C − C ⋅ p ω | X ⇒ X ∈ω (2-7)
最後導入Bayesian Formula:
( )
( | ) ( | ) ( )
p X
p X p X i p i
i
ω ω
ω

= (2-8)
則決定法則變成:
2
2
1
1
2
1
( | )
( | )
( | )
( | )
τ ω
ω
ω
τ ω
ω
ω
< ⇒ ∈
> ⇒ ∈
X
p X
p X
X
p X
p X
(2-9)
其中
( )
( )
( )
( )
1
2
21 11
12 22
ω
ω
τ
p
p
C C
C C ⋅


= ,為將X 分類成膚色類( 1
ω )或非膚色類( 2
ω )時的
門檻值。因此我們可藉由尋找一個最佳τ 值,來衍生一個最佳的膚色分
類方法。參考D. Chai 實驗[4],可得最佳τ 值分布大概介於2 到4 之間。
除了Bayesian YCbCr 膚色模型以外,其實還有更多的方法,其中
若以像素區域性來分,主要可分為:單點式(Pixel-Based)和局部式
(Local-Based、Region-Based)膚色偵測。單點式膚色偵測,是藉由所擷
取出的單點色彩資訊,直接分成膚色點和非膚色點兩類,各點之間互不
影響、各自獨立。相反的,局部式膚色偵測,還會參考到鄰近間的像素,
而將圖片區分成膚色群和非膚色群。以門檻方法性來分,主要可分為:
直接標定門檻模式、無參數式門檻模式、參數式門檻模式和動態門檻模
14
式。相關的進階資訊可參考[15]。
2.2.2 Bayesian YCbCr 膚色模型訓練流程
本節主要是說明利用Bayesian 理論來做人工訓練膚色分類模型的
所有流程。訓練影像包含黃皮膚、黑皮膚和白皮膚三種人種的裸體影像
共77 張。而主要訓練流程如圖2-3 所示,此流程主要步驟可分成三步
驟,接下來將依序介紹各步驟方法:
步驟一、利用人工方式分別擷取膚色部分和非膚色部分。我們對資
料庫中的每一張影像都分別以人工方式,切割出影像中的膚色部分和非
膚色部分。如圖2-4 所示(a)為原始裸體影像,(b)為人工切割膚色部分和
(c) 為人工切割非膚色部分之一些範例。
步驟二、將膚色部分和非膚色部分都分別累計到膚色類和非膚色類
的CbCr 色彩空間的膚色機率統計上。把每張影像上之膚色部分(或非膚
色部分)的每一像素之RGB 值,轉換到其相對應的YCbCr 色彩空間,
然後累計到膚色類(或非膚色類)CbCr 膚色機率統計圖上。如圖2-5 左邊
為被分類出膚色類或非膚色類之影像,右邊即為轉換後之CbCr 膚色機
率統計圖。
15
圖2-3,Bayesian YCbCr 膚色分類模型訓練流程圖。
步驟三、對225x225 個CbCr 作Bayesian 理論分類。利用統計訓練
影像的膚色類和非膚色類的CbCr 分布機率和上一節所提的Bayesian
16
YCbCr 膚色模型的方法,來分類各個CbCr 為膚色類或非膚色類。本論
文取τ 值為2 時,所得到的Bayesian YCbCr 膚色模型結果如圖2-6 所示。
(a)
(b)
(c)
圖2-4,人工切割膚色範例圖。將(a)原始裸體影像,利用人工切割的方
式,切割成(b)膚色部分和(c)非膚色部分。
17
圖2-5、CbCr 統計機率範例圖。訓練影像的膚色類(或非膚色類)CbCr 膚色機
率統計方式示意圖,影像中白色區域全部忽略不統計。
圖2-6,Bayesian YCbCr 膚色模型結果圖。圖中黑色部分的Cb 值被指定
成膚色類,其他白色部分則為非膚色類。
18
(a)
(b)
圖2-7,測試Bayesian YCbCr 膚色模型偵測結果。(a)原始影像,其中包
含了黑人(左上兩張)、黃種人(右上兩張左下角一張)和白人(右下
的三張)。(b)使用Bayesian YCbCr 膚色偵測後之結果影像。
透過訓練出來的Bayesian YCbCr 膚色模型,之後只要簡單將欲分
類的RGB 像素轉換成CbCr,就可以簡單找出膚色範圍,如圖2-7 所示,
為利用這一個訓練好的膚色偵測系統來偵測膚色的一些例子。而為了提
19
高之後裸體偵測分類上處理的速度和效率,我們利用了型態學的
Opening 的方式,來去除掉一些小雜訊。最後我們採用簡單的搜尋演算
法,將相鄰的膚色組成同一群集,再加上設定一個膚色面積佔全部面積
至少約為30%,作為過濾包含大量膚色影像之門檻值,來過濾出包含大
量膚色之影像。其中30%是參考D.A. Forsyth 的實驗值[6]。
20
第三章 裸體影像分類器
對於彩色影像的內容而言,可以分成含膚色和不含膚色兩大類影
像。不含膚色影像的彩色影像,可以斷定為非裸體影像;而對於含有膚
色的影像,雖然有可能為裸體影像,但依舊無法肯定。原因為以膚色為
基礎的裸體影像辨識,先利用膚色來過濾出含大量膚色像素之影像後,
通常在這些包含大量膚色像素之影像中,也會包含下列非裸體圖之影
像:
1. 有可能影像中沒有人體,卻有類似膚色顏色成分的物件或背
景,而且其面積夠大,以致被判斷成裸體影像。
2. 清涼穿著的影像,例如穿比基尼泳裝之美少女,影像中只包含
人的肢體,而重點部位沒有任何裸露,卻因攝影角度關係,而
造成這張影像包含大量膚色面積,以致被判斷成裸體影像。
3. 臉部特寫影像,例如大頭照,臉部是影像主要想呈現的主題,
往往膚色面積也會佔有相當大的比例面積,因而臉部特寫影像
也常被判斷成裸體影像。
因此如何將用第二章之膚色模型所偵測到含大量膚色之影像,加以
區分成裸體圖和非裸體圖,即為本章所欲探討之範圍。
21
據過去的相關研究得知[6][10][5],裸體影像辨識,除了可單純利用
膚色面積比例或膚色像素分布統計來做判斷外,還可以從偵測人體的型
態上來著手[6]。即是可先從膚色影像中,找出人體的四肢,再透過分
析人體四肢之間的關係,來加以辨識此張影像是屬於裸體圖與否。可是
光是分析膚色分布並擷取出人體四肢,就已經是個大工程,何況還去從
人物多變的肢體動作中,分析出肢體組成的架構,再從架構中分辨出是
否屬於裸體圖。相對分析複雜的人體型態,本論文根據觀察裸體影像
後,其實這些裸體影像可分為全裸影像、裸露胸前特徵影像和裸露私處
部分影像等三大類影像,因而提出以過濾臉部特寫影像並偵測全裸、胸
前特徵和私處部位影像之方式,來區分包含大量膚色影像中的裸體影像
和非裸體影像的部份。我們的辨識總流程圖如圖3-1 所示。以下將分別
詳述之。
圖3-1,裸體影像分類器流程圖。
22
3.1 臉部特寫影像分類器
人臉偵測,不僅可積極地被應用來協助對裸體偵測之工作上是因
為,一般的裸體圖,幾乎有八成以上的裸體圖片都有包含人臉,若能成
功的找出人臉部份,則可再利用來作人體型態的辨識,以做進一步裸體
偵測。在消極的應用上,則可以用來解決單純利用膚色面積佔整張影像
之比例關係作為裸體影像的判別方法所產生的臉部特寫誤判,若我們能
把此類臉部特寫的影像偵測出來,將可降低誤判的機率。
而關於人臉偵測的方法,根據過去人臉偵測的相關研究,大約可歸
納出兩個較常見的方法。其一為對偵測出來的膚色作形狀上的判別
[16];如果膚色區域形狀接近橢圓形,即可能為臉部。其二是利用臉部
特徵模組進行偵測[16][9],主要是搜尋影像中是否含有臉部特徵的膚色
區域。
然而,上述兩種方法,卻都無法直接應用到加強裸體影像的人體型
態辨識上,原因如下:對於第一種方式,在於色情影像中所偵測出來的
膚色,不只單單包含臉部而已,而且還包含了身體與四肢,因為臉部與
軀體是相連的,且人體的姿勢也變化不一,所以一方面難以偵測橢圓,
另一方面就算偵測出橢圓的位置,也無法判定這是臉部還是類似橢圓的
肢體。而對於第二種利用臉部特徵模組之方法,此方法的前提是臉部在
影像中要足夠大而明顯,以即必須正面攝影方可。然而在裸體影像裡
23
面,人物的臉部通常只佔膚色區域的一部份,而且人臉的角度也常因為
人物的姿勢與攝影的角度不同,而導致臉部特徵模組無法使用。
因此我們對於人臉辨識在裸體圖片偵測上的應用,一方面可以藉由
偵測到臉來判定圖片中有人,另一方面可藉由偵測到人臉相對於剩餘膚
色總面積的大小,用以區別出是否為大頭照或臉部特寫。而因為裸體圖
擁有大量的膚色特徵,如何從中將人臉部位切割出來,不能只靠膚色特
徵,是主要的選用臉部辨識技術的考量。
因此,我們選擇了不受膚色偵測結果影響,且擁有極快辨識速度的
Haar 臉部偵測技術[14][11]來實現我們的臉部特寫影像分類器。而我們
臉部特寫影像分類流程如圖3-2 所示。
含大量
膚色之
影像
Haar
臉部偵測
臉部特寫
影像分類
含大量
膚色之
影像
臉部特
寫影像
圖3-2,臉部特寫影像分類流程圖。
24
3.1.1 Haar 臉部偵測技術
Viola 和Jones 建立了一個多方位的分類程序[14],不僅可以大大地
縮短計算時間,且擁有跟那些既慢又複雜的分類程序幾乎同樣的分類效
果。R. Lienhart 等人以兩個重要的改革,更近ㄧ步地加強了Viola 和Jones
的快速物件偵測程序[11]。首先,R. Lienhart 等人在基本的類似Haar 特
徵裡,加進了新的旋轉45°後的類似Haar 特徵,而這些新的特徵,不
僅提升了整個快速物件分析程序的正確性和適應性,同時新的特徵也跟
原本的特徵一樣,可以在常數時間(Constant Time)內被計算出來。再來,
R. Lienhart 等人實驗測試了Gentle Adaboost[7]、Discrete[7]和Real
Adaboost[7]來做物件偵測。証明了在同樣的複雜程度下,Gentle
Adaboost 只需要較少的特徵,就能擁有與Discrete 和Real Adaboost 同
等的效能。且R. Lienhart 等人利用決策樹(Decision Tree)來取代一連串
的分類器,大大地加強了偵測效能。
而利用R. Lienhart 的進階快速物件偵測方式來實現的Haar 臉部偵
測技術,目前在網際網路上,有開放的資源(OpenCV,Open Source
Computer Vision Liarbry)可以提供下載[17],並被許多人拿來應用在視訊
追蹤和即時臉部辨識系統上。因此,本論文直接引用OpenCV 所釋出的
Haar 人臉辨識系統,來做為本論文的臉部特寫影像分類器之軸心。
25
圖3-3,Haar 臉部偵測結果範例圖。白色方框區域即為所偵測到的人臉
區域。
3.1.2 臉部特寫影像分類
對於臉部特寫影像而言,其膚色影像的膚色成分主要是由臉部組
成。然而對於裸體影像而言,其不含臉部的身體膚色必大於臉部面積二
倍以上。因此我們先從Haar 臉部偵測結果中,找出的最大臉部面積(Face
Area:FA),再從整張影像的膚色面積扣除找到的最大臉部面積是為身
體膚色面積(Body Area:BA)。只要當BA 小於2 倍FA,我們就將此張
影像當成臉部特寫影像。如圖3-3 即為我們使用以Haar 人臉偵測為軸
心的臉部特寫影像分類器所找出的一些例子。
26
3.2 全裸影像分類器
在本章前面說過,單靠過濾大量膚色之影像的方式,是無法斷定一
張含有大量膚色之影像一定是屬於裸體影像。因此,上ㄧ節利用了偵測
人臉的方式,解決了將臉部特寫影像歸類成裸體影像之誤判行為。接下
來我們則要利用全裸影像、裸露胸前特徵影像及裸露私處部位影像等三
大類裸體影像的特性,來更進ㄧ步地將含有大量膚色之影像分類成裸體
影像和非裸體影像。
三大類的第一類為全裸影像,其特性就是裸體人物在影像中ㄧ絲不
掛,即使胸前特徵或者私處部位因攝影角度而消失或被手遮掩,此張影
像仍因為其人物ㄧ絲不掛,而被我們人腦斷定為裸體影像。因此,在概
念上,我們假定全裸影像,只有一個裸體人物,且其ㄧ絲不掛地完全展
現在影像中,而既然此人物在影像中沒有用任何衣物或其他東西來遮掩
其軀幹,則在影像中的膚色像素分佈,必定大部分集中在此裸體人物軀
幹上,且膚色像素彼此相連在一起。也就是說,在全裸影像上各個不相
連的膚色區塊中,必可找到ㄧ個膚色區塊,此膚色區塊之面積必佔整張
影像中膚色像素總面積60%以上。
因此,我們利用以上所述之概念,簡單地透過尋找出最大膚色區
塊,並計算此最大膚色區塊所擁有的面積佔整張影像膚色面積之百分
比,然後以此百分比例大於一門檻值t 作為判斷條件,來過濾出是否
27
0
2
4
6
8
10
12
14
16
0% 20% 40% 60% 80%
0
5
10
15
20
0% 20% 40% 60% 80%
圖3-4,膚色面積比例統計圖。左圖為50 張全裸影像最大膚色區塊佔全
部膚色像素總數百分比的統計分布圖,右圖為50 張穿著性感非
裸體影像其最大膚色區塊佔全部膚色像素總數百分比的統計分
布圖。(縱軸為影像張數,橫軸為此張影像佔全部膚色像素總數
百分比。)
為全裸影像。而為了找ㄧ個適當的比例t 來作為判斷條件的門檻值,我
們粗略地取50 張全裸影像和50 張穿著性感的非裸體影像,分別統計比
對,其統計結果如圖3-4 所示。
由圖3-4 之統計圖來看,絕大多數的全裸影像,都與我們之前所提
的概念相符合,加上由穿著性感的非裸體影像統計結果發現:穿著性感
的非裸影像,很少有佔全部膚色像素總數超過70%以上的膚色區塊。因
此,我們取t=70 來做為簡單的判斷條件。
關於沒有被全裸分類器偵測到的影像,將依序被接下來第四節和第
五節所要介紹的胸前特徵分類器和私處部位分類器,來繼續做偵測是否
為裸體的動作。
28
3.3 胸前特徵影像分類器
明顯的裸體特徵之中,最顯而易見的就是胸前特徵的裸露了。本論
文觀察影像胸前特徵部位,發現其亮度變化比週遭較暗、而RGB 變化
有較強的R 值和較弱的B 及G 值(如圖3-6 即為胸前特徵在RGB 和灰
階圖上的一個比較例子),其形狀上多類似橢圓,且跟週遭皮膚有明顯
的邊界。於是我們透過建立特徵值轉換圖、再強化轉換後特徵值及利用
形狀和周遭條件之關係等這三個步驟建立了胸前特徵偵測演算法。流程
圖如圖3-5 所示。
圖3-5,胸前特徵擷取辨識流程圖。
圖3-6,胸前特徵在RGB 和灰階圖上的比較範例圖。由左而右依次為R、
G、B 和灰階圖。
29
3.3.1 胸前特徵圖轉換(Nipple Map Transformation)
一開始我們先利用胸前特徵與其他周圍膚色有顏色上的差異,藉著
分析RGB,我們可發現胸前特徵部位的RGB 組成為具有較強的R 值,
但所擁有之R 及B 的分量較弱。因此我們先取R 對B 及G 之間的差值
其公式為(3-1)和B 對G 的差值其公式為(3-2):
⎩ ⎨ ⎧
= − − >
=
0
V 2r g b if V 0
Nr (3-1)
⎩ ⎨ ⎧
= − >
=
0
V b g if V 0
Nb (3-2)
在將兩項差值結合,令胸前特徵顏色特徵值r b N′ = N − N 並將N′ 飽和至
255。如圖3-7 所示即為r N 、b N 和N′ 之範例圖,從圖中可發現轉換後的
N′ 擁有相當明顯的胸前特徵。
圖3-7,胸前顏色特徵值範例圖。由左而右依序為r N 、b N 和N′ 。
30
由亮度上來考量,胸前乳頭特徵區域明顯比其他周圍膚色要來的灰
暗一些,因此我們取胸前特徵部位亮度特徵
3
I~ 255 r g b + +
= − 。最後我們
將胸前顏色特徵值與胸前亮度特徵值結合為胸前特徵值N = (N′ + I~)/ 2 。
如圖3-8 即為一些範例。
圖3-8,胸前特徵轉換範例圖。將胸前亮度特徵圖(左)和胸前顏色特徵圖
(中)結合成胸前特徵圖(右)的範例圖。
3.3.2 胸前特徵圖的影像之加強(Nipple Map Enhancement)
為了能夠更容易的切割出胸前特徵部位,我們透過簡單的區域性影
像強化遮罩,以局部亮點使它更亮、局部暗點使它更暗的方式,以使胸
前特徵圖上的胸前特徵擁有更明顯的區域,影像加強的方法敘述如下。
假設一個大小為m× m之遮罩,其中m為奇數,令xy P 代表為遮罩內
所有點之特徵值ij N (其中i 和j 皆為自然數,且i 與j 之範圍分別為
31
圖3-9,強化胸前特徵m× m遮罩之令m = 5的範例圖。在影像中各點特
徵值皆乘以遮罩係數後相加,再取平均值也就是除以m2 ,例如
此範例即為除以25。
2
1
2
1 −
≤ ≤ +

x − m i x m 和
2
1
2
1 −
≤ ≤ +

x − m j x m )減以中心點(x, y) 之特徵值
xy N 之平均,其數學式如公式(3-3)所示。而圖3-9 即為令m = 5之遮罩示
意圖。
2
2
1
2
1
2
1
2
1
2
m
m N N
P
y m
j y m
x m
i x m
xy ij
xy
Σ Σ

+
⎟⎠

⎜⎝
⎛ −
= −

+
⎟⎠

⎜⎝
⎛ −
= −

= (3-3)
再假設一門檻值t,若P t xy > 則代表點(x, y)的特徵值xy N 比m× m遮罩
內所有點特徵值ij N 平均還大t 以上的特徵值。因此我們為了讓xy P 和t 之
差值愈明顯的胸前特徵值,擁有與它周圍之胸前特徵值更明顯的差異,
我們將xy P 和t 的差值乘以一個百分加強係數
100
e
,最後再加回原本點
(x, y)的胸前特徵值xy N 上,以達讓它與周圍特徵值差異更明顯之目的,
故最後的強化特徵值N (x y) en , 如公式(3-4)所示。
N (x y) N e (P t) en xy xy = + × −
100
, (3-4)
而若P t xy < − 則代表點(x, y)的特徵值xy N 比m× m遮罩內所有點特徵
×
25
1
32
值ij N 平均還小t 以上的特徵值。因此我們為了讓xy P 和t 的差值愈明顯的
胸前特徵值,擁有與它周圍之胸前特徵值更明顯的差異,我們將xy P 和t
的差值乘以一個百分加強係數
100
e
,最後再減以原本點(x, y)的胸前特徵
值xy N ,以達讓它與周圍特徵值差異更明顯之目的,故最後的強化特徵
值N (x y) en , 如公式(3-5)所示。
N (x y) N e (P t) en xy xy = − × −
100
, (3-5)
而若t P t xy − < < 則代表了點(x, y)的特徵值xy N 與周圍之特徵值ij N 並
無相當明顯之差異,因此我們就不採取任何動作,讓點(x, y)的特徵值xy N
保持原值,如公式(3-6)所示。
( ) en xy N x, y = N (3-6)
綜合上述公式(3-4)、公式(3-5)及公式(3-6)敘述,我們可得公式(3-7)。
( ) ( )
( ) ( )
( )
⎪ ⎪ ⎪

⎪ ⎪ ⎪


=
< − = − × −
> = + × −
en xy
xy en xy xy
xy en xy xy
N x y N
P t N x y N e P t
P t N x y N e P t
,
100
,
100
,
否則
若則
若則
(3-7)
最後藉由取加強後的N (x y) en , 大於200,為候選胸前特徵的門檻
值,將強化後的胸前特徵影像轉為二元胸前特徵候選影像,如圖3-10
所示,圖3-10 左邊影像為將原始影像依照3.3.1 次節中所述方法轉換
後而得之胸前特徵影像,之後依照本次節之加強方法而得的胸前特徵強
33
圖3-10,胸前特徵加強結果範例圖。左邊影像為胸前特徵影像;中間影
像為胸前特徵影像透過強化遮罩,產生胸前特徵強化影像;右
邊影像為最後取門檻值200 而產生之二元胸前特徵候選影像,
而在此二元影像中引進膚色二元影像以供之後切割時之參考,
白色為胸前特徵候選區域,灰色為膚色區域,黑色為非膚色區
域。其中上下兩列影像,上列影像為原始影像大小之範例,下
列影像為放大胸前部位之範例。
化影像如圖3-10 中間影像,最後右邊影像即為取N (x y) en , 大於200 的二
元胸前特徵候選影像。
3.3.3 胸前特徵的切割(Nipple Map Segmentation)
最後我們從胸前特徵的候選區域,考量胸前特徵有形狀類似橢圓
形、且其與周圍皮膚擁有明顯之邊界和其周圍必含有大量皮膚等三個想
法,來做最後切割胸前特徵上的依據,圖3-11 即為我們切割方法的流
程圖,而圖3-12 即為我們所利用來切割胸前特徵之各種參考影像之範
例。而詳細的切割方法,如下所述。
34
開始
從影像中依序
處理每一個候
選區域
計算區域內周
長、面積、形
狀、Sobel邊界
點數和周圍膚
色點數等參數
≥門檻值i C
Sobel
邊界點數
≤ i P
膚色周圍
點數面積
≥ 50%
指定此候選區
域為胸前特徵
最後ㄧ個
候選區域?
結束








圖3-11,胸前特徵切割流程圖。
3.3.3.1 類似橢圓的形狀
考慮胸前特徵在形狀類似橢圓,則我們可以為每一個候選區域,設
定一個形狀參數/ 2 i i i C = A P ,其中i = 0,1,2,..為候選區域的編號, i A 為此候
35
選區域之面積, 2
i P 為此候選區域之周長平方。若候選區域為類似橢圓的
形狀, 則我們可以透過橢圓面積為A =πab 跟橢圓周長平方為
P2 ≅ 2π 2 (a2 + b2 ),其中a 為長軸b 為短軸,並設定長短軸的比例,來得到
一個形狀參數的門檻值。而據觀察,一個類似橢圓的胸前特徵部位,其
長軸與短軸比最大比約為3 倍。代入方程式,分別可得如下:
⎪⎩
⎪⎨

= = ≅
= = ≅
= = ≅
3 C 3/ 20 0.0477
2 C 1/5 0.0636
C 1/ 4 0.0795
π
π
π
i
i
i
a b
a b
a b
若,則
若,則
若,則
(3-8)
故我們可取≥ 0.0477 i C 作為類似橢圓的形狀參數門檻值。
3.3.3.2 Sobel 邊界
觀察胸前特徵,可以明顯發現,胸前特徵與周圍的皮膚擁有明顯的
邊界。若此候選區域為胸前特徵,則其候選區域之周長應與計算出的邊
界長度應相接近。然因胸前特徵其乳頭部份多為呈現不規則皺折,所以
在Sobel 計算後的胸前特徵區域裡通常會含有大量的邊界點數,如圖
3-12(b)所示,而造成邊界長度計算上趨於複雜。考量上述之原因,我們
不計算邊界長度而改取候選區域的上下左右極值而圍成的矩形(此矩形
四邊與影像邊界正交或平行,如圖3-12(f)中之矩形所示,即為取候選區
域的上下左右極值而圍成的矩形),並統計此矩形內的經過Sobel 計算出
的邊界點數總數。考慮矩形概括整個可能胸前特徵部位,Sobel 邊界點
36
總數應大於候選區域之周長,來作為簡單的判斷。
3.3.3.3 大量膚色環境
觀察胸前特徵,可以明顯發現,胸前特徵被大量的膚色像素所環
繞,如圖3-12(e)所示即可發現於胸前特徵周圍包含了大量膚色像素,
因此我們可以利用胸前特徵部位四周應大部分皆為膚色像素之特性,來
做為另一項胸前特徵切割門檻。而為了實現此方法,我們將候選區域的
上下左右極值而圍成的矩形(此矩形四邊與影像邊界正交或平行,如圖
3-12(f)中之矩形所示,即為取候選區域的上下左右極值而圍成的矩形)
擴張成一個長寬各多一倍、面積多四倍而重心不變之新矩形,於此新矩
形內做膚色像素總數之統計。考量此新矩形內之膚色像素總數應大於整
個新矩形面積的一半以上,來作為另一項胸前特徵的切割條件。
圖3-12,胸前特徵切割範例圖。(a)為原始影像灰階圖;(b)為胸前特徵
Sobel 邊界偵測結果;(c)為胸前特徵圖;(d)為胸前特徵強化結
果圖;(e)為胸前特徵二元圖結合膚色二元圖,其中白色部分為
胸前特徵候選區域,灰色部分為膚色區域,黑色部分為非膚色
區域;(f)為透過形狀參數、Sobel 邊界和大量膚色環境為切割
條件之切割結果圖。
37
以圖3-5 之流程和3.3.1 胸前特徵影像之轉換、3.3.2 胸前特徵影像
之加強及3.3.3 胸前特徵影像之切割所述之方法,我們可成功地切割出
胸前特徵區域來,如圖3-13 所示,即為一些利用我們所述方法而成功
圖3-13,胸前特徵切割結果範例圖。由上而下依次為原始影像、胸前特
徵二元圖結合膚色二元圖、胸前二元圖結合膚色二元圖 放大結
果、切割結果圖。範例圖中有兩個切割失敗案例,30seg.bmp
的案例為膚色偵測失敗而導致周圍膚色像素不足 以構成判斷
條件,32seg.bmp 的案例光線影響胸前特徵加強圖而導致候選
區變形,而使候選區的形狀參數上條件不符。
38
切割胸前特徵之範例。
3.4 私處部位分類器
裸體影像,除了主要人物ㄧ絲不掛或者主要人物裸露出胸前特徵
外,剩下一種在我們人腦中判定為裸體影像的就是裸露私處部位之特徵
的影像了。而在人腦的概念上,私處部位是位於人體型態的下體骨盆
間,是結合了左腿、右腿和軀幹的主要連接處。
因此,從電腦影像的觀點來看私處部位的偵測方法,我們可以用下
列敘述的方式:先完整的分析影像中人體型態的結構,再去找出私處部
位的位置,然後統計那個位置的膚色像素量,來作為私處部位偵測的判
斷條件。然而以分析人體型態的方式,就如本章前面所述,是個極耗費
功夫的大工程,且從Forthy 的研究來看[6],對於人體型態分析的方法,
目前還是處於研究統合的階段,精確度也尚未到達令人完全滿意的程
度。
所以,相對於從人體型態分析上著手,本文引進了本章第二節曾經
提過的快速影像物件分析[7,8]的方式,改以從影像中,以一個或多個視
窗來分析與搜尋類似私處部位的特徵物件,作為分類裸露私處特徵影像
的判斷條件。因此,若說用人體型態分析的方法,是全域性(global)的
分析。那用視窗快速分析物件的方式,就是區域性(local)的分析了。
在概念上,我們取一方塊視窗來看私處部位,結果發現私處部位
39
含大量膚
色像素之
影像
應用Sobel邊緣
偵測的前處理
(Preprocessy1)
應用快速分析
物件的前處理
(Preprocessy2)
凹字型特徵
擷取
裸露私處
部位的
裸體影像
非裸露私
處部位的
影像
圖3-14,裸露私處部位影像分類方法流程圖。
的膚色像素,在方塊視窗裡頭的分布,都是呈現ㄇ字型或者可以說是凹
字型的。因此我們大膽地以快速分析物件的方式尋找影像中0°、45°、
90°、135°、180°、225°、270°和315°等角度的凹字型特徵,而所有的
私處部位偵測流程圖如圖3-14 所示,接下來我們將依照流程圖的順序
來解說我們的偵測方法和應用上的考量。
3.4.1 應用Sobel 邊緣偵測的前處理
由於透過Opening 的膚色影像,有可能也將周圍的非膚色像素融成
膚色區塊。因此我們採用二元膚色影像再混入Sobel 邊緣偵測結果的方
式來呈現原本的二元膚色影像圖形。如圖3-15 所示,最上行影像為原
始影像,而第二行影像為將原始影像輸入使用了型態學Opening 方法之
膚色偵測分類器之結果範例,由第二行影像範例可知,它們的私處特徵
都因為Opening 的關係,而變的不是很明顯。因此我們將膚色偵測分類
40
圖3-15,應用Sobel 邊緣偵測之前處理範例圖。由左而右,以每四張影
像範例為一行,由上而下總共三行,最上行影像為原始影像;
第二行影像為用Opening 後之膚色二元影像,其中白色區域為
膚色,黑色區域為非膚色;第三行影像為混合Sobel 邊緣偵測
之結果,其中白色區域為膚色,黑色區域為非膚色。
器之結果影像再減掉Sobel 邊緣偵測結果影像,來突顯私處特徵,以作
為後續判斷和處理之依據,如圖3-15 第三行影像範例所示。
3.4.2 應用快速分析物件的前處理
為了能用簡單的類似Haar 特徵(Haar-like feature[14][11])來找出私
處部位位置,我們將欲分析的二元膚色影像,先轉成二個輔助影像:ㄧ
41
個叫做面積和表(Summed Area Table,簡稱SAT),用來計算影像中任意
長寬與影像邊界為正交的矩形內之膚色像素總量;另一個叫旋轉45°的
面積和表(Rotated Summed Area Table,簡稱RSAT),用來計算影像中任
意長寬與影像邊界呈45°的矩形內之膚色像素總量。透過這兩個輔助影
像,我們可以藉由快速查表的方式,來計算出搜尋視窗內的各個簡單類
似Haar 特徵;也就是說,我們不必再以複雜的計算方式,而能得知搜
尋視窗內的膚色分布狀態。而事實上,這兩個輔助影像,其實也就是
R. Lienhart 的物件分析方法,何以能計算的如此迅速的主因。接下來將
依次介紹SAT 和RSAT 的計算方法,和如何利用SAT 和RSAT 來快速
獲得搜尋視窗內的膚色像素總面積。
在SAT 方面,首先我們定義SAT(x, y)為在ㄧ個影像座標中左上角為
(0,0)而右下角為(x, y)之矩形內的所有膚色像素點的總和,及定義其膚色
二元影像為I(x, y)。如圖3-16(a)即為一影像之SAT(x, y)示意圖,而其數
學式如下所示:
( ) Σ ( )
′≤ ′≤
= ′ ′
x x y y
SAT x y I x y
,
, , (3-9)
,其中I(x, y)為其膚色二元影像如下所示:
( ) ( )
( ) ⎩


=
像素為非膚色類像素
像素屬於膚色類像素
if x y
if x y
I x y
0 ,
1 ,
, (3-10)
而一張擁有寬高為(width,height)之影像,其面積和表(SAT)都可以在複
42
雜度為O(width × height)的計算時間內,利用遞迴計算公式(3-11)來獲
得:
SAT(x, y)= SAT(x −1, y)+ SAT(x, y −1)+ I (x, y)− SAT(x −1, y −1)(3-11)
,其中SAT(x,−1)= SAT(−1, y)= SAT(−1,−1) = 0 。
接下來,我們再定義此影像中的任意矩形為r(x, y,w,h,0°),其中
(x, y)為矩形左上角座標、w 為矩形寬度、h 為矩形高度而0°代表此矩形
其延伸的長寬之邊長與影像邊界正交,無任何旋轉角度。之後,我們便
可以利用在輔助影像SAT 上做四個簡單的查表動作,就可以計算出任
意矩形r(x, y,w,h,0°)內的膚色總點數。如圖3-16(c)所示,我們欲計算矩
形ABDC 的膚色總點數,只要透過查詢SAT 上ABDC 四點,將SAT
上D 點包含的面積點數減掉C 點和B 點的面積點數,最後再加上A 的
面積點數,即為我們欲計算矩形ABDC 的膚色總點數,而數學式如公
式(3-12)所示。
( ( )) ( ) ( )
SAT(x y h) SAT(x y)
recSum r x y w h SAT x w y h SAT x w y
, ,
, , , ,0 , ,
− + +
° = + + − +
(3-12)
而RSAT 方面,首先我們定義RSAT(x, y)為取影像中任ㄧ點(x, y),在
與x 軸呈45°和135°的方向,向左右兩邊延伸直到與影像邊界圍成一多
邊形,如圖3-16(b)所示,灰色區域即為所圍成之多邊形,而RSAT(x, y)即
為此多邊形內之膚色像素總和。而其數學式如公式(3-13)所示:
43
圖3-16,SAT 和RSAT 的輔助影像示意圖。(a)矩形的面積和表(Summed
Area Table,簡稱SAT) ;(b) 旋轉45°矩形的面積和表(Rotated
Summed Area Table,簡稱RSAT) ;(c)SAT 任意矩形膚色數總和
的計算示意圖;(d)RSAT 任意45°矩形膚色數總和的計算示意圖。
( ) Σ ( )
′≤ ′≤ − − ′
= ′ ′
y y y y x x
RSAT x y I x y
,
, , (3-13)
,公式(3-13)中之I(x, y)為其膚色二元影像,參考公式(3-10)。
而一張擁有寬高為(width,height)之影像,其旋轉45°的面積和表
(RSAT)都可以在複雜度為O(width × height)的計算時間內,利用遞迴計
算公式(3-9)來獲得:
( ) ( ) ( )
( , ) ( , 1) ( , 2)
, 1, 1 1, 1
+ + − − −
= − − + + −
I x y I x y RSAT x y
RSAT x y RSAT x y RSAT x y
(3-14)
其中( ) ( ) ( ) ( ) ( )0 RSAT x,−1 = RSAT −1, y = RSAT x,−2 = RSAT −1,−1 = RSAT −1,−2 = 。
如圖3-17 所示,欲求之RSAT(x, y)可透過已知的RSAT(x −1, y −1)和
RSAT(x +1, y −1)相加之後,再減去已知的重疊部份RSAT(x, y − 2),最
44
圖3-17,RSAT 的遞迴計算方式示意圖。旋轉45°矩形的面積和表(Rotated
Summed Area Table,簡稱RSAT)的遞迴計算方式示意圖。
後再加上已知的I (x, y)和I(x, y −1)的值,如此我們即可以遞迴之方式來
求得RSAT(x, y)。
接下來我們定義影像中一矩形為r(x, y,w,h,45°),其中(x, y)為矩形
最上角座標、w 為矩形寬度映射到x 軸或y 軸上的長度、h 為矩形高度
映射到x 軸或y 軸上的長度,而45°代表旋轉45°的矩形。之後,我們便
可以利用在輔助影像RSAT 上做四個簡單的查表動作,就可以計算出任
意矩形r(x, y,w,h,45°)內的膚色總點數。如圖3-16(d)所示,我們欲計算
矩形ABDC的膚色總點數,只要透過查詢RSAT 上ABDC四點,將RSAT
上D 點包含的面積點數減掉C 點和B 點的面積點數,最後再加上A 的
面積點數,即為我們欲計算矩形ABDC 的膚色總點
45
圖3-18,RSAT 的詳細計算示意圖。旋轉45°矩形的面積和表(Rotated
Summed Area Table,簡稱RSAT)之任意45°矩形膚色數總和的
詳細計算示意圖。
數,而因為r(x, y,w,h,45°)的(x, y)、w 和h 都是考量在RSAT 計算上的方
便而設計,所以其快速求出任意矩形r(x, y,w,h,45°)內的膚色總點數方
法,跟在SAT 輔助影像上不同,因此我們特地詳述如下。如圖3-18 所
示為RSAT 快速求出任意矩形r(x, y,w,h,45°)內的膚色總點數方法的示
意圖,其中白色矩形為矩形r(x, y,w,h,45°)之所在,而(x, y)為矩形最上
角座標、w 為矩形寬度映射到x 軸或y 軸上的長度、h 為矩形高度映射
到x 軸或y 軸上的長度,而45°代表旋轉45°的矩形。白色矩形框出的灰
色區域即為我們要求出之面積,因此我們只要透過在RSAT 上用
46
RSAT(x − h + w, y + w + h −1) 減去RSAT(x − h, y + h −1) 和
RSAT(x + w, y + w −1)最後再加上RSAT(x, y −1)就能快速計算出任意矩
形r(x, y,w,h,45°)內的膚色總點數。其數學式如公式(3-15)所示。
( ( )) ( )
( )
( )
( , 1)
, 1
, 1
, , , ,45 , 1
− − + −
− + + −
+ −
° = − + + + −
RSAT x h y h
RSAT x w y w
RSAT x y
recSum r x y w h RSAT x h w y w h
(3-15)
3.4.3 私處部位特徵的擷取
在得到了SAT 和RSAT 兩個輔助影像之後,我們為了能找出代表
私處部位之各種大小及方向的凹字型特徵,因此取12n ×12n 大小的遮罩
如圖3-19 所示,其中n 為不等於零的自然數,讓辨識遮罩的範
圖3-19,八個方向的私處部位凹字型特徵遮罩。所有遮罩大小皆為
12n ×12n , n 為不等於零的自然數,其中遮罩內黑色區塊與白色
區塊比例如最左上的兩張圖所示。透過遮罩,直接取白色區塊的膚
色數量總和乘,和黑色區塊內的非膚色總合來做為私處部位特徵上
的判斷。
47
開始
整數變數n=1
遮罩大小 =12n*12n
for迴圈
依遮罩大小掃瞄
整張影像
檢查遮罩
內是否有凹字
型的膚色分布
切割私處部位
n=n*2
遮罩大小=12n*12n
遮罩膚色像
大小素總量

結束
for迴圈結束
for迴圈




圖3-20,凹字型私部特徵擷取流程圖。
圍,從最小的12 ×12 一直變大為24 × 24、36 × 36…直到超過整張影像的
膚色總面積,而以圖3-19 中的八個凹字型遮罩,其缺口方向為0°、45°、
90°、135°、180°、225°、270°和315°等八個角度,來適應因拍攝角度
的變化而產生之各種方向的私處部位凹字型特徵;之後我們在每個遮罩
中,藉由兩個輔助影像的查表方式,取出白色區塊的膚色數量像素總和
48
圖3-21,私處部位偵測結果範例圖。
比上白色區塊面積之比例RW,和黑色區塊內的非膚色像素數量總和比
上黑色區塊面積之比例RB,實驗中以RW>0.9 和RB>0.7 來當作判斷遮
罩內含有凹字型膚色分佈的門檻值。所有上述的擷取私部特徵流程圖如
圖3-19 所示。而對照圖3-15 來看,圖3-21 即為用我們的私處部位偵測
方法的一些結果範例,其中白色框框為此方法所切割出的私處特徵結
果。
49
第四章 實驗結果與討論
本實驗所使用之環境及電腦配備如下所述,以微軟(Microsoft)的
Visual C++為程式開發語言,並在個人電腦Pentium_IV、CPU 2.40G、
480MB RAM 的機器上執行與測試。
在實驗中,我們選取了50 張裸體影像和50 張其他影像來做
Bayesian Skin Model 的訓練資料。這100 張影像將不作為測試之用。
所有的測試影像共有1538 張,其中包含裸體圖(包含裸露上半身、全身
或只裸露重點部位及各種不同姿勢的影像)479 張,性感清涼美女圖(穿
著泳裝或者其他較清涼服裝的影像)239 張,臉部特寫影像(包含大頭照
和網路下載臉部特寫之影像)166 張,自然景觀圖(其他不屬於前面三類
的圖片,如草原、樹林、建築、日出、夕陽、沙漠、雕刻、火焰、人物、
動物等)654 張。而這些測試影像大部分皆來自於網際網路之搜集,ㄧ
部份來自於畢業紀念光碟和一些影像圖庫光碟。
而為了驗證和比較,我們從色情網站下載27 張影像,網路貼圖區
下載74 張寫真集影像和83 張賽車女郎影像並混合100 張普通影像,來
當作另一總共284 張的混合測試影像,分類這些影像,其中86 張為裸
體影像(24 張來自色情網站,62 張來自寫真集)、98 張為性感清涼美女
圖(83 張賽車女郎、12 張寫真集和3 張來自色情網站)和100 張為普通
50
影像。且在這些混合影像中,比起之前的所有1538 張測試影像擁有較
少的普通影像比例和較多的性感清涼美女圖比例,且有些色情網站裸體
影像中的人物不只一個且只裸露重點部位,期望這些混合影像的測試結
果,可以當作未來改進之參考。
4.1 Bayesian YCbCr 膚色模型測試結果
用Bayesian YCbCr 膚色模型來過濾可能裸體影像的測試結果。我
們先看在總共1538 張測試影像中的測試結果,其中辨識正確的影像共
有1108 張,正確率為72.04%,判斷錯誤的影像共有430 張,誤判率為
27.96%。所有各類影像測試結果如圖4-1 所示。而如果這些影像被判成
可能裸體影像,則這些影像將被下一個機制所偵測,否則,就結束判別。
讓我們來看各類影像的測試情形,在479 張裸體影像裡,有453 張
被偵測為可能裸體影像,其正確率為94.57%,而被誤判的影像中,11
張裸體影像的背景過大,導致面積比例不足,15 張影像因膚色被強光
或其他特殊光線所影響,導致判斷出的膚色不足以構成通過門檻之比
例。239 張清涼美女圖中,因大部份包含大量膚色,而導致有174 張清
涼美女圖被誤判為可能裸體影像,因此正確率只有27.20%。166 張臉部
特寫影像中,因人臉為影像主要想表達的物件,因此臉部膚色面積比例
也夠大,而導致有111 張臉部特寫影像被誤判為可能裸體影像,故正確
51
74.30%
72.04%
81.80%
33.13%
27.20%
94.57%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
圖4-1,Bayesian YCbCr 膚色模型測試統計圖。取30%膚色面積門檻的
結果統計圖,橫軸為取膚色面積對整張影像面積比例30%為門
檻,來偵測裸體圖的判斷正確百分比。
率只有33.13%。654 張自然景觀圖中,有119 張影像被誤判為可能裸體
圖,其中包含夕陽、日出、沙灘、海景、雲海、花圃、枯葉等包含大量
類似皮膚顏色的自然景觀影像,其正確率為81.80%。而284 張混合影
像,有211 張被正確判斷,正確率約74.30%,在誤判影像中,除了有
大量類似膚色環境的自然景觀圖3 張和膚色面積過小的色情網站下載
裸體圖2 張,其它皆為擁有大量膚色的清涼美女圖68 張。
因此光靠膚色面積來做裸體圖判斷,雖然有很高的裸體辨識正確
率,可是也相對的有蠻大的普通圖被辨識錯誤概率。尤其像是泳裝美女
52
圖4-2,Bayesian YCbCr 膚色模型誤判範例圖。(a)(b)(c) 大量類似膚色環
境影像和其膚色二元圖,(d)(e)膚色少於30%總面積的裸露重點
部位圖,(f)兩張受特殊光線影響的裸體影像。
或者大頭照等類圖,因為膚色面積相對較大,而造成錯誤判斷的案例比
例也較高。
而事實上也有很多影像包含了很多膚色面積,可是他們卻都不是裸
體圖,而且就膚色偵測的這項技術而言,也都還沒有一個受大家肯定為
最好的演算法出現。因此裸體圖的辨識,是不能只光靠膚色來訂定標準
的。而從過去的裸體偵測研究來看,往往都會再加上其他方式來加強改
善辨識效果。過去研究改善皮膚辨識的錯誤率方法,大致有利用質感、
53
形狀,膚色分布等[6][10][5]。
4.2 Haar 臉部特寫影像分類器測試結果
相較於只用膚色面積來做偵測,我們於本節的實驗中加入Haar 臉
部特寫影像分類器來看Haar 臉部特寫影像分類器對降低臉部特寫影像
的誤判率有多大的改善,及觀察是否有對其他類影像有不良之影響。
在總共1538 張測試影像中的測試結果,其中辨識正確的影像共有
1204 張,正確率為78.28%,判斷錯誤的影像共有334 張,誤判率為
21.86%。所有測試影像用膚色面積再加上Haar 臉部特寫影像分類器的
測試結果統計圖如圖4-3 所示。
各類影像的測試情形,在479 張裸體影像裡,有447 張被偵測為裸
體影像,正確率為93.32%,比之前只用膚色偵測少了6 張裸體影像,
原因為膚色偵測受強光影響,導致偵測出的臉部膚色面積比上剩餘膚色
面積超過門檻值,而被判定為臉部特寫影像,如圖4-4(c)所示為受強
光影響而誤判之範例。239 張清涼美女圖和654 張自然景觀圖,和只用
膚色偵測結果一樣,分別為27.20%和81.80%,沒有受到Haar 臉部特寫
影像分類器之影響。而在166 張臉部特寫影像中,共分類出了102 張臉
部特寫影像,加上之前膚色模型偵測出的55 張非裸體圖,共157 張影
像辨識為非裸體圖,將原本的正確率只有33.13%提高到94.58%,而誤
54
74.30%
78.28%
81.80%
94.58%
27.20%
93.32%
74.30%
72.04%
81.80%
33.13%
27.20%
94.57%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
加上Haar人臉偵測結果只用膚色模型結果
圖4-3,為用膚色模型加上Haar 人臉辨識測試結果統計圖。橫軸為偵測
正確率,單位為百分比。
判的影像有9 張,偵測失敗的原因有人臉角度(如圖4-4(d)所示之誤判範
例)、人臉歪斜(如圖4-4(e)所示之誤判範例)或被背景膚色面積影響等(如
圖4-4(a)及4-4(b)所示之誤判範例)。而相較混合影像與所有測試影像,
我們可得知,所有測試影像因臉部特寫的辨識率大大提升,而正確率約
提高了6%,相對於混合影像,因其無類似臉部特寫的影像包含其中,
因此不受影像。從結果得知,Haar 人臉偵測對消除臉部特寫影像的誤
判有極大的幫助,而且絲毫不影響其他類別影像之判別。
55
圖4-4,Haar 臉部分類器誤判範例圖。(a)(b)受特殊光線(橘紅光)影響而
導致背景大量出現類似膚色的臉部特寫影像誤判範例;(c) 受特
殊光線(強光)影響而導致身體膚色面積(BA)減少而被辨識成臉
部特寫影像範例;(d)側臉的臉部特寫影像範例;(e)臉部傾斜約
45°的臉部特寫影像範例。其中在(a)(b)(c)裡,左為原始影像,右
為二元膚色影像,其中白色區域為判斷為膚色之區域,反之黑色
區域為非膚色區域。
4.3 全裸影像分類器測試結果
相較於只用膚色面積來做偵測,我們於本節的實驗中加入全裸影像
分類器,來看全裸影像分類器對降低清涼美女圖和大量膚色環境影像的
誤判率有多大的改善,及觀察其對於裸體影像偵測之效果如何。
在總共1538 張測試影像中的測試結果,其中辨識正確的影像共有
1275 張,正確率為82.90%,判斷錯誤的影像共有263 張,誤判率為
17.10%。所有測試影像用膚色面積再加上全裸影像分類器的測試結果統
計圖如圖4-5 所示。
56
83.45%
82.90%
56.02%
71.19%
74.30%
72.04%
33.13%
27.20% 90.38%
95.57%
94.57%
81.80%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
加上全裸影像偵測結果只用膚色模型結果
圖4-5,膚色模型加上全裸影像分類器的測試結果統計圖。橫軸為偵測
正確率,單位為百分比。
各類影像的測試情形,在479 張裸體影像裡,有341 張被分類為裸
體影像,全裸影像分類器分類出之全裸影像佔裸體影像之比例為
71.19%,說明了並非所有裸體影像盡全是全裸影像,有些圖是只有裸露
胸前特徵或者私處部位特徵,而也有些影像是包含兩個人物以上的裸體
圖。 239 張的清涼美女圖中,有216 張判斷正確,然而仍有23 張清涼
美女影像被誤判為全裸影像,誤判原因有膚色過於集中於身體某一部分
而造成誤判(如圖4-6(e)及圖4-6(f)所示之誤判範例),或者影像含大量類
似膚色之背景環境,而且那類似膚色的背景還與人體膚色合一,而造成
誤判為全裸影像(如圖4-6(g)及4-6(h)所示之誤判範例)。而在654 張的
57
圖4-6,全裸影像分類器誤判範例圖。(a)(b)只有裸露胸前特徵或者私處
部位特徵的裸體影像範例;(c)(d)不只一人的裸體影像範例;(e)(f)
膚色過於集中於某一身體部分而造成誤判的影像範例;(g)(h)含
大量膚色之背景環境與人體膚色合一而造成誤判為全裸影像之
範例。其中(f)為(e)的二元膚色影像,(h)為(g)的二元膚色影像,
白色區域為判斷為膚色之區域,反之黑色區域為非膚色區域。
自然景觀影像中,有625 張判斷正確,然而仍有29 張被誤判為全裸影
像,此類影像多半是黃昏的天空、夕陽或者沙灘等,類似膚色的背景相
當集中,而造成誤判為全裸影像。然而自然景觀和清涼美女此二類影
像,相對於只用膚色面積比例總面積的結果,已經大大降低誤判率,若
之後的胸前特徵分類器和私處部分特徵分類器對此類影像也有不錯的
判別效果,那相信對整個大量類似膚色面積的自然景觀圖和清涼美女圖
的誤判,將有蠻大的改善。而再看284 張的混合影像,有237 張被正確
判斷,正確率約83.45%,與所有測試影像的正確率比較,兩者相差不
多,在誤判影像中,大量類似膚色環境的自然景觀圖2 張,大量膚色集
58
中的清涼美女圖7 張,膚色面積過小的裸體圖2 張,只裸露重點特徵的
裸體圖18 張和兩人以上的裸體圖18 張,誤判情形皆與測試影像中之誤
判情形一樣。從結果得知,全裸影像分類器對於降低自然景觀影像和清
涼美女圖之誤判率有不錯之效果。
4.4 胸前特徵影像分類器測試結果
相較於只用膚色面積來做偵測,我們於本節的實驗中加入胸前特徵
影像分類器,來看胸前特徵影像分類器對降低清涼美女圖和大量膚色環
境影像的誤判率有多大的改善,及觀察其對於裸體影像偵測之效果如
何。在總共1538 張測試影像中的測試結果,其中辨識正確的影像共有
84.51%
87.95%
87.03%
73.49%
74.30%
81.80%
33.13%
27.20%
97.25%
87.26%
72.04%
94.57%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
加上胸前特徵偵測結果只用膚色模型結果
圖4-7,膚色模型加上胸前特徵影像分類器的測試結果統計圖。橫軸為
偵測正確率,單位為百分比。
59
1315 張,正確率為85.50%,判斷錯誤的影像共有223 張,誤判率為
14.50%。所有測試影像用膚色面積再加上裸露胸前特徵影像分類器的測
試結果統計圖如圖4-7 所示。
各類影像偵測情形,在479 張裸體影像裡,有352 張被分類為裸露
胸前特徵之裸體影像,裸露胸前特徵影像分類器分類出之裸露胸前特徵
影像佔裸體影像之比例為73.49%,在沒有被分類至裸露胸前特徵影像
中的影像中,除了無裸露胸前特徵影像外,還包含了一些胸前特徵判斷
失敗的情形如下所述:過小的胸前特徵造成判斷困難(如圖4-8(e)及
4-8(f)所示之誤判範例)、胸前特徵因其它物件或光線的影響而在特徵二
圖4-8,胸前特徵分類器判斷失敗範例圖。(a)(b) 其他影像中物件造成胸
前特徵形狀上變動之範例;(c)(d) 拍攝角度影響胸前特徵擷取之
範例;(e)(f) 過小的胸前特徵擷取失敗範例;(g)(h) 特殊光源影
響胸前特徵擷取之範例。其中(b)為(a)之特徵二元圖、(d)為(c)之
特徵二元圖、(f)為(e)之特徵二元圖及(h)為(g)之特徵二元圖,特
徵二元圖中白色區域為候選胸前特徵區塊,灰色區域為膚色區
塊,黑色區域為非膚色區塊。
60
圖4-9,胸前特徵誤判範例圖。(a) 特徵影像強化後的人物嘴巴誤判範
例。(b) 類似胸前特徵形狀的皮膚上陰影誤判範例。(c) 類似膚
色背景的影響的誤判範例。在(a)(b)(c)中各有三張影像,由左而
右依次分別為原始影像、特徵二元圖(其中白色區域為候選胸前
特徵區塊,灰色區域為膚色區塊,黑色區域為非膚色區塊)及胸
前特徵誤判區域放大圖。
元圖上產生形狀的變動(如圖4-8(a)及4-8(b)所示之誤判範例)、拍攝角
度上的影響(如圖4-8(c)及4-8(d)所示之誤判範例)及拍攝時的特殊光源
影響特徵圖的擷取(如圖4-8(g)及4-8(h)所示之誤判範例)。239 張清涼
美女圖中,有208 張辨識正確,31 張的誤判。166 張臉部特寫影像中,
有146 張辨識正確,20 張的誤判。654 張自然景觀圖中,有636 張辨識
正確,18 張誤判。這些影像的誤判情形有:類似胸前特徵形狀的皮膚
61
上陰影(如圖4-9 (b)所示為陰影被誤判為胸前特徵之範例)、特徵影像強
化後的人物嘴巴(如圖4-9(a)所示為人物嘴巴類似胸前特徵之範例)和類
似膚色背景的影響(如圖4-9 (c)所示為類似膚色背景所影響之誤判範
例)。284 張混合影像中,有240 張判斷正確,正確率為84.51%,44 張
誤判,包括膚色面積過小的裸體圖2 張、大量膚色自然景觀圖誤判有胸
前特徵2 張、27 張裸體圖辨識無胸前特徵、13 張清涼美女圖誤判裸露
胸前特徵,誤判情形皆與測試影像中之誤判情形一樣。從結果得知,裸
露胸前特徵影像分類器對於降低自然景觀影像和清涼美女圖之誤判率
皆有不錯之效果。
4.5 私處部位影像分類器測試結果
相較於只用膚色面積來做偵測,我們於本節的實驗中加入私處部位
影像分類器,來看私處部位影像分類器對降低清涼美女圖和大量膚色環
境影像的誤判率有多大的改善,及觀察其對於裸體影像偵測之效果如
何。
在總共1538 張測試影像中的測試結果,其中辨識正確的影像共
1102 張,正確率為71.65%,判斷錯誤的影像共有436 張,誤判率為28.35
%。所有測試影像用膚色面積再加上裸露私處部位影像分類器的測試結
果統計圖如圖4-10 所示。
62
各類影像偵測情形,在479 張裸體影像裡,有212 張被分類為裸露
私處部位特徵之裸體影像,裸露胸前特徵影像分類器分類出之裸露胸前
特徵影像佔裸體影像之比例為44.26%,實際上裸露私處部位之裸體影
像只有207 張,而被偵測為裸露私處特徵的只有184 張,而多出來的
28 張為類似私處部位特徵的誤判,其中偵測失敗的情形有:裸露出來
的特徵被遮掩,而使膚色分佈狀態不足以通過判斷門檻,如圖4-11(a)、
圖4-11(b)及圖4-11(c)所示之誤判範例,以及人物姿勢的影響,使得特
徵並非呈現凹字型,如圖4-11(d)、圖4-11(e)及圖4-11(f)所示之誤判範
例。239 張清涼美女圖中,有205 張判斷正確,34 張誤判。166 張臉部
特寫影像中,有108 張判斷正確,58 張誤判。654 張自然景觀影像中,
59.86%
71.65%
88.23%
65.06%
85.77%
44.26%
74.30%
72.04%
33.13%
27.20%
94.57%
81.80%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
加上私處部位特徵偵測結果只用膚色模型結果
圖4-10,膚色模型加上裸露私處部位特徵影像分類器的測試結果統計
圖。橫軸為偵測正確率,單位為百分比。
63
圖4-11,私處部位特徵分類器判斷失敗範例圖。(a) (b) (c) 裸露出來的特
徵被遮掩,而使膚色分佈狀態不足以通過判斷門檻; (d) (e) (f)
人物姿勢的影響,使得特徵並非呈現凹字型。
有577 張判斷正確,68 張誤判。誤判情形皆是類似凹字型的膚色環境。
284 張混合影像中,有170 張判斷正確,其中裸體影像有16 張,清涼
美女圖55 張,自然景觀圖99 張。而混合影像中,裸露下體的影像只有
10 張,都有被偵測出來,剩下6 張其實為非裸露下體的裸體圖,誤判
情形皆與測試影像情形一樣。
由實驗結果來看,我們私處特徵部位影像的偵測方法,雖然偵測正
確性不高,也有蠻多誤判的情形。然而對於整個裸體影像偵測方法上,
私處特徵部位影像的偵測,還是有些幫助,且是不可或缺的。而且私處
特徵部位的偵測,也還有蠻大的改善空間,這也是我們未來會再努力的
地方。
64
4.6 整個裸體偵測系統測試結果
相較於只用膚色面積來做偵測,我們於本節的實驗中加入所有影像
分類器,來看整個裸體偵測系統,實際上對於裸體圖的辨識正確性有多
高。在總共1538 張測試影像中的測試結果,其中辨識正確的影像共1381
張,正確率為89.79%,判斷錯誤的影像共有157 張,誤判率為10.21 %。
所有測試影像用整個裸體偵測系統的測試結果統計圖如圖4-12 所示。
各類影像偵測情形,在479 張裸體影像裡,有26 張膚色面積不足
以通過膚色模型,6 張誤判為臉部特寫影像,341 張被判為全裸影像,
84 張被偵測裸露胸前特徵,最後剩餘22 張,有10 張被偵測出裸露下
體部位,12 張誤判,判斷正確張數共435,正確率為90.81%。在239
張清涼美女圖中,有75 張膚色面積不足,23 張被誤判為全裸影像,12
張被誤判裸露胸前特徵,19 張被誤判為裸露私處部位特徵,剩餘110
張被判斷為非裸體,總共185 張判斷正確,正確率為77.41%。166 臉部
特寫影像中,55 張膚色不足以通過膚色模型,102 張被判斷為臉部特寫
影像,4 張被誤判為全裸影像,1 張被誤判為裸露胸前特徵影像,1 張
誤判為裸露下體特徵,其餘3 張被判定為非裸體影像,總共160 張辨識
正確,正確率為96.39%。654 張自然景觀圖中,有535 張膚色不足以通
過膚色模型,29 張被誤判為全裸,14 張被偵測到有胸前特徵,剩餘76
張中,10 張被誤判有裸露私處部位,66 張被判定為非裸體,總共601
65
張辨識正確,正確率為91.90%。而在284 張混合影像中,有129 張膚
色面積不足以通過膚色模型(裸體圖誤判2 張),57 張被判斷成全裸影
像(自然景觀誤判2 張、清涼美女圖誤判7 張),32 張被判斷成裸露胸
前特徵(自然景觀誤判1 張、清涼美女圖誤判13 張),26 張被判斷成裸
露私處部位特徵(清涼美女圖誤判17 張),剩餘40 張被判斷為非裸體影
像(裸體圖誤判9 張),辨視正確影像共233 張,正確率為82.04%。
藉由整個裸體影像辨識的系統,我們減低了只用膚色面積來分類裸
體圖的誤判率,且成功地讓裸體影像保持九成以上的辨識率。因此我們
將裸體影像分類成三大類,在依造各類裸體影像在電腦視覺上的特性來
加以分類辨識,這樣辨識的方式是可行的,且也具有十分的效用。
82.04%
89.79%
91.90%
96.39%
77.41%
90.81%
74.30%
72.04%
33.13%
27.20%
81.80%
94.57%
0% 20% 40% 60% 80% 100%
混合影像
所有測試影像
自然景觀圖
臉部特寫影像
清涼美女圖
裸體影像
整個裸體影像偵測系統結果只用膚色模型結果
圖4-12,整個裸體偵測系統的測試結果統計圖。橫軸為偵測正確率,
單位為百分比。
66
第五章 結論與未來展望
5.1 結論
在這個先以膚色為基礎,再用三個裸體影像分類器及一個臉部特寫
影像分類器來做裸體圖辨識的裸體影像辨識系統中,我們從擁有不錯的
膚色分布集中度的YCbCr 色彩空間,以Bayesian 的方法來決定出膚色
分類模型,如此我們得到了一個快速且效果不錯的膚色分類系統。而
Haar 人臉辨識系統,對於臉部特寫的影像擁有極高的辨識率,且其處
理速度相當迅速,對於整個裸體影像辨識系統而言,Haar 人臉辨識系
統是個不錯之選擇。而全裸影像分類器成功將含大量膚色之影像分類為
主要膚色區域集中之全裸影像和膚色區塊散亂在整張畫面中之影像,再
從擁有膚色區塊散亂之影像去分析出包含胸前特徵之影像與私處部位
特徵之影像。如此將裸體影像分類成三大類,在依造各類裸體影像在電
腦視覺上的特性來加以分類辨識,這樣辨識的方式根據用1538 張的影
像測試結果,是可行的且也具有不錯的裸體影像辨識率。
而以此方式優點在於我們不必用大量的計算來分析複雜的人體架
構,只透過四個簡單的分類器就能從包含大量膚色之影像中,分類出裸
體影像和非裸體影像,且其擁有快速的計算速度和良好的辨識率。然而
此方式擁有兩個前提,一為膚色像素辨識率取決於訓練集的樣本,因此
需求大量且包含各種廣泛之裸體影像訓練集才可擁有更良好之膚色像
67
素辨識率。另一則是以膚色比例面積30%的方式來取得包含大量膚色之
影像,再用影像分類的方式來分類出裸體影像之方式,需考量要讓絕大
多數之裸體影像都要能被系統分類成包含大量膚色之影像為前提,因此
膚色比例面積愈低愈好,然而膚色比例面積愈低代表非裸體影像之誤判
率愈大,如何取出一個良好之膚色比例面積為此方式之一個難題。
而這篇論文的貢獻在於,提供了一個新的裸體影像辨識的門徑,將
裸體影像分類成具各種特色的裸體影像子類別,再依造其在電腦視覺上
不同的特性來加以辨識偵測。而以本論文的裸體辨識系統,不但對於色
情影像辨識的研究,有極大的幫助;且像這樣將一大影像類分類成各小
類別,在從各類的特性來加以處理,也可供日後相關擷取影像內容技術
(CBIR)之研究做為參考。而除了影像上的識別,這樣的研究,也可以應
用在視訊系統上,如自動過濾裸體鏡頭或者自動馬賽克重點部位等應
用。
5.2 未來展望
本研究先以膚色為基礎,再用三個裸體影像分類器及一個臉部特寫
影像分類器來完成裸體影像辨識系統,除了可達到成功辨識出裸體影像
外,在未來也可結合色情文字之分析來加強防堵色情影像在網際網路之
氾濫。然而在本研究中,仍還有許多課題值得深入地去思考。因此我們
68
以本文介紹之理論為基礎,提出以下數個未來可能之研究方向,以望進
一步增強裸體影像之辨識率與系統之效能。
首先,以整個系統而言,對於裸體影像分類系統,可以利用自動學
習的機制或者其他圖訊識別的方法來加強或者平衡協調各裸體影像分
類器之分類處理以追求一最完善的分類程序;而對於膚色擷取分類系
統,也可以透過區域性膚色模型來取代單點式的膚色模型,或者採用其
他人體皮膚特徵來加強影像皮膚之擷取,如皮膚材質(texture)等。而從
各裸體影像分類器來看,全裸影像分類器,也許可再透過膚色形狀或者
膚色分布之分析來加強;胸前特徵影像,也可再嘗試不同的胸前特徵影
像轉換方式,或者其他的影像加強或影像切割方法來加強。而裸露私處
部位影像分類器,也可再將Haar 臉部偵測訓練方式,拿來嘗試訓練私
處部位影像分類器,以加強分析上之正確率。
69
參考文獻
[1] A. Albiol, L. Torres, and E.J. Delp, “Optimum Color Spaces for Skin Detection,”
Image Processing, 2001. Proceedings. 2001 International Conference on, IEEE,
Thessaloniki Greece, Vol. 1, pp. 122-124, Oct. 2001.
[2] Bimbo, A.D., Visual Information Retrieval, Morgan Kaufmann Publishers, Inc., San
Francisco, California, 1999.
[3] CCIR, “Encoding parameters of digital television for studios”, CCIR
Recommendation 601-2, Int. Radio Consult. Committee, Geneva, Switzerland, 1990.
[4] D. Chai and A. Bouzerdoum, “A Bayesian Approach to Skin Color Classification in
YCbCr Color Space,” TENCON 2000. Proceedings, IEEE, Kuala Lumpur Malaysia,
Vol. 2, pp. 421-424, Sept. 2000.
[5] L.L. Cao, X.L. Li, N.H. Yu, and Z.K. Liu, “Naked People Retrieval Based on
Adaboost Learning,” Machine Learning and Cybernetics, 2002. Proceedings. 2002
International Conference on, IEEE, Vol. 2, pp. 1133-1138, Nov. 2002.
[6] D.A. Forsyth, and M.M. Fleck, “Identifying Nude Pictures,” Applications of
Computer Vision, 1996. WACV '96., Proceedings 3rd IEEE Workshop on, IEEE,
Sarasota, FL USA, pp. 103-108, Dec. 1996.
[7] Y. Freund and R.E. Schapire, “Experiments with a New Boosting Algorithm,” in
Proceedings of theThirteenth International Conference. on Machine Learning, pp.
148-156, 1996.
[8] Y. Freund and R.E Schapire, “A decision-theoretic generalization of on-line learning
and an application to boosting,” Journal of Computer and System Sciences, Vol. 55,
pp. 119-139, 1997
[9] R.L. Hsu, A.M. Mohamed, and A.K. Jain, “Face Detection in Color Images,” IEEE
Transactions On Pattern Analysis And Machine Intelligence, Vol. 24, No. 5, pp.
696-706, May 2002.
[10] F. Jiao, W. Gao, L. Duan, and G. Cui, “Detecting Adult Image Using Multiple
Features,” Info-tech and Info-net, 2001. Proceedings. ICII 2001 - Beijing. 2001
70
International Conferences on, IEEE, Beijing China, Vol. 3, pp. 378-383, Nov. 2001.
[11] R. Lienhart, A Kuranov, and V. Pisarevsky, “Empirical Analysis of Detection
Cascades of Boosted Classifiers for Rapid Object Detection,” Technical report, MRL,
Intel Labs, 2002.
[12] A.J. Smola and B. Schölkopf, “A Tutorial on Support Vector Regression,”
NeuroCOLT Technical Report NC-TR-98-030, Royal Holloway College, University
of London, UK, 1998.
[13] A.W.M. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, “Content-Based
Image Retrieval at The End of Early Years,” IEEE Trans. On PAMI, Vol. 22, no.12,
pp. 1349-1380, Dec. 2000.
[14] P. Vioal and M. Jones, “Robust Real-time Object Detection,” In Proc. of IEEE
Workshop on Statistical and Theories of Computer Vision, 2001.
[15] V. Vezhnevets, V. Sazonov, and A. Andreeva, “A Survey on Pixel-Based Skin Color
Detection Techniques,” Proc. Graphicon-2003, pp. 85-92, Moscow, Russia, Sep.
2003.
[16] M.H. Yang, D.J. Kriegman, and N. Ahuja, “Detecting faces in images: a survey,”
Pattern Analysis and Machine Intelligence, IEEE Transactions on , Vol. 24, pp. 34 -
58, Jan. 2002.
[17] Open Source Computer Vision Library (OpenCV)
http://sourceforge.net/projects/opencvlibrary/
71
自述
姓名:胡冠宇
籍貫:彰化縣
生日:中華民國69 年4 月4 日
學歷:中華民國93 年7 月畢業於國立成功大學工程科學所計算機組
中華民國91 年6 月畢業於國立成功大學工程科學系
中華民國87 年6 月畢業於省立員林高級中學
通訊地址:彰化縣員林鎮新生路172 號
聯絡電話:04-8322609

相关信息:


欢迎光临本社区,您还没有登录,不能发贴子。请在 这里登录