基于特征点约束的人脸纹理映射
第29卷第9期2012年9月
计算机应用研究
ApplicationResearchofComputers・、
V01.29No.9Sep.2012
基于特征点约束的人脸纹理映射
王法强,耿国华,李康,贺毅岳
(西北大学信息科学与技术学院,西安710127)
摘要:人脸纹理映射技术是计算机辅助颅骨面貌复原中一种特殊的真实感处理技术。针对人脸面部器官纹
理映射难以准确实现的问题,提出一种基于特征点约束的人脸纹理映射方法。刹用最小二乘保角映射参数化时
需固定顶点来完成特征点约束。通过对大量单张、正面照片作为纹理进行映射,证实了该方法能够取得良好的
映射效果。实验结果表明本方法鲁棒且效率高,降低了算法的复杂性。关键词:人脸纹理映射;参数化;最小二乘保角映射;特征点
中图分类号:TP391
文献标志码:A
文章编号:1001-3695(2012)09—3509-03
doi:10.3969/j.issn.1001.3695.2012.09.082
Texturemappingforfeaturebased
on
pointsconstraint
WANGFa-qiaIlg,GENGGuo—hua,LIKang,HEYi—yue
(co£妇e旷坳mol伽&如附&7碱肋妇y,舶厅^删洳妇黠睁,藏’nn710127,傩fM)
specialtechnology“fealisticprocessingincomputer-aidedcraniof孔ialrehaI
biIitation.To他alizethetexturemappingforlocalorgansof3DhumanfaceaccurateIy,thispaperinIroducedatexturemappingmethodforfeaturebasedonpointsconstmillt.Itusedleastsquaresconformalmapstorealizethisconst髓int.UsingfbntphotosAb内阻ct:T毛xturem叩pingforfeatureis
a
Very
foractualtexturemappingprovedthatthemethodwasefkctive.Theexperimentresultsshowthatt}lismethodisrobustandef-fieient,andreducedthecomplexityoftheaIgorithm.
Keywords:texturemappingforfeature;parameterization;leastsquaresco—brmalmaps;featurepoint8
部(如眼睛、嘴巴)的映射并没有取得应有的效果。
0
引言
具有真实感的三维人脸重建在多个领域具有重要地位,如
颅骨面貌复原、影视声告、三维游戏、安全认证等。三维人脸重建过程中,人脸纹理映射是一个关键技术,它决定了人脸重建效果的真实度。如图l所示,在颅骨面貌复原中发现,基于颅骨复原出的人脸面皮缺少皮肤纹理,将严重影响复原人脸的真实感效果,为增强复原人脸的真实感效果,人脸纹理映射的研究变得极为苇要.
囡鳓圄
・l
J、!。?f}心4{JI}、‘.1州ti
I‘
“l。:州眇j:Yt{。
幽2纹理映射效果
近年来,国内外很多研究者提出了约束纹理映射的方法。Levy等人…把用户指定的特征点对应关系作为约束添加到参数化的目标函数中,通过共轭梯度法优化目标函数对应的稀疏矩阵来求解纹理映射的坐标。但这种方法并不能完全保证映射
的有效性。‰g等人”1通过径向基函数插值非约束点解决特
征的对应问题,但该方法依赖于RBF(珊dial
㈠哇l:.‘_』filJr。。厂¨
h1■“J‘【:【r‘j’、i
b鹅is
function,基函
数)的选取。‰evoy等人¨o将模型参数化后的平面网格根据
特征点进行剖分,然后对应纹理按照指定的特征点进行三角剖分.从而建立网格模型和纹理空间上点的对应关系,但该算法较为复杂,且是建立在大量迭代的基础上,给出的解不够精确。吴亚东等人H1提出一种基于调和映射的纹理映射方法,但是该方法不能满足人脸纹理映射局部器官准确对应问题。另外,一些研究者还提出一种基于调和映射的约束纹理映射方法”。。,该类方法通过调和映射来参数化三维人脸模型,并通
.毛l
缺乏j£丈芯l:j/、jj跌型
在入脸的三维网格表面实现纹理映射,就是建立一个网格上的点与纹理图像上的点的一一映射,即对三维人脸表面进行参数化。但是这种映射并不能完全体现人脸网格上的特定点与纹理图像特定点的准确对应问题。如图2所示,将虎的面部照片纹理映射到人脸之后,由于只是实现了整体对应,对于局
收稿日期:2011—12—29;修回日期:2012・03-07
基金项目:国家自然科学基金重点资助项目(60736008);陕西省自然科学基金资助项目
(2010JQ8011);西北大学研究生自主创新基金资助项目(10Yzzl5)
作者简介:王法强(1986一).男。山东泰安人,硕士研究生,主要研究方向为图形图像、可视化技术(wfq305@126.com);耿国华(1955-).女,教授,博导,主要研究方向为图形图像、智能信息处理:李康(1980一),男,讲师,博士研究生,主要研究方向为计算机可视化;贺毅岳(1983-),男,博士研究生.主要研究方向为图形图像处理、统计学习.
・3510・
计算机应用研究
退化解。最小二乘保角映射算法原理描述如下:
a)用K表示拓扑同构于圆盘的三角网格模型
{h忱l,厂={(q1,口…q3)}&I}
第29卷
过用户指定的特征点来进行交互调整,但是该类方法需要进行大量的局部自适应调整,因此增加了算法的复杂性。
本文提出一种基于特征点约束的人脸纹理映射方法,利用最小二乘保角映射(1east
8quares
confonIlal
maps,LscM)参数化
其中:h}?:。表示n个顶点(扎≥3);厂表示由三个顶点组成的三角形。
b)计算局部坐标,为每个三角形构建一个局部正交基(算,),),其法向量与:轴同向。
c)本文考虑一个从K到砰光滑的映射“,对于厂的一个三角面片了1,可以重新定义映射如下:u(戈+谚)=M+氓即
时需要固定点来完成人脸特征点的约束。实验结果表明。本文方法在纹理映射过程中不需要局部自适应调整,保证了人脸纹理映射中特定点之间的对应关系,提高了效率。相对于kvy等人¨。提出的方法,LsCM方法对于人脸网格模型参数化时能保证纹理映射的有效性。
1
参数化应用于人脸纹理映射
参数化
数字几何处理中的参数化主要是研究如何将三维几何模
uI,:(茗,),)一(“,舻)。根据柯西一黎曼方程可知,映射n在7’
上是保角映射当且仅当等式
1.1
粤+i譬=o∞刀
(1)
在整个r上成立。很明显,这种保角条件不可能严格地满足整个三角面片,1,因此,对于每一个三角面的映射,该方法构造一个整体最小二乘约束的保角映射:
型映射到一个参数域上,即寻找三维几何数据和参数域上点的一一对应关系,并谋求某种与原始网格之间的几何度量形变的最小化。因此从纹理映射角度看,平面参数化极大程度上可以为二维纹理映射服务。可以将平面参数化分为两种类型:a)凸边界方法。基本思想是把网格的边界映射到一个平面的凸集的边界,把网格的内部顶点映射到这个凸集的内点,如调和映射方法,该类方法对于网格边界要求比较严格,参数化时内部网格往往形变较大。b)非凸边界法。即自由边界参数化,该方法在参数化时不需要提前将网格边界映射到一个凸集的边界,边界点的参数值在参数化过程中求得。如LScM方法,该类方法在边界处的优势比较大,内部网格形变较小。1.2调和映射实现人脸纹理映射
调和映射应用于人脸纹理映射的过程可描述为:对于给定
呼c(,c)=剖rI詈+i詈阳
以写成
(2)
如果假设映射u在每个三角形r上都是线性映射.故式(2)可
c(K)=r∑r。詈+詈12邶)
然后C(.c)可以被写成二次型的形式:
C(N)=u×M×^lh
(3)
其中:A(r)为三角形r的面积。假设M;=u。+ip。(江l,…,n),
(4)
其中:u=(u。,u2,…,Ⅱ“);M是m×n的矩阵。
为了最小化式(2),并且使等式有唯一的非退化解,该算法需要至少固定两个点。假设固定p个顶点,则重新安排向量£l=(u,,%),Mr包含n—p的自由顶点,u,即为p个固定点(P≤n),于是式(4)可以被写成:
c(N)=0竹吩+怫%旷
(5)
的三维人脸模型,找到其边界,将网格的边界点映射到一个二
维纹理凸区域的边界上;对于非边界点,为了保证模型映射后的拓扑形变最小,采用弹性力学知识,计算调和权重,保证人脸网格的弹性势能最小,然后通过求解线性方程组确定所有内部点的位置。参数化效果如图3所示。假设从网格到参数域的映射为^,则其离散的调和能量定义为
1
其中M=(J哆,M),M是m×(n—P)的矩阵,坼是m×JP的矩
阵。平方和的最小化式(5)可以通过共轭梯度法求解。
图4为固定两点后实现参数化的效果,可以看出,对于三维人脸模型,LscM方法相对于调和映射边界优势更明显。形变更小
E……2寺¨^)鬈㈣si…Ⅵ)一“(叶)俨ed辩《Ⅲ)7
z‘¨。口.)E
。
其中:q、q为原始网格的顶点;5i为(%,t。)的弹性系数。
■
:i?
。警
r一
?{I‘0r….・:.}芎“。一X2{
’ff—i气一{l一’;11’7-i‘川
图3调和映射效果
图4LSCM映射效果
基于调和映射的约束纹理映射方法,是在网格模型和纹理图像之间精确地指定大量对应的约束特征点,通过局部自适应调整来满足纹理特定点的映射。1.3最小二乘保角映射
相对调和映射方法,Levy等人旧1提出一种最小二乘保角映射法,该方法是基于cauchy.Riemann等式的最小二乘逼近保角映射的参数化方法。其本身是一种准保角映射,参数化时无须提前定义边界,是一种自由边界参数化方法。该方法在参数化过程中需要至少固定两个顶点来使得参数化时有唯一非
2特征点约束的人脸映射
人脸纹理映射是一种特殊的纹理映射,它不仅仅是要求简单纹理贴图,更重要的是对于一些局部人脸器官能实现准确对应。基于ISCM参数化方法过程中需要提前固定顶点来实现唯一的非退化解,本文提出将参数化时固定的点分别作为约束特征点来解决人脸特定点的准确对应问题。2.1人脸特征点定义
在人脸纹理映射过程中,除五官外,面部皮肤材质基本相
第9期
王法强,等:基于特征点约束的人脸纹理映射
●1●■‘
・35ll・
同,影响映射效果的不对应关系只局限于面部五官,如眼睛、嘴巴的纹理贴图不对应,因此实验中针对面部五官区域进行处理,重点改善面部器官纹理映射的效果。这要求选取的人脸特征点要具代表性,且能在照片中准确找到相对应的点。基于人脸面部中较为明显的五官几何特征,且在纹理映射中很难实现较为准确的对应这一难题,本文提出一种划分人脸区域的方法,如图5(a)所示,将三维人脸模型划分为八个区域,在每个区域里分别选取Ⅳ(,v≥1)个顶点作为特征点(如图5(b)、(c))。LScM参数化时需要固定p个顶点,即这p个顶点是用户交互设定的,基于此本文将所选取的三维人脸模型上的Ⅳ个顶点作为固定点,而与之对应的二维坐标点,在纹理照片中设定坐标系,根据对应特征点的距离和位置来设定二维的Uy坐标(如图5(d)是与图5(c)特征点对应的纹理照片)。这样,三维人脸模型对应二维纹理照片组成一个特征点约束的纹理
中,采用颅面正面数据,利用分割方法将耳朵及后脑面皮分割出去,这样便于照片在映射过程中寻找边界。为验证本方法的有效性,本文选取了多张照片来映射入脸模型,映射效果如图7—9所示。在人脸映射过程中,在各个分区总共选取9个顶点来进行约束,图7为作者本人照片映射于三维颅面之后不同角度的绘制效果图;图8照片为从网上下载图片应用于人脸纹理映射的效果,并标记为Nwu(NordlwestUIIiversity);图9为利用虎头照片映射到人脸效果图。
算法大致可分为以下四步:
嚣■一黧匡纛黧]∥淼日羚燃园一一
算法流程如图6所示。基于特征点约束的人脸纹理映射
囵一9,郾日一弦日一日淤匦飘图
图8纹理映射2
图9纹理映射3
a)在三维人脸模型与二维纹理照片上分别选取选取Ⅳ个
结果分析如下:
a)优点。相对基于调和映射的人脸纹理映射方法,本算法可以提高人脸纹理映射的准确性,能够满足人脸纹理映射的基本要求;对于基于特征点约束的调和映射算法,本文不需要局部自适应调整,明显降低了算法的复杂性,提高了效率。由于调和映射和LSCM方法最终都归结为求解大型线性方程组问题,效率与线性方程组的维数相关,故两种参数化方法效率基本相同。通过实验证实,对于同一人脸模型(顶点数为2
679
顶点(设定为如酗(c)(d)所示的9个)称之为约束点。将三
维人脸模型所选顶点坐标保存。对应图片的约束点的坐标,以图像左上角点为原点,向下为y轴正坐标,向右为菇正坐标进行设定(图5(d))。
b)读入三维人脸obj模型,查找三维人脸模型约束点。参数化开始时.利用kd—tree快速查找指定.7V个点坐标的存放位置,根据指定的二维坐标对三维人脸模型进行LScM参数化。这样Ⅳ个顶点作为约束特征点被添加到参数化中,将参数化
个,三角形个数为49r71个),分别进行调和映射和LsCM参数化(LSCM方法固定2个顶点),两种参数化方法所需时间基本相同(调和映射为O.47ls,LsCM参数化方法0.469s),但是对于基于特征点约束的调和映射方法,还需要自适应调整,算法复杂度提高,效率下降。
b)缺点。实验中,采用手动选取三维人脸特征点,距离自动人脸纹理映射还有一定差距,特征点选取较为繁琐。另外,本算法纹理映射的有效性是通过固定顶点的方法来完成,为保证纹理映射形变较小,需要精确测量照片上各特征点的距离,以此定义照片上特征点坐标,过程繁琐。
后的二维w坐标保存。
c)纹理坐标归一化。从所有uy坐标(1‘’,"’)中找到w
坐标最大值(u一.口。。)和最小值(比一,。椭)。所有顶点的归一化坐标为
J
r。:羔二兰生
H㈣““n
【”=三鼍
则所有顶点的坐标映射到uE(O,1),”E(0,1),与纹理空间相对应。
d)对于三维人脸模型中的非顶点像素,本文采用插值算法得到其像素值。
4结束语
人脸纹理映射是一种特殊的纹理映射,映射时会出现局部器官不对应关系。本文提出了一种基于特征点约束人脸纹理
3实验结果及分析
利用工具VC++6.0、OpenGL在PC机上实现了特征点约束的人脸纹理映射。Pc配置为Intel@coreTMQ9400
2.66GHz、4
2
映射的方法,首次提出根据人脸分区定义特征点,并将特征点加入到LscM参数化中作为约束,来保证人脸纹理映射的效果,提高了纹理映射方法的准确性。相对于其(下转第3527页)
Quad
cPU
GB内存、操作系统为WindowsxP。实验
第9期
尹玄武,等:基于RANsAc和灰度一致性的PET錾胚口缺陷检测
意的检测性能。
本文算法在cPU为双核1.83GHz、内存为2
‘3527・
可见采用RANsAC方法对边缘点集进行拟合可以得到比最小二乘法更好的结果。其原因是最小二乘法本质上是带权的求参数过程Ⅲ:,较大的离群点会对结果产生较大影响,而RANSAc方法是不带权的投票过程,可以有效应对有较大离群点的情况。
会使错检率降低,根据实际情况综合选取阈值可以取得令人满
CB
DDR2的
工控机上检测图像大小为640x480的速度为10m∥帧,完全可以满足高速生产线的实时检测要求。
4结束语
本文针对高速生产线上的PET瓶胚口的缺陷检测问题设计了相应的检测算法,能够对瓶胚口区域准确定位并检测缺陷。正确率和检测速度能够满足线上检测要求,在实际应用中应根据现场情况综合调节检测阈值、核算子大小等参数,以取得平衡的检测性能。参考文献:
[1】韩彦芳,施鹏飞.基于数字图像处理的表面缺损检测技术[J].
剐控技术,2005,24(9):15-18.
[2]胡怀中,张新曼,刘瑞玲.机器视觉技术及应用[M],北京:高等
教育出版社,2009.[3]
sHAFAITF,IMRAN
sM,KLETTE—MATzATs.
water
Faultdetection
-且IldlocaIiz8tioninempty
bottles
through
nlachine
vision[c】//
PIocofE—tech.Piscataway:lEEEPress。2004:30一34.
[4]李俊,扬新,和桂芬.等.定位基因芯片探针点的圆心度方法【J].
生物医学工程学杂志,2002,19(1):97.100.
图5崩损缺陷检测结果,箭头指向的标记处即为检测到的缺陷位置
[5]
LINcs,LuELi-wen.Animagesystemforfastracy
positioning卸d
accu・
本文构造的核算子厅在纵向(即直角坐标系中的法向)对图像进行了均值滤波,能够很好地对抗由瓶胚姿态或光源方向造成的纵向灰度不均匀,而对由缺陷造成的横向灰度突变响应相当灵敏。从图5中可看出该检测方法不仅能检测缺陷的有
[6】
in8pecti叽ofball画da盯ayboards[J].MicroeIectronicsRelia・
bⅢ_【y.2001,41(1):119一128.
DuAN
Fellg,wANGYao—n锄,uu
on
Hu肌-jun,“耐.E唧ty妇tIe
in・
spectorb8sedC0nference
on
r∞chinevisi仰【c]//Proc0fthe3TdIntemational
Machjne
无,而且能准确定位缺陷的位置,可以为设备的调试提供非常
有价值的信息。3.3数据集测试结果
测试数据集共有513幅图像,其中有缺陷图像104幅,正常图像409幅。取不同的检测阈值对算法进行测试,所得结果如表l所示。
表l检测正确率统计结果
Le锄ing越Id
Cybemetics.2004:3845—3850.
[7】刘焕军.基于多核支持向量机集成的智能玻璃制品检测算法
[J].计算机测量与控制.2011。19(2):359—362.
【8]温兆麟,陈新,李克天,等.统计纹理的自动表面检测[J】.计算
机应用研究,2007,24(8):193・194,197.[9]
FIscHLER
M
A,BOuJEsRc.Randomsarnple
wi血印pljcations
t0
consensus:a
p啪一
auto—
digmformodeJfittingmated
image粕alysis卸d
the
canogmphy[J].
Communicationsof
ACM,1981,24
(6):381—395.
[10]昊福朝.计算机视觉中的教学方法[M].北京:科学出版社.
200B.
[11]s1啊GER
c,uLRIcH
M.wIEDEMANNC.机器视觉算法与应用
从表1中可以看出,降低阈值会使漏检率降低,升高阈值
[M].杨少荣,译.北京:清华大学出版社,2008.
(上接第3511页)他约束纹理映射方法,本算法效率明显提高。参考文献:
[1]LEVY
B.Constrained
texture
[4]昊亚东,韩永国,蔡勇.基于调和映射的纹理映射方法[J】.计算机
工程与应用,2003.39(17):61—62.
[5]郭延文.纹理映射、合成与替换算法研究[D].杭州:浙江大学,
m印PiⅡgforpolygonalmeshes[c】//
2005.
ProcofACMSlGGRAPH.NewYork:ACM,200l:417—424.
[6]
GuoYan-wen,PANbasedconstrainedsign
and
Yong-juan,cuIxiu-fen,e£口f.HaⅡ曲nic
maPPing
map8
【2]TANGYing,wANGJin,BAoHu.jun,盯懵f.RBF.basedc0璐tmined
texture
texlure
method[J].ComputerAidedDe-
mapping[J].Computers
and
Graphics,2003,27(3):415-
ConlputerG旧phi∞,2005,17(7):1457・1462.
422.
[7]任文彬,王国胤,龚勋,等.基于人脸特征点的约束纹理映射[J].
计算机科学,20lO,37(10A):70—72.
con-
[3】KRAEVOYV,sHEF’FERA,GOTsMANc,ef口1.constructingstrained
[8]LEVYB,PElTrJEAN
m8Psforautomatic
S.RAYN,“Ⅱz.Le踮tsquaIes
confcmal
sIG
textu砧m叩s[C]//Pmc
or
AcMslGGRAPH.NewY0rk:
texture
ad柏generation[c]//Proc
ofAcM
ACM.2003:326—333.
GRAPH.NewYork:ACM,2002:362—371.
基于特征点约束的人脸纹理映射
作者:作者单位:刊名:英文刊名:年,卷(期):
王法强, 耿国华, 李康, 贺毅岳, WANG Fa-qiang, GENG Guo-hua, LI Kang, HE Yi-yue西北大学信息科学与技术学院,西安,710127计算机应用研究
Application Research of Computers2012,29(9)
参考文献(8条)
1. LEVY B Constrained texture mapping for polygonal meshes 2001
2. TANG Ying;WANG Jin;BAO Hu-jun RBF-based constrained texture mapping[外文期刊] 2003(03)3. KRAEVOY V;SHEFFER A;GOTSMAN C Constructing constrained texture maps 2003
4. 吴亚东;韩永国;蔡勇 基于调和映射的纹理映射方法[期刊论文]-计算机工程与应用 2003(17)5. 郭延文 纹理映射、合成与替换算法研究 2005
6. GUO Yan-wen;PAN Yong-juan;CUI Xiu-fen Harmonic maps based constrained texture mapping method[期刊论文]-Computer Aided Design and Computer Graphics 2005(07)
7. 任文彬;王国胤;龚勋 基于人脸特征点的约束纹理映射 2010(10A)
8. LEVY B;PETITJEAN S;RAY N Least squares conformal maps for automatic texture atlas generation 2002
引用本文格式:王法强. 耿国华. 李康. 贺毅岳. WANG Fa-qiang. GENG Guo-hua. LI Kang. HE Yi-yue 基于特征点约束的人脸纹理映射[期刊论文]-计算机应用研究 2012(9)