CN1316416C - 基于四个特征点的头部动作测定方法 - Google Patents

基于四个特征点的头部动作测定方法 Download PDF

Info

Publication number
CN1316416C
CN1316416C CNB028190475A CN02819047A CN1316416C CN 1316416 C CN1316416 C CN 1316416C CN B028190475 A CNB028190475 A CN B028190475A CN 02819047 A CN02819047 A CN 02819047A CN 1316416 C CN1316416 C CN 1316416C
Authority
CN
China
Prior art keywords
mentioned
image
head
linear method
rotation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028190475A
Other languages
English (en)
Other versions
CN1561499A (zh
Inventor
M·特拉科维
V·菲尔洛明
S·V·R·古特塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1561499A publication Critical patent/CN1561499A/zh
Application granted granted Critical
Publication of CN1316416C publication Critical patent/CN1316416C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Abstract

根据面部特征数据来进行头部动作测定的线性方法,该方法包括以下步骤:获取第一幅面部图像,并且在该第一幅图像中检测头部;在上述的第一幅面部图像中检测四个点P的位置,这四个点为P={p1,p2,p3,p4},并且pk=(xk,yk);获取第二幅面部图像,并且在该第二幅图像中检测头部;在第二幅面部图像中检测四个点P’的位置,这四个点为P’={p1’,p2’,p3’,p4’},并且pk’=(xk’,yk’);利用点P和P’来确定头部的动作,该动作由旋转矩阵R和平移矢量T表示。头部动作测定受一个方程(formula(I))控制,而公式(II)则分别代表照相机的旋转和平移。

Description

基于四个特征点的头部动作测定方法
技术领域
本发明涉及基于面部图像的位置(例如眼睛和嘴角)来进行头部动作测定的系统和方法,更具体地说,本发明涉及一种基于四个(4)面部特征点来进行头部动作测定的线性方法。作为一个特别的例子,附加说明了一种基于四个面部特征点来进行头部姿态测定的算法。
背景技术
头部姿态识别是一个人机交互中的重要研究领域,已经提出许多头部姿态识别的方法。这些方法中的大多数都是利用某些面部特征来对面部建模。例如,大多数现有的方法都采用六个面部特征点,包括瞳孔、鼻孔和唇角来对面部建模,然而其他方法,正如在Z.Liu和Z.Zhang的题为“通过利用物理属性的健壮的头部动作计算(RobustHead Motion Computation by Taking Advantage of PhysicalProperties)”的文章中所提出的那样,运用了五个面部特征点包括眼睛和嘴角以及鼻尖,上述文章发表在人类动作专题学术讨论会会议论文集中,73-80页,奥斯汀,2000年12月(Proc.Workshop on HumanMotion,pp.73-80,Austin,December 2000)。在Zhang的文章中,通过非线性优化,头部动作可以由五个特征点测定。事实上,现有的用于面部姿态测定的算法都是非线性的。
迫切需要提供一种面部姿态测定的线性算法,并且与非线性解决方案相比要求较低的计算量。
更加迫切地需要提供一种面部姿态测定的线性算法,并且仅仅依赖于四个特征点,例如眼睛和嘴角。
发明内容
因此,本发明的一个目标是提供一种头部动作测定的线性算法。
本发明的进一步目标是提供一个头部动作测定的使用四个面部特征点的线性算法。
本发明的另一个目标是提供一种基于头部动作测定算法的头部姿态测定的算法。
按照本发明的原理,提供了一种基于面部特征数据来进行头部动作测定的线性方法,该方法包括以下步骤:获取第一幅面部图像并且在该第一幅图像中检测头部;在上述的第一幅面部图像中检测出四个点P的位置,这四个点为P={p1,p2,p3,p4},并且pk=(xk,yk);获取第二幅面部图像并且在该第二幅图像中检测头部;在第二幅面部图像中检测出四个点P’的位置,这四个点为P={p1’,p2’,p3’,p4’},并且pk’=(xk’,yk’);并且利用点P和P’测定头部的动作,该动作由旋转矩阵R和平移矢量T表示出来。头部动作测定由一个等式控制:
Pi’=RPi+T,其中: R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3 而且T=[T1 T2 T3]T分别代表照相机的旋转和平移,头部姿态测定是头部动作测定的一个特例。
根据本发明的一个方面,一种根据面部特征数据执行头部动作测定的线性方法,该方法包括如下步骤:
-获取第一幅面部图像,并在上述第一幅图像中检测头部;
检测上述的第一幅面部图像的四个点P的位置,其中P={p1,p2,p3,p4},并且pk=(xk,yk);
-获取第二幅面部图像,并且在上述第二幅图像中检测头部;
-检测上述第二幅面部图像的四个点P’的位置,其中P’={p1’,p2’,p3’,p4’},并且pk’=(xk’,yk’);
-计算三维(3-D)坐标P(x,y,z)和P’(x,y,z);并且,
-利用上述三维(3-D)坐标P(x,y,z)和P’(x,y,z)来确定头部的动作,该动作由旋转矩阵R和平移矢量T表示,其中在上述的第一幅面部图像中的上述四个点P和在上述第二幅面部图像中的四个点P’分别包括在第一幅和第二幅面部图像各自的每个眼睛和嘴的外角的位置。
根据本发明的另一个方面,一种根据面部特征数据来执行头部动作测定的线性方法,这种方法包括如下步骤:
-获取面部图像的四个点Pk的图像位置;
-确定旋转矩阵R,该旋转矩阵建立了点Pk到Fk的映射以便表征头部姿态,其中,点F1,F2,F3,F4分别表示上述面部图像的参考正视图中的四个点的三维(3-D)坐标,Pk是任意点的三维(3-D)坐标,
其中Pi=[Xi Yi Zi]T,上述的映射受下式控制:
R(P2-P1)∝[100]T
R(P6-P5)∝[010]T其中, R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3
其中p5和p6分别是连接点p1,p2的线段和连接点p3,p4的线段的中点,连接点p1,p2的线段垂直于连接点p5,p6的线段,并且∝表示一个比例因子,其中上述面部图像中的上述四个点P包括第一幅面部图像的每个眼睛和嘴的外角的位置。
有利的是,基于四个特征点的头部姿态测定算法可以被用于化身控制应用、视频聊天以及面部识别应用。
附图说明
在这里公开的本发明的细节将借助下面所列出的附图进行描述。在这些附图中:
附图1描述了一个典型头部的典型特征点的布局。
附图2描述给出了本发明的头部姿态测定算法的基础的面部几何图形10。
具体实施方式
按照本发明的原理,本发明提供了基于眼睛和嘴角的图像位置来测定头部动作的线性方法。更具体地说,本发明提供了当以一个正视图作为参考位置时,基于四点匹配的测定头部动作的方法,并以头部姿态测定作为一个特例。
本方法优于现有的其他方法,那些现有的其他方法或者需要更多的匹配点(至少七个),或者是非线性的而且需要至少五个面部特征匹配。
一般来说,头部动作测定的方法如下:第一步是获取第一幅图像I1并且在I1中检测头部。然后在I1中检测对应于眼睛和嘴的外角的点P,即P={p1,p2,p3,p4},其中pk=(xk,yk)表示出一个点的图像坐标。然后获取第二幅图像I2并且在I2中检测头部。然后在I2中检测对应于眼睛和嘴的外角的点P’,即,P’={p1’,p2’,p3’,p4’},其中pk’=(xk’,yk’)。基于P和P’,下一步就涉及到确定头部的动作,该动作由一个旋转矩阵R和一个平移矢量T表示出来。可以理解,一旦动作参数R和T被计算出来,所有匹配点的三维结构也可以被计算出来。然而,结构和平移之间仅存在一个固定比例,因此如果T的量值被固定了,那么结构只能被唯一地测定。如果在三维中一个点的深度被确定了,那么T也将被唯一地测定。
正如上面所提到的那样,头部姿态测定算法是头部动作测定算法的一个特例,由两种方法可以实现头部姿态测定:1)交互型,它需要一幅参考图像;2)近似型,它利用一个普通(平均生物统计学的)头部的几何学信息,也被称为普通头部模型(GHM)。
对于交互型算法,需要进行下述步骤:1)在使用这个系统之前,使用者需要在一个预先确定的参考位置面向照相机。按照上述的步骤获取参考眼睛和嘴角P0。2)当获取了一个新的图像以后,按照上述算法所述的剩余步骤检测出眼睛和嘴角,并且测定头部动作。3)头部旋转矩阵对应于头部姿态矩阵。
近似型算法并不需要与使用者之间的交互,但是它假定对于所有使用者而言某些生物统计学信息是可得到的和确定的。例如,附图1中描述了近似型算法,它包括表示典型头部19的典型特征点在照相机坐标系20(表示为Cxyz系统)中的布局。在附图1中,点P1和P3分别代表了普通头部模型19中的眼睛和嘴角。如附图1所示,很容易理解对于正视图而言,这些点P1和P3有不同的深度(分别对应Z1和Z3)。假设角度τ已知,并且在所有可能的人类头部上使用平均值。这并不是一个确切的值,但是精确地计算出这个斜度(倾斜)角是非常困难的,因为即使是同一个人在被要求直视照相机时,也会在重复试验中不同程度地歪斜头部。对于确定的角度τ,将基于仅仅一幅头部图像来唯一地测定头部姿态,这一点将在下文中更详细地加以解释。
为了描述的目的,假定一台照相机或者数字图像捕获装置已经在不同位置获取了一个头部模型的两幅图像。让点p1,p2,p3和p4表示第一幅图像中的眼睛(点p1,p2)和嘴角(点p3,p4)的图像坐标,让点p1’,p2’,p3’和p4’表示第二幅图像中的眼睛和嘴角的图像坐标。已知这些特征点的坐标,那么任务就是确定在第一幅和第二幅两幅图像间的头部动作(由旋转和平移表示)。
通常,该算法按下述步骤进行:1)使用面部约束,计算两幅图中特征点的三维(3-D)坐标,2)已知特征点的三维位置,计算动作参数(旋转矩阵R和平移矩阵T)。
下面将要描述本算法中计算特征点的三维坐标的步骤。正如在附图2中的面部几何图形10所表示的那样,点p1,p2,p3,p4和p1’,p2’,p3’,p4’的特征分别表示出在首两幅图像中眼睛和嘴角的三维坐标。对于附图2中所示的面部几何图形,假设下面的性质:1)连接点p1,p2的线段12平行于连接点p3,p4的线段15,即p1p2//p3p4;2)连接点p1,p2的线段12垂直于连接点p5,p6的线段(其中p5,p6分别是线段p1p2和p3p4的中点)。在数值上,性质1和性质2可以分别根据下面的方程(1)和方程(2)写出:
X 2 - X 1 X 4 - X 3 = Y 2 - Y 1 Y 4 - Y 3 = Z 2 - Z 1 Z 4 - Z 3 - - - ( 1 )
((P1+P2)-(P3+P4))·(P2-P1)=0               (2)
Pi=[Xi  Yi  Zi]T表示一个图像点Pi的三维坐标。图像和任意一点Pk的三维坐标之间的关系由下述公知的投影方程给出。
x k = X k Z k , y k = Y k Z k - - - ( 3 )
由于众所周知,单目图像系列的结构复原仅按照一个比例执行,一个Z坐标被确定了,其他坐标都可以根据这一个而计算出来。因此,为了简化计算,并且不影响其一般性,可以假设Z1=1。通过叉乘方程(1)并将(3)代入(1)中,下面的关系以方程(4)和方程(5)的形式给出:
z3[(x1-x3)-z2(x2-x3)]-z4[(x1-x4)-z2(x2-x4)]=0     (4)
z3[(y1-y3)-z2(y2-y3)]-z4[(y1-y4)-z2(y2-y4)]=0     (5)
当方程(4)和方程(5)以矩阵的形式给出,可以得到方程(6):
( x 1 - x 3 ) - Z 2 ( x 2 - x 3 ) - ( x 1 - x 4 ) + Z 2 ( x 2 - x 4 ) ( y 1 - y 3 ) - Z 2 ( y 2 - y 3 ) - ( y 1 - y 4 ) + Z 2 ( y 2 - y 4 ) Z 3 Z 4 = 0 0 - - - ( 6 )
当且仅当方程(7)中的行列式等于0时,这个方程将有一个非平凡的解Z3和Z4,即:
det ( ( x 1 - x 3 ) - Z 2 ( x 2 - x 3 ) - ( x 1 - x 4 ) + Z 2 ( x 2 - x 4 ) ( y 1 - y 3 ) - Z 2 ( y 2 - y 3 ) - ( y 1 - y 4 ) + Z 2 ( y 2 - y 4 ) ) = 0 - - - ( 7 )
等价地,方程(7)可以下述方程(8)的形式给出:
- Z 2 2 det ( ( x 2 - x 3 ) ( x 2 - x 4 ) ( y 2 - y 3 ) ( y 2 - y 4 ) ) + det ( ( x 1 - x 3 ) ( x 1 - x 4 ) ( y 1 - y 3 ) ( y 1 - y 4 ) ) - Z 2 ( det ( ( x 2 - x 3 ) ( x 1 - x 4 ) ( y 2 - y 3 ) ( y 1 - y 4 ) ) + det ( ( x 1 - x 3 ) ( x 2 - x 4 ) ( y 1 - y 3 ) ( y 2 - y 4 ) ) ) = 0 - - - ( 8 )
方程(8)是一个二次多项式,它有两个解。很容易验证(即代入方程(7)中)有一个平凡解是Z2=1,第二个解是:
Z 2 = det ( ( x 1 - x 3 ) ( x 1 - x 4 ) ( y 1 - y 3 ) ( y 1 - y 4 ) ) det ( ( x 2 - x 3 ) ( x 2 - x 4 ) ( y 2 - y 3 ) ( y 2 - y 4 ) ) . - - - ( 9 )
通过将Z2代入方程(4)和方程(5)中的任意一个,都可以得到Z3和Z4的一个线性方程。另一个方程是把(3)代入(2),它的形式是:
Z 3 P h 3 T ( P 1 - P 2 ) + Z 4 P h 4 T ( P 1 - P 2 ) = | | P 1 | | 2 - | | P 2 | | 2 - - - ( 10 )
在这里Phi=[xi yi 1]T。Z3和Z4现在就可以从方程(10)和(4)中解出。
很明显,头部点的动作可以由方程(11)表达。
P i 1 = R P i + T - - - ( 11 )
其中 R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3 和T=[T1 T2 T3]T分别代表照相机的旋转和平移。方程(11)可以以R和T写作:
P i T 0 T 0 T 1 0 0 0 T P i T 0 T 0 1 0 0 T 0 T P i T 0 0 1 r 1 r 2 r 3 T = P i 1 - - - ( 12 )
从方程(12)中我们可以观察到:每一对点将产生三个方程。由于未知数的总数量是12,所以至少需要四对点来线性地解旋转和平移方程。
应当理解,矩阵R中的元素并非独立的(即,RRT=I),因此一旦矩阵R被解出,它需要被修正以使它能代表真正的旋转矩阵。修正的进行可以通过采用奇异矩阵值分解的方法(SVD)把R分解为R=USVT的形式,根据下面方程(13)计算一个新的旋转矩阵:
R=UVT                                  (13)
众所周知,“头部姿态”可以唯一地由一组中的三个角度(偏转,滚动和歪斜)表示,或者可以由一个旋转矩阵R表示(已知在旋转矩阵和姿态角度之间存在一一对应关系)。交互型头部姿态测定等价于头部动作测定,然而近似型头部姿态测定可以通过分解为两步骤来加以简化,如下所述:1)假设使用者歪斜他/她的头部从而使得嘴角和眼睛与照相机的距离相等(z1=Z2=Z3=Z4),这是一个辅助参考位置(ARP);2)计算相对于ARP的头部姿态;3)仅仅通过从ARP的值中减去τ来更新倾斜角。
旋转矩阵R可以如下表示:
R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3
它满足条件RRT=I,或者可以等价表示为:
r i T r j = { 1 , i = j 0 , i ≠ j - - - ( 14 )
令F1,F2,F3,F4表示面部的参考正视图中眼睛和嘴角的三维坐标。然后,考虑到面部几何约束和上述的约束1),可以得到遵循方程(15)的关系,如下所示:
F2-F1∝[100]TF6-F5∝[010]T               (15)
在这里符号∝的意思是“按照一个比例”或成比例的。本发明所要实现的目标是找到一个姿态矩阵R从而建立从点Pk到Fk的映射,即:
R(P2-P1)∝[100]T
R(P6-P5)∝[010]T            (16)
根据旋转矩阵的行,方程(16)可以被写作:
r2 T(P2-P1)=0
r3 T(P2-P1)=0
r1 T(P6-P5)=0
r3 T(P6-P5)=0
从式(17)中的第二个和第四个方程,r3可以按照下式算出:
r3=(P6-P5)×(P2-P1)                (18)
旋转矩阵中的剩余成分可以从式(14)和(17)中计算出来:
r2=r3×(p2-p1)                     (19)
r1=r2×r3
从方程(19)可以直接计算出偏转、滚动和歪斜的角度。从现有值中减去τ即可得到真正的倾斜角。
虽然已经示意和描述本发明的优选实施例,但是在不背离本发明的原理的情况下,很容易对于形式和细节进行各种各样的修改和变化,这一点很容易理解。因此本发明不应该被限制在所描述和说明的确定的形式,而应该覆盖所有的落入附加的权利要求书范围内的修改。

Claims (15)

1.一种根据面部特征数据执行头部动作测定的线性方法,该方法包括如下步骤:
-获取第一幅面部图像,并在上述第一幅图像中检测头部;
检测上述的第一幅面部图像(10)的四个点P的位置,其中P={p1,p2,p3,p4},并且pk=(xk,yk);
-获取第二幅面部图像,并且在上述第二幅图像中检测头部;
-检测上述第二幅面部图像的四个点P’的位置,其中P’={p1’,p2’,p3’,p4’},并且pk’=(xk’,yk’);
-计算三维3-D坐标P(x,y,z)和P’(x,y,z);并且,
-利用上述三维3-D坐标P(x,y,z)和P’(x,y,z)来确定头部的动作,该动作由旋转矩阵R和平移矢量T表示,其中在上述的第一幅面部图像(10)中的上述四个点P和在上述第二幅面部图像中的四个点P’分别包括在第一幅和第二幅面部图像各自的每个眼睛和嘴的外角的位置。
2.如权利要求1所述的线性方法,其中上述头部动作测定受下式控制:
Pi’=RPi+T,其中 R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3 表示照相机的旋转
和T=[T1  T2  T3]T表示平移,
上述的头部姿态测定是头部动作测定的一个特例。
3.如权利要求2所述的线性方法,其中上述的头部动作测定受上述的旋转矩阵R控制,上述方法进一步包括确定旋转矩阵R的步骤,该旋转矩阵R将点Pk映射到Fk,用于表征头部姿态,其中,点F1,F2,F3,F4表示上述面部图像的参考正视图中相应的四个点的三维3-D坐标,Pk是任意点的三维3-D坐标,其中Pi=[Xi  Yi  Zi]T,上述的映射受下面的关系控制:
R(P2-P1)∝[1 0 0]T
R(P6-P5)∝[0 1 0]T
其中p5,p6分别是连接点p1,p2的线段(12)和连接点p3,p4的线段(15)的中点,连接点p1,p2的线段垂直于连接点p5,p6的线段,并且∝表示一个比例因子。
4.如权利要求3所述的线性方法,其中分量r1,r2,和r3按下式计算:
r2 T(P2-P1)=0
r3 T(P2-P1)=0
r1 T(P6-P5)=0
r3 T(P6-P5)=0
5.如权利要求4所述的线性方法,其中分量r1,r2,和r3按下式计算:
r3=(P6-P5)×(P2-P1),
r2=r3×(P2-P1)
r1=r2×r3
6.如权利要求2所述的线性方法,其中
P i T O T O T 1 0 0 O T P i T O T 0 1 0 O T O T P i T 0 0 1 r 1 r 2 r 3 T = P i ' ,
每一对点产生三个方程,由此至少需要四对点来线性地求解上述的旋转和平移。
7.如权利要求6所述的线性方法,进一步包含步骤:利用奇异值分解SVD来分解上述的旋转矩阵R,以便获得R=USVT的形式。
8.如权利要求6所述的线性方法,进一步包含根据R=UVT计算一个新的旋转矩阵的步骤。
9.一种根据面部特征数据来执行头部动作测定的线性方法,这种方法包括如下步骤:
-获取面部图像(10)的四个点Pk的图像位置;
-确定旋转矩阵R,该旋转矩阵建立了点Pk到Fk的映射以便表征头部姿态,其中,点F1,F2,F3,F4分别表示上述面部图像的参考正视图中的四个点的三维3-D坐标,Pk是任意点的三维3-D坐标,其中Pi=[Xi  Yi  Zi]T,上述的映射受下式控制:
R(P2-P1)∝[1 0 0]T
R(P6-P5)∝[0 1 0]T  其中, R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3
其中p5和p6分别是连接点p1,p2的线段(12)和连接点p3,p4的线段(15)的中点,连接点p1,p2的线段垂直于连接点p5,p6的线段,并且∝表示一个比例因子,其中上述面部图像(10)中的上述四个点P包括第一幅面部图像的每个眼睛和嘴的外角的位置。
10.如权利要求9所述的线性方法,其中分量r1,r2,和r3按下式计算:
r2 T(P2-P1)=0
r3 T(P2-P1)=0
r1 T(P6-P5)=0
r3 T(P6-P5)=0
11.如权利要求10所述的线性方法,其中分量r1,r2,和r3按下式计算:
r3=(P6-P5)×(P2-P1),
r2=r3×(P2-P1)
r1=r2×r3
12.如权利要求11所述的线性方法,其中头部点的运动根据下式表示:
Pi’=RPi+T,其中 R = r 1 T r 2 T r 3 T = [ r ij ] 3 × 3
代表图像旋转,T=[T1  T2  T3]T代表平移,Pi’表示另一幅面部图像中的四个点Pk的三维图像位置。
13.如权利要求12所述的线性方法,其中
P i T O T O T 1 0 0 O T P i T O T 0 1 0 O T O T P i T 0 0 1 r 1 r 2 r 3 T = P i ' ,
每一对点产生三个方程,由此至少需要四对点来线性地求解上述的旋转和平移。
14.如权利要求13所述的线性方法,进一步包含步骤:利用奇异值分解SVD来分解上述的旋转矩阵R,以便获得R=USVT的形式。
15.如权利要求14所述的线性方法,进一步包含根据R=UVT计算一个新的旋转矩阵的步骤。
P’={p1’,p2’,p3’,p4’},pk’=(xk’,yk’)
CNB028190475A 2001-09-28 2002-09-10 基于四个特征点的头部动作测定方法 Expired - Fee Related CN1316416C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/966,410 2001-09-28
US09/966,410 US7027618B2 (en) 2001-09-28 2001-09-28 Head motion estimation from four feature points

Publications (2)

Publication Number Publication Date
CN1561499A CN1561499A (zh) 2005-01-05
CN1316416C true CN1316416C (zh) 2007-05-16

Family

ID=25511358

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028190475A Expired - Fee Related CN1316416C (zh) 2001-09-28 2002-09-10 基于四个特征点的头部动作测定方法

Country Status (8)

Country Link
US (1) US7027618B2 (zh)
EP (1) EP1433119B1 (zh)
JP (1) JP2005505063A (zh)
KR (1) KR20040037152A (zh)
CN (1) CN1316416C (zh)
AT (1) ATE349738T1 (zh)
DE (1) DE60217143T2 (zh)
WO (1) WO2003030086A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218774B2 (en) * 2003-08-08 2007-05-15 Microsoft Corp. System and method for modeling three dimensional objects from a single image
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
WO2005103616A1 (fr) * 2004-04-27 2005-11-03 Gennady Anatolievich Gienko Procede de mesure stereoscopique des coordonnees des points de photos et dispositif correspondant
CN100358340C (zh) * 2005-01-05 2007-12-26 张健 可选择最佳拍照时机的数码相机
WO2010022351A2 (en) 2008-08-22 2010-02-25 University Of Virginia Patent Foundation System and method for low bandwidth image transmission
CN101697199B (zh) * 2009-08-11 2012-07-04 北京盈科成章科技有限公司 头面部动作检测方法及应用该方法操控计算机的助残系统
US8363919B2 (en) * 2009-11-25 2013-01-29 Imaging Sciences International Llc Marker identification and processing in x-ray images
US9826942B2 (en) * 2009-11-25 2017-11-28 Dental Imaging Technologies Corporation Correcting and reconstructing x-ray images using patient motion vectors extracted from marker positions in x-ray images
US9082182B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Extracting patient motion vectors from marker positions in x-ray images
US9082177B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for tracking X-ray markers in serial CT projection images
US9082036B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for accurate sub-pixel localization of markers on X-ray images
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US8964041B2 (en) * 2011-04-07 2015-02-24 Fr Vision Ab System and method for video stabilization of rolling shutter cameras
CN102842146B (zh) * 2011-06-25 2015-01-07 湖南大学 一种基于构造分解法的运动数据转换方法
CN102289844B (zh) * 2011-07-18 2013-11-06 中国科学院自动化研究所 一种三维图像尺度不变特征的候选点选取方法
US8803800B2 (en) * 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9020192B2 (en) 2012-04-11 2015-04-28 Access Business Group International Llc Human submental profile measurement
CN102999164B (zh) * 2012-11-30 2016-08-03 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
KR102085180B1 (ko) * 2013-10-08 2020-03-05 삼성전자주식회사 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
CN106774936B (zh) * 2017-01-10 2020-01-07 上海木木机器人技术有限公司 人机交互方法及系统
WO2019000462A1 (zh) * 2017-06-30 2019-01-03 广东欧珀移动通信有限公司 人脸图像处理方法、装置、存储介质及电子设备
WO2019073732A1 (ja) * 2017-10-10 2019-04-18 株式会社 資生堂 ストレスの評価方法
US10373332B2 (en) * 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
CN114007054B (zh) * 2022-01-04 2022-04-12 宁波均联智行科技股份有限公司 车载屏幕画面投影矫正的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001063560A1 (en) * 2000-02-22 2001-08-30 Digimask Limited 3d game avatar using physical characteristics

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5586215A (en) * 1992-05-26 1996-12-17 Ricoh Corporation Neural network acoustic and visual speech recognition system
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001063560A1 (en) * 2000-02-22 2001-08-30 Digimask Limited 3d game avatar using physical characteristics

Also Published As

Publication number Publication date
KR20040037152A (ko) 2004-05-04
DE60217143T2 (de) 2007-10-04
ATE349738T1 (de) 2007-01-15
EP1433119B1 (en) 2006-12-27
EP1433119A1 (en) 2004-06-30
DE60217143D1 (de) 2007-02-08
US7027618B2 (en) 2006-04-11
CN1561499A (zh) 2005-01-05
JP2005505063A (ja) 2005-02-17
US20030063777A1 (en) 2003-04-03
WO2003030086A1 (en) 2003-04-10

Similar Documents

Publication Publication Date Title
CN1316416C (zh) 基于四个特征点的头部动作测定方法
CN101093582B (zh) 动作捕捉装置和动作捕捉方法
Basu et al. 3D modeling and tracking of human lip motions
EP1870856B1 (en) Information-processing method and apparatus for calculating information regarding measurement target on the basis of captured images
US7894636B2 (en) Apparatus and method for performing facial recognition from arbitrary viewing angles by texturing a 3D model
US8295614B2 (en) Collation apparatus and collation method
WO1999015945A2 (en) Generating three-dimensional models of objects defined by two-dimensional image data
CN106157372A (zh) 一种基于视频图像的3d人脸网格重构方法
CN110520905B (zh) 人脸姿势矫正装置及方法
CN104221054A (zh) 人物属性推定系统及学习用数据生成装置
CN109446892A (zh) 基于深度神经网络的人眼注意力定位方法及系统
CN110074788B (zh) 一种基于机器学习的身体数据获取方法和装置
Sung et al. Pose-Robust Facial Expression Recognition Using View-Based 2D $+ $ 3D AAM
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
Suetens et al. Statistically deformable face models for cranio-facial reconstruction
CN107357426A (zh) 一种用于虚拟现实设备的体感控制方法
CN105139007A (zh) 人脸特征点定位方法和装置
Ilg et al. Estimation of skill levels in sports based on hierarchical spatio-temporal correspondences
Wang et al. Automatic non-rigid registration of 3d dynamic data for facial expression synthesis and transfer
Lowe Fitting parameterized 3-D models to images
Costen et al. Simultaneous extraction of functional face subspaces
JP4292678B2 (ja) 点群に面をフィッティングする方法および装置
CN109671108B (zh) 一种平面内任意旋转的单幅多视角人脸图像姿态估计方法
US20230351713A1 (en) Annotation of 3d models with signs of use visible in 2d images
Le et al. A quantitative evaluation for 3d face reconstruction algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee