首页| 行业资讯| 企业名录| 周边产品| 数字城市| 增强现实| 工业仿真| 解决方案| 虚拟医疗| 行业仿真| 图形处理| 军事战场
用户登录/注册 ×
资讯首页
行业资讯 >> 专业文献
基于三维人脸特征的服装个性化推荐及虚拟展示
时间:2019-11-20    评论:0
    来源:第三维度
    作者:吕海清,朱欣娟,赵雪青,石美红
    单位:西安工程大学计算机科学学院

    摘要:针对目前服装定制系统未能依据用户个人体貌特征给出服装推荐建议的现状,提出了一种基于三维人脸特征的服装个性化推荐及虚拟展示方法.采用主动外观模型提取正面人脸图像的关键特征点,并基于三维变形模型生成客户的个性化三维人脸.定义了客户脸型和肤色划分及计算方法,依据客户体型、脸型和肤色等体貌特征,结合文中给出的服装推荐规则,实现了服装的个性化推荐.基于 Unity3D平台,实现了基于三维人脸特征的服装个性化推荐及虚拟展示原型系统,客户还可以在线与系统交互,自主选择服装款式及面料,系统实时展示服装着装效果,为服装个性化定制提供了理论和技术支持.

    0 引 言

    如今网络购物已经非常普遍,但大多服装销售网站只提供服装的整体款式及尺码的选择,用户的个性化特征不够,满足不了客户的个性化需求.为了迎合消费者的需求,许多企业顺应时代发展,如 Levis的“个人牛仔裤”计划、BABIE的“设计实验室”[3]以及红领集团的个性化定制平台[4]等.而目前的服装定制系统大多要求用户在众多款式中去选择,消费者往往不知道哪款更适合自己,选择时会感到很迷茫.人们在购买服装的时候试穿的目的有2个,一个看是否合体,另外看是否和自己的体貌、气质是否匹配.因此,本系统依据用户个人体貌特征给出服装推荐建议,并将个性化推荐与服装定制结合起来,为顾客提供服装个性化定制服务.

    人类个体间的差别主要由人脸的差异辨别,脸部拥有丰裕的特征信息,涉及五官比例、轮廓、脸型、表情、肤色、表面凹凸程度等,是最能表征人物个性的器官.因次,客户的真实感人脸是面向定制的虚拟服装展示系统提供个性化服务的重要依据.人脸的计算机模拟一直是计算机图形图像学最困难和最具挑战性的问题之一.自从 Parke在20世纪70年代创建出首例脸部模型[5]之后,三维人脸建模一直是学术界的研究热点.目前,真实感人脸建模在影视制作、计算机游戏、医学美容、广告宣传以及公安安全等领域都有较好的应用前景.

    人体面部的三维数据是建立个性化人脸模型的基础.总体上来讲,目前获取人脸的三维数据大致可分为以下两种途径[6]:第一类是采取三维扫描仪等较复杂的硬件装置,辅以一些较简单的算法来获得取人脸的几何和纹理数据;第二类是通过普通的相机获取人脸图像,采用比较复杂的图形处理结合计算机视觉算法得到人脸数据.而根据数据采集数量的不同,可以将这些算法分成两类:基于单目摄像机和多目摄像机的方法,其中,基于单目摄像机是时下的研究热点,较为成功的个性化三维人脸建模方法包括基于一般人脸的三维变形模型.该模型采用从多视角人脸图像恢复人脸特征来变形一般人脸模型得到特定三维人脸.

    比较典型的有 Guente[7]、Pighin[8]、Lees[9]等人的工作.中国科学院计算技术研究所[10]以及浙江大学[11]等科研机构也对这种方法进行了研究.以三维原型库为基础的形变模型是近些年来新出现的人脸建模方法.

    Vetter[12]等人在这领域进行了深入和广泛的研究,并建立了三维人脸数据库,实现了基于一幅人脸图像获得个性化三维人脸模型.

    本文主要从个性化人脸生成、三维虚拟展示以及服装个性化推荐三方面进行了研究,并构建了面向定制的服装个性化推荐及虚拟展示系统.该系统基于三维人脸变形模型(3D MorphableModel,3DMM)[13]生成客户的个性化三维人脸,为客户提供了强大的个性化服务.本系统基于 Unity3D平台结合虚拟展示及增强现实技术,构建出逼真的三维虚拟展示场景,增强了客户的真实体验.基于客户的个性化人脸信息,在系统初始三维服装虚拟展示界面进行服装的个性化推荐,并且允许客户在推荐的基础上自主选择服装款式及面料,实现了定制效果实时展示的交互式服装设计.

    1 形变模型及人脸特征点标记

    系统基于3DMM 生成顾客的个性化人脸,3DMM 需构建平均人脸模型,之后基于主动外观模型(Active Appearance Model,AAM)标记的人脸特征点对该平均人脸进行形变来得到目标人脸模型[14].其中平均人脸模型可通过结构光系统或者激光扫描来获取多个三维人脸数据样本,之后对样本进行一系列处理来得到.

    1.1 三维人脸形变模型

    基于三维人脸数据库构建人脸基底是3DMM 的基础.本文采用Surrey人脸模型[15]作为3DMM 的人脸基底,Surrey人脸模型基于2dMDface[16]相机系统对来自世界各地不同年龄段的169个人进行面部扫描构建的三维人脸数据库.3DMM 把所有人脸近似看成一个线性空间,由于人脸存在个性化差异,需将三维人脸数据进行三维柱面展开,再根据人脸特征分块进行重采样,归一化处理二维柱面展开人脸来实现稠密对应[17],进而构建出人脸线性空间基底及一般平均脸模型.空间三维顶点与柱面展开图是相对应的,经过重采样后人脸样本也具有了相同的拓扑结构,实现了基于人脸特征的稠密对齐.所有三维人脸由统一的几何形状向量和纹理向量表示,几何形状向量S∈R3N 包含人脸上点的x,y,z 坐标,纹理向量T∈R3N 包含每顶点的 R、G、B颜色信息,其中 N 是人脸样本的顶点数量,本文选取 N=3448.

    3DMM 由主成分分析(Principal Component Analysis,PCA)[18]形状模型和 PCA 纹理模型组成.在3DMM 中,一般人脸基底由形状向量Si 和纹理向量Ti 构成,目标人脸的几何形状Smodel 和纹理Tmodel 分别可用式(1)和(2)进行线性表示.


    其中,n为人脸样本数量,m 是能捕获95% 差异的主成分数量,,α=(α1,α2,…,αm )T 与β=(β1,β2,…,βm )T是组合系数且满足高斯分布.因此只要确定模型组合系数α,β 便可得到目标人脸模型.

    1.2 人脸特征点标记

    本文采用IBUG 二维人脸数据库[19],利用 AAM[20]实现对输入图像面部特征点的自动标定[21].IBUG人脸数据库中包含了135张人脸图片,每张图片被标记了68个人脸特征点[22],并存储于.pts文件中.AAM 算法实现主要分为模型建立和模型匹配两个阶段.其中模型建立阶段主要是对训练样本构建 PCA形状模型和 PCA 纹理模型,并将两个模型组合成 AAM 模型.模型匹配阶段是在当前图像中根据建好的AAM 模型寻找最匹配的目标的过程.AAM 采用一定的权值融合形状和纹理的特征,得到的外观模型如公式(3)和(4)所示


    其中,C 是外观参数,能同时控制人脸模型形状和纹理的变化,对人脸数据归一化后采用主成分分析,得到平均形状S0,平均纹理A0(x),Qs 是训练集中人脸形状子空间对应的投影矩阵,Qg 是纹理子空间对应的投影矩阵.

    人脸特征点定位就是把输入图像与公式(3)和(4)得到的 AAM 实例最优化匹配的过程.两者间的匹配误差可以通过能量函数(5)来衡量:


    其中A(x)为S0 对应模板实例中像素点x 的纹理值,W(x,p)是模板像素点x 经分段线性仿射后在输入图像中的对应位置,I(W(x,p))为输入图像中像素点 W(x,p)的纹理值.依据反向组合算法[23] 对公式(5)的泰勒展开式进行非线性最优化求解,使得外观系数C 的匹配误差最小,即完成了目标人脸特征点的标记,见图1.

图 1 人脸68个特征点的标记

    2 三维人头模型重建

    2.1 三维人脸重建

    采用摄像机标定对3DMM 中的一般平均人脸模拟拍照后的特征点与输入图像对应特征点间的距离来构建代价方程,并迭代求解使得距离最小的形变系数,把平均人脸变形成目标人脸.本文使用内外参数对相机进行描述:


    其中C 为相机数量,fc 为相机焦距,pc (Px ,Py)为主点坐标,tc 为平移变量,rc (rx ,ry,rz)为旋转变量.本文把rc 对应的旋转矩阵记为正交矩阵R.则三维空间中的任意一点(x,y,z)T 经过相机的内外参数作用后[22] 有


    之后综合形状信息、特征标记点和纹理差异三组数据得出最终的代价方程:


    其中c为二维图片数量,本文实验采用正面和左右45° 三张图片故c 为1到3,ρ 为相机参数;Ep(α)=为 形 状 相 关 量,α 为 人 脸 基 底 系 数,σ 为 人 脸 形 状 向 量 的 协 方 差 矩 阵;Ecl (pc ,α)=为特征标记点控制量,其中li 为三维人脸数据的坐标,pi 为二维人脸数据的坐标;给定变形模型 Md,则纹理差异控制量为


    其中c,c’分别代表两台相机,I 为图像的纹理信息(当输入灰度图像I表示灰度值,输入彩色灰度图像I 表示 RGB值).

    最后 采 用 Levenberg-Marquardt算 法[24]对 人脸基底的代价方程(8)逐步迭代优化求解,从而求出人脸基底关于目标人脸的各项系数,再对人脸基底进行线性组合便可重建个性化三维人脸,结果如图2(a)和(b)所示.

(a)正面人脸图         (b)侧面人脸图 
图 2 重建后的三维人脸

    图3描述了个性化三维人脸的算法实现过程.在启动人脸建模软件之前,会在线下提前完成二维人脸点分布模型和三维人脸点分布模型的训练.系统实时拟合人脸时,首先采用 AAM进行68个人脸特征点标记.然后,基于一般人脸模型拟合3DMM,得到形状和 姿 态 的 参 数 估 计.在 此 基 础上,通过 AAM 和 等 距 离 映 射 算 法构建三维的 AAM 人脸网格和三维的面部纹理,最后渲染生成个性化3D 人脸.个性化三维人脸建模已集成到我们的系统软件包中.

图 3 三维人脸建模的算法实现过程

    2.2 人脸与后脑的拼接

    真实感三维模型是虚拟展示的基础.本文在 3ds Max 中利用多边形方法 对 通 用 后 脑 进 行 建 模.然 后将3DMM 中一般人脸的obj文件导入到3dsMax中,通过对后脑模型的移动、旋转和缩放等操作使得人脸与后脑模型的位置基本匹配并将其导入到 unity中,基于 Hermite插值[25]% 实现人脸与后脑模型拼接和融合.首先要分别提取个性化人脸与通用后脑网格模型的边界点集Qi(i=0,1,2,…,m.m >2),构造出两条插值边界点的二次B 样条曲线.求解公式(9)的线性方程组,即可得到二次B 样条曲线控制顶点P0,P1,P2,…,Pm .


    求出控制顶点,进而得到两条 B 样条边界曲线C1(u)和 C2(u),并确定曲线的切向量 T1(u)和T2(u),使用三阶 Hermite函数经插值求得经过曲线C1(u)和C2(u)并符合切线方向的光滑曲面S(u,v),见公式(10)[25]:


    其中 F1(t)、F2(t)、F3(t)、F4(t)为三阶 Hermite基函数.

    对S(u,v)进行顶点釆样,再将点三角形处理即可得到曲面的网格表示.最后对过渡网格曲面使用Laplacian算子进行平滑处理,即可完成融合[26],融合后的个性化三维人脸结果如图4所示.

图 4 融合后的个性化 三维人脸

    3 服装款式智能推荐

    3.1 用户个性化特征提取

    系统根据客户注册信息生成的体型,以及扫描人脸得到的脸型和肤色,对西装款式及面料进行个性化推荐.因此需对客户的体型、肤色和脸型进行划分.

    客户体型划分:体型对西装款型及领型的搭配有重要的影响.根据 BMI(BodyMassIndex)身体质量指数把体型分为偏瘦体、标准体、偏胖体3种.BMI是国际上常用的衡量人体肥胖程度重要标准,设体重为 W ,身高为 H,BMI指数为 N,则有N =W/H2 .若客户的BMI指数 N 小于18.5,则为偏瘦体;若客户的 BMI指数为18.5≤T<24.9,则为标准体;若 N 超过24.9,则为偏胖体.

  客户肤色划分:肤色直接影响西装面料的色系.根据色彩理论学把客户的肤色分为白皙型、标准型、偏黑型3类.主要是采用 YCbCr 椭圆肤色模型[27]计算客户个性化三维人脸纹理的平均肤色,用平均肤色的Cr 和Cb 值来划分客户的肤色类型.当满足50<Cr<80且40<Cb<60时,定义肤色为白皙型;75<Cr<135且60<Cb<95时,为标准型;130<Cr<200且90<Cb<150时,为黝黑型[28].

    客户脸型划分:脸型会直接影响西装的领型选择.基于人体测量学计算根据相关特征点来计算颌面指数[29],进而将客户脸型划分为三角脸、椭圆脸、圆脸和方脸4种.人脸扫描时标定的68个人脸特征点顺序及人脸参数测量方法如图5所示.


    其中:面宽为两侧颧点间距;形态面宽为鼻根点与颏下点间距;下颌间宽为两侧下颌角点间距.

图 5 人脸参数测量方法

    3.2 西装推荐知识库及机理设计

    服装推荐知识库由事实库和规则库两部分构成,其中事实库存储西装各组件的款式和面料信息,如青果领或平驳头等领型,不同纹理、色系、材质的布料等.另外还存储着客户身高、体重、脸型和肤色等个人信息.规则库是服装各组件基因组合的相关规则和服装信息与客户信息间搭配的规则集合等[30].

    推荐机理是专家系统的“大脑”,可以模拟服装设计师的思维过程.采用产生式规则的知识表示方式,IFPTHEN Q,P是产生式的前提,Q 是一组结论或操作.通过梳理文献并与服装设计师沟通,整理出西装推荐规则知识库,表1列出了知识库的部分规则,同时构建西装推理树如图6所示,表1中的类别对应图6推理树的具体项.如表1的R2 表示产生式规则:IF体型=‘偏瘦体’AND 脸型=‘三角脸’THEN 领型=‘戗驳头’.

表 1 西装样式推荐部分规则

    按照图6(a)的推理树结合表1的规则即可得到适合该客户的西装款式.同理,基于已知款式、客户体征及定制季节,按照图6(b)的服装面料推理树并结合推理规则对西装面料进行个性化推荐.

(a)服装款式推理      (b)服装面料推理树 
图 6 西装推理树 

    4 服装个性化推荐及虚拟展示原型系统

    基于 Unity3D技术[31]实现三维服装的虚拟展示,其关键技术具体包括 Web与 Unity3D的交互技术,Unity3D 交互技术,动态加载个性化服装面料及贴图技术、外观实时更新等.Unity3D 交互技术包括服装模型的缩放及旋转,服装款式要素的变换等[32].Web与 Unity3D 的交互技术通过JSON 解 析 完 成 服 务 器 端 与 客 户 端 数 据 的 交换,实现了实时定制服装款式,并结合 Unity3D交互技术完成服装的外观设计.贴图素材存储在服务器上,采用 WWW 方式的http协议从服务器上加载素材资源.在需要给模型换贴图的时候,只需要将加载到的面料素材赋给材质球,即可完成模型材质贴图的更换,实现了服装面料外观的实时更新.系统的功能架构如图7所示.

图 7 系统的功能架构图

    图7展示了基于三维人脸特征的服装个性化推荐及虚拟展示系统的功能框架,服务器端有服装属性数据库、用户订单及信息数据库、推荐知识数据库和资源数据库.用户订单及信息数据库包含订单信息及用户的脸型、肤色、体型等个人信息.推荐知识数据库存放服装样式推荐的一些规则知识.资源数据库包括客户个性化三维人脸库、服装各组件款式库和面料库,分别以obj文件、Unity3D 资源包和图片文件的格式存放.客户端主要由面向定制的服装个性化推荐及虚拟展示系统和后台数据管理系统两个子系统构成.

    其中基于三维人脸特征的服装个性化推荐及虚拟展示系统采用的是 B/S架构,用户可以通过摄像头进行面部扫描,进而得到个性化三维人头,系统根据客户的个人信息,在服装虚拟展示界面个性化推荐西装样式.如果用户对推荐的款式或面料不太满意,可以对其进行选择修改,如领型、前门襟和袖扣及布料、缝纫线等属性的改变[33].后台素材信息管理系统采用的是 C/S架构,主要是对推荐知识数据库、服装各组件的模型及属性信息、面料信息和订单信息等的管理.

    用户面部扫描生成个性化人头后,服装交互式设计与虚拟展示的主要界面如图8和图9所示.

图 8 服装交互式设计与虚拟展示的主要界面

图 9 西装模型面料变换效果显示

    用户正面摄像头,只需平缓转动头部便可得到用户的个性化三维人脸模型.根据用户的个性化三维人脸等特征信息系统会自动计算出客户脸型、肤色、体型,并在图7的虚线区域③处个性化推荐统西装样式.

    同时可以通过操作标记为⑥的滑动条来放大和缩小西装模型,并通过点击图8中标有⑤的旋转按钮进行西装的360度观察.如果客户对推荐西装的某组件款式不满意,可在线自主选择其它款式.根据①中选择的组件款式,对区域③中的西装模型进行实时更改.用户可在图8中虚线区域②选择西装组件进行面料定制,还可定制扣子样式及缝纫线颜色(图9)等.

    5 结束语

    本文提出了一种基于三维人脸特征的服装个性化推荐及虚拟展示方法,构建了服装推荐知识库,依据知识库中的专家经验和知识,结合用户个性化人脸特征进行服装款式推荐.用户还可在推荐的样式基础上,自主定制西装的款式及面料.系统将个性化推荐与定制相结合,既能方便客户定制,又能让其参与定制过程,进一步满足客户的个性化需求.未来的工作主要集中在完善用户的个性化体貌特征,如发型、体型信息,增加虚拟展示场景的着装场合选择,为用户的个性化三维人体模型加入走台动作,提高用户的真实体验感.

    参考文献(略)
标签:服装人脸Unity
上一篇:水轮机叶片热模压成型过程仿真及残余应力分析下一篇:内河船舶操纵模拟器视景系统的建模与仿真
网友评论:基于三维人脸特征的服装个性化推荐及虚拟展示
留名: 验证码:
最新评论
查看全部评论0
暂无评论
您可能还需要关注一下内容:
·基于Unity3D的气相色谱仪虚拟仿真实验系统的构建
·基于Unity3D的可变视点数裸眼立体图像合成算法
·基于Unity3D的火炮外弹道虚拟视景仿真系统
·Unity 3D HoloLens 2开发初窥
·使用Unity3D和HTC VIVE实现下颌骨虚拟手术
·Unity将MARS AR/MR工具扩展到Magic Leap和HoloLens
·基于虚拟现实的实物建材快速搭配仿真方法
·基于Unity3D的撒肥机三维建模与作业环境仿真平台的搭建
·基于洪水模拟和预报的三维仿真系统设计
·人脸空间姿态跟踪简介
☏ 推荐产品

小宅 Z5 2018青春版
商家:小宅

杰瑞特运动平台
商家:杰瑞特智能

Dikalis眼动追踪
商家:赢富仪器

魔神 Hawk
商家:魔神运动分析

5DT Binoculars
商家:四维宇宙

Christie DS+750
商家:四维宇宙

Zalman M220W
商家:四维宇宙

全息360°
商家:四维宇宙

PD F10 AS3D
商家:四维宇宙

PHANTOM系列
商家:四维宇宙
☞ 外设导航
☏ 企业名录
【宁波】宁波维真显示科技股份有限公司
【潍坊】歌尔股份有限公司
【上海】霍尼韦尔(中国)有限公司
【北京】科视Christie-中国
【北京】北京华如科技股份有限公司
【北京】北京乐卡仕技术有限公司
【广州】广州弥德科技有限公司
【上海】刃之砺信息科技(上海)有限公司
【北京】北京度量科技有限公司
【北京】北京小鸟看看科技有限公司
关于本站联系我们融资计划免责声明网站建设广告服务咨询策划行业推广
北京第三维度科技有限公司 版权所有 京ICP备15051154号-3
2008-2020 Beijing The third dimension Inc. All Rights Reserved.
Email:d3dweb@163.com  QQ:496466882
Mob:13371637112(24小时)
关注虚拟现实
关注第三维度