基于MobileNet-V2眼镜虚拟试戴

 摘要 随着互联网的不断发展,人们在商品时的选择变得不再单一,可以在实体店中购买,也可以在网上购买,网上购买商品成为更多人的选择,虚拟试戴技术应运而生。在当今社会全球近视患者占全球人口比例达到 22%,中国是近视眼患病大国,近视人群比例达到 47%,眼镜成为拯救近视患者的方法之一。基于这一现状人们对于眼镜的需求量是巨大的。根据产品销售的区域特性,某些地区的人们难以在实体店中购买到自己心仪的眼镜,但在网上购买眼镜亦受到无法试戴的困扰,造成认知偏差,产生大量退货的情况。运用虚拟试戴技术可以极大程度上减小用户对产品外观适配的偏差,虚拟试戴技术在未来的互联网时代将有巨大的发展空间,也将促进计算机视觉方面的快速发展。

 本文以特征点回归为基础,通过深度学习神经网络训练,得到模型用来回归产生人脸双眼的坐标。计算双眼坐标的倾斜角度,根据仿射变换将图片旋转,将眼镜与人脸进行图片融合实现动态的虚拟试戴。

 关键词 :特征点回归;眼镜虚拟试戴;图片融合;仿射变换 Abstract With the continuous development of the Internet, people"s choice of commodities has become no longer single, they can buy in physical stores or online. Online shopping of various products has become the choice of more people, and virtual trial technology emerges at the right moment. In today"s society, the proportion of myopia patients in the world is up to 22% of the world"s population, China is a major country with myopia disease, and the proportion of myopia people reaches 47%.Glasses has become one of the ways to save myopia patients. The demand for glasses is huge. According to the regional characteristics of product sales, it is difficult for people in some areas to buy their favorite glasses in physical stores. However, when buying glasses online, they are also troubled by the inability to try them on, resulting in cognitive bias and a large number of returns. The application of virtual try-on technology can greatly reduce

 the deviation of users on the appearance of the product. Virtual try-on technology will have a huge development space in the future Internet era, and will also promote the rapid development of computer vision. Based on the regression of feature points, the model is trained by deep learning neural network to return the coordinates of generating face and eyes. The tilt Angle of binocular coordinates was calculated, the image was rotated according to affine transformation, and the image was fused with the face to realize dynamic virtual trial.

  Key worlds :

 Feature Regression; Virtual glasses try on; Image Fusion; Affine Transformation 目录

 摘要

 Abstract

 第 第 1 1 章

 绪论

 ................................ .............

 1 1.1 开发背景及意义

 ................................................................................................. 1 1.2 发展及现状

 ............................................................................................................ 2 1.3 项目简介

 ................................................................................................................. 4 第 第 2 2 章

 眼镜虚拟试戴开发工具和技术简介

 ....................

 5 2.1 开发工具介绍

 ....................................................................................................... 5 2.2 模型训练数据处理

 ............................................................................................ 5 2.3 眼镜虚拟试戴开发技术介绍

 ....................................................................... 8 2.3.1 卷积神经网络介绍

 ................................................................................ 8 2.3.2 MobileNetV2 网络介绍

 .................................................................... 12

 2.3.3 神经网络模型训练

 .............................................................................. 15 2.3.4 仿射变换

 ................................................................................................... 18 2.3.5 图像融合

 ................................................................................................... 20 第 第 3 3 章

 需求分析

 ................................ ........

 23 3.1 功能需求

 ............................................................................................................... 23 第 第 4 4 章

 系统模块详细设计

 ................................

 24 4.1 PyQt5 事件处理机制

 ...................................................................................... 24 4.2 界面设计

 ............................................................................................................... 25 4.3 图片传入试戴设计

 .......................................................................................... 26 4.4 摄像头接入试戴设计

 ..................................................................................... 29 结论

 ................................ ................

 31 参考文献

 ................................ ................

 31 致谢

 ................................ .....

 错误! 未定义书签。

 1

  第1 1 章

 绪论

  人们在认识一种事物时候,总是会在下意识的将自己认知中的形象赋予给所描述的事物。这种认知上的偏差会造成极大影响,如何解决这种在人们认知与现实差距的问题,已经成为人们最迫切的任务。对于这一问题的研究同样能适用在解决互联网购物的认知矛盾上,近十几年互联网发展催生了各种电商平台,节约了很多社会资源,提供了极大的便利。互联网的发展也推动了电商平台不断推出新的手段吸引用户,虚拟试穿、试戴在一定程度上减小了人们的认知偏差,同时也减少了不必要的退换货等操作,节省了社会资源,提升了人们的网络购物体验。本课题从网络购物中眼镜外观偏差的问题出发,研究眼镜试戴的开发技术和实现。

 1.1 开发背景及意义 从第一台计算机到互联网的诞生再到现在,在不到 100 年的时间里所有事情都在发生着翻天覆地的变化。计算机的发明者约翰·冯·诺依曼也不会想到现在的计算机能做这么多事情,能小到可以装进口袋里,美国国防部也不会想到原本用于军事用途的互联网会将全世界连通起来。一切的事情都在变化。人们在追求便捷的购物体验时,电商平台出现了,早期的网络购物平台满足了人们对于单纯购物的需求。目前为止家电、服饰鞋帽等网络销售模式已经有一套成熟的销售模式,因为眼镜需要测量度数,所以在网络平台上受限严重。试戴技术广泛运用的时候,顾客只需提供配眼镜所需参数,就可以在网上购买到比实体店实惠很多,而且称心的眼镜。之后发展人们不再满足以能够看清东西,同时也在意眼镜的外观、品牌、材质等其他外在表现。在繁多的眼镜产品中找到合适自己的一款也变得越来越困难,电商平台提供更丰富产品的同时,也增加了消费者筛选到满意产品的时间成本。

 现在各行各业都在进行着更新换代的转型升级,眼镜实体店在当下只能服务于很小的一片区域,这样的经营模式显然很难在互联网产业快速发展的当下占得先机。因此眼镜行业需要积极的将自己与互联网结合,实现从线下到线上的过渡。目前电商平台的眼镜商家还不能够很好的满足用户的体验需求,在用户追求快捷购物的同时,能够虚拟试戴体验眼镜的真实佩戴效果。顾客结合商家提供的眼镜数据和试戴效果,全方位的了解商品的特性,让顾客如身临实体店般选购,这种销售模式为不愿去眼镜实体店,但有购买需求的人提供了很好的机会。

 2

 同时也避免了以往的网络销售模式造成的大量的退货、换货等操作,浪费社会资源消耗双方时间成本。

 当前虚拟穿戴的研究在服饰方面的研究比较多,但在眼镜试戴方面的研究应用还是比较少的。对于试戴效果不够动态化,有些是因为采用较多复杂的技术导致处理时间过长,有些则为自动化程度低需要用户较多的手动操作。因此需要投入大量时间去研究,本文研究如何自动化、动态、高效的虚拟试戴方法,满足当前消费者对于眼镜虚拟试戴的需求。

 当前经济全球化,社会朝着万物互联的方向发展,网络购物为人们提供了全新的购物模式,但社会总是在前进,走在发展前端引领的人总是会得到奖励。互联网+X 总能焕发出惊人的能量,为从业者提供创新与竞争的必要条件。根据上面描述的眼镜虚拟试戴的背景与应用价值和意义的详细分析,我们可以看出现在对于眼镜虚拟试戴的投入在未来将有巨大的收益与价值予以回馈。

 1.2 发展及现状 互联网技术的飞速发展,人们对于在家购物的意愿愈来愈强烈,逐渐习惯利用空闲来完成购物。针对近视人口与日俱增的现状,结合人们对于眼镜的需求不再只满足与解决视力问题困扰,以及互联网的发展,对于眼镜虚拟试戴技术的发展巨大的发展契机。眼镜虚拟试戴技术的研究硕果累累,下面将对眼镜虚拟试戴技术的研究现状作讲述。

 眼镜虚拟试戴中涉及到的人眼检测技术,在很多领域被广泛运用比如人脸识别、AI 换脸、商业支付、人机交互、访问控制、视频控制、特效生成、智能机器人等多个领域。在经历了几十年的科学研究。现在已经出现非常多的人眼检测办法。

 人眼定位的运用非常广泛,除了眼镜虚拟试戴外,还在支付安全、安全驾驶,面部表情分析等方面有广泛应用。在支付安全方面要求采集用户面部信息,包括面部轮廓信息,以及眨眼动作。人眼定位最初应用在支付安全上时,仅靠面部轮廓信息,这就容易造成通过照片就能“骗”过机器。眨眼动作在一定程度上降低了这个风险,照片是静态的,在系统提示眨眼是不可能做出眨眼动作的,当机器检测到眼镜没有进行眨眼动作那么就不允许通过。

 在现在的很多相机 App 上都会有一个检测面部表情的功能,作为人类众多生物特征之一,眼睛与口鼻、嘴巴、耳朵的位置关系包含了丰富的信息。人们的喜怒哀乐都会通过眼睛,以及其他面部器官的位置变化显现出来,是愤怒,喜悦或是其他。情绪化的外在表现是表情,在进行刑事案件审理时,犯罪嫌疑人的肢

 3

 体动作,面部表情都会隐藏着大量信息。捕捉犯罪嫌疑人的细微面部表情,以及眨眼频率,对于案件审理都会有巨大帮助。

 人眼定位在电子商务方面的发展,主要趋向于眼睛虚拟试戴方面,为在线眼镜销售提供支撑。在互联网+时代消费者通过网上商城,能够随时随地的浏览商品。将眼镜这种平时需要去实体店才能购买到的商品投放在网上商城上销售,这是在积极拥抱互联网的结果,眼镜虚拟试戴的研究也是在为其提供助力,改变了传统的眼镜销售模式和用户体验模式。

 模板匹配的人眼定位方法,主要有人眼灰度信息定位,统计信息定位。灰度图像的方法是将图像进行二值化操作,连通区域,凸显五官特征的轮廓。设置阈值用于判定所选特征,将所选物体以外的区域排除。

 图 1.1 模板匹配 基于灰度投影函数的最多的是积分投影函数( Integral Projection Functions,IPF ),孟春宁提出一种基于尺度不变梯度积分投影函数的人眼分割方法,该方法充分考虑到人眼区域图像局部灰度变化丰富的特点,并继承了投影方法计算量小的优点[1] 。积分投影函数先灰度化处理原始图像,然后将灰度图像进行垂直或者水平方向上的灰度值积分,分析投影积分结果,得到所想要的图像特征。

 深度学习的方法提取特征,属于统计类的方法。利用大量包含非人眼和包含人眼的图像对神经网络进行训练,在经过学习后得到学习模型,运用学习模型构建分类器用于目标检测。基于深度学习方法训练的模型在分类项目的准确率非常高。卷积神经网络( Convolutional Neural Networks, CNN )是深度学习的代表算法之一,可以进行监督学习和非监督学习。在二十一世纪随着计算机的发展以及深度学习理论的提出,卷积神经网络取得了巨大的进步,被广泛运用于自然语言处理、计算机视觉方面。高法灯采用基于 Haar 特征的 AdaBoost 级联分类器算法进行人脸检测,在检测出人脸的基础上,通过模板匹配的方法在人脸区域内定位人眼和检测人眼状态[2] 。胡峰松等人提出一种基于特征检测的多视角眼镜试戴算法,采用级联分类器检测方式,检测出人眼位置备选区域,在约束条件下选出人眼的正确位置[3] 。

 Schapire提出了最初的 AdaBoost 算法,为强弱两种学习算法的等价性给出了答案[4] 。黄亨利等人利用 OpenCV 中集成的Haar-like特征、 AdaBoost 算法的人脸检测技术检测出人脸位置,然后根据“...

推荐访问:眼镜 虚拟 MobileNet