新闻动态

NEWS

当前位置:首页 > 项目动态项目动态
清华计算机博士走出实验室 用单台iPhone实现全息人物重建
2018-07-15

文|铅笔道记者 程用杰  


早在在2016年,张煜所在的清华实验室,实现了使用单台RGBD摄像机,实时三维动态重建技术,这让该技术有了从大型实验室或者工作室走向普通大众的可能性。而在最新的iPhone X中已经配置了RGBD摄像头,可以完成彩色深度图像的采集工作。

张煜认为风口已来。博士毕业后,他便毫不犹豫选择创立“普罗米修斯”,将这项技术推向民用。此前,他担任过清华所在实验室的项目负责人,研究方向是三维成像系统架构设计和实时性。

经过市场调研发现,张煜认为有两个痛点。第一,成本太高,去年天猫双11晚会,范冰冰的AR全息影像耗资300万;第二,对场地要求太高,市场需要8台彩色深度摄像机将人全方位围起来,需要2~3台服务器,才能模拟出全息通讯捕捉功能。


张煜介绍,在三维重建技术中,最为关键的参数有两个。一是效果,分为主观参考量和客观参考量,前者是动作和面部表情的视觉合理性,后者是与标准的偏差;二是速度,目前团队能够做到的重建速度是33毫秒每帧,这是人眼识别物体运动的临界值,处理和传输速度越快图像便越是流畅,不会有卡顿的结果。

“普罗米修斯”当前的技术攻坚分为两个方向。一方面重建环节,优化算法,进一步提高重建速度,其目标是16毫秒每帧;另一方面,在研发中,团队使用人工智能技术,通过单摄像头信息得到人的骨骼姿态信息。


当前,“普罗米修斯”正在对接AR眼镜生产商。张煜坦言,这里最大的挑战是在呈现介质,AR眼镜会跟不上前三步的发展,同时,团队也将考虑使用替代产品,比如采用iPad作为呈现介质。


早在创业之初,张煜就遭受到不少质疑。“已经有语音和视频通话了,为什么还要做全息人物全景影像通讯呢?”


面对质疑,张煜并不动摇。“我们解决的不是通讯问题,而是出行难题,让用户足不出户就可以完成很多以前必须面对面进行的沟通,因为人们在沟通中有55%的信息需要通过面对面的身体语言来表达。”


任何一种技术,能够从实验室走向民用才是有生命力的技术。张煜谈到,以照相为例,以前有照相馆,专门的摄影师,而现在大家每天在朋友圈晒自拍,手机随时随地都能拍照。在不久之后,全息成像技术也是如此。


目前,“普罗米修斯”团队共有3人。张煜本人主攻系统的架构和实时性传输方面;赵维凯是连续创业者,有11年的信息工程管理经验,负责市场和运营;黄秀峰是张煜清华的师弟,获得过清华大学2018人工智能挑战赛一等奖,主攻重建算法方面。


资金到位后,张煜计划建立6人的核心技术团队,并依托清华和深圳大学建立学生兴趣团队社区,培养潜在的人才。


在未来,“普罗米修斯”预计今年底,开发出跑通采集、重建、传输和呈现这四个步骤功能云,并在明年5月上线APP,正式商业运行。


 

 

分享到:0

联系我们


关注微博二维码

关注微信公众号

地址:深圳市福田区福华三路168号荣超国际商会中心812室

电话:0755-23947927

传真:0755-23947927

邮箱:chris.li@readingcap.com

法律声明 | 隐私条款 | 联系我们 @2017 READING CAPITAL 深圳市睿鼎资本管理有限公司 粤ICP备16087823号