公司动态

让您第一时间了解千视通动态

胡大鹏博士解析:跨镜追踪(Re-ID)技术的出现、发展及应用

2018-10-31 09:09:19    千视通


2017年11月,旷视研究团队发表文章,称其在行人再识别(ReID)技术开发方面取得重大进展,通过一种新方法的运用,使机器在ReID上首次超越人类表现。


2018年4月,云从科技也宣布在这一领域取得突破,称其在Market-1501, CUHK03, DukeMTMC-reID这三个最权威的衡量ReID技术的数据集上,相关核心指标均刷新了相关记录,在Market-1501上的首位命中率(Rank-1 Accuracy)达到96.6%,打破了阿里iDST在2018年1月创造的世界纪录。


2018年10月,千视通行人再识别技术(Re-ID)的精准度已经突破97.1%,刷新了业内已知的最高纪录!作为一家以Re-ID视频结构化技术和应用为核心的计算机视觉科技公司,千视通团队在Market 1501、DukeMTMC-reID、CUHK03这三个衡量Re-ID技术最通用的数据集测试中,获得了巨大突破。

在Market 1501上的首位命中率(Rank-1 Accuracy)已经达到97.1%,超越人眼识别能力(94%),领先头部厂家,并刷新了今年4月公布的96.6%的世界纪录。同时在CUHK03,Duke MTMC-reID两个数据集上也刷新了之前业内最高纪录,达到了行业state of the art的技术水平,特别是在CUHK03数据集上,Rank 1指标提高了10.7%。


我们不难发现,近年来业界领先的AI公司,均在大力投入进行ReID技术开发研究,其根本原因,在于ReID技术的潜在商业价值已得到行业巨头们的广泛认可。那么,ReID究竟是一种怎样的技术,它经历了怎样的发展,又将如何在商业应用上大展身手呢?


对此,苏州千视通视觉科技股份有限公司CTO胡大鹏博士,在香港人工智能中心撰写了如下文章,对ReID技术的出现、发展、难点、方向,和人脸识别、视频结构化、计算机视觉学的关系,以及千视通公司在ReID技术层面的研究方向、成果等,进行了深入浅出、生动直观的阐述。


胡大鹏,香港科技大学计算机科学博士。历任微软亚研院博士后研究员、香港中文大学研究员、香港科技大学助理教授。曾任ASTRI(香港应用科学研究院) 首席研究员,在机器视觉技术产业转化和应用开发方面有着丰富经验。


胡大鹏 千视通CTO

胡大鹏 千视通CTO


ReID的出现:为“跨镜找人”而生


ReID 由以往没有太多人留意到现在开始有产品上的应用,经历了一段非常漫长的时间。由于最早期完全依赖于传统计算机视觉或机器学习的技术,所以基本上没有明显的突破。ReID 本身是一个非常难的问题,它是要从不同的视频之中,把同一个人识别出来。不同视频的光照条件、感兴趣区域的分辨率、角度的不同、遮挡普遍发生、穿着相近衣服的人等等,都会造成识别的困难。


ReID与人脸识别:产品化道路更曲折


首先,ReID 跟人脸识别,有着一个最大的不同。人脸的特征一般是有比较、有唯一性,而 ReID 在这一块是完全无法比拟的。特征的唯一性愈高,单靠这个特征去查找或定义一个人就会愈准确,也愈容易。所以,即使以往没有深度学习技术,人脸识别仍是可以做到一个很高水平的状态。当然,引入了深度学习之后,人脸识别这一块甚至超越人类。


胡大鹏博士解析:ReID技术的出现、发展及应用


但 ReID 则是一个完全不同的问题,因为它的特征唯一性不高,同时有很多环境及外在因素影响着。先不讨论行人的衣服换了怎么办,即使行人没换衣服,当你走进金融商业区,满街都是西装上班族,即使你不懂什么是特征向量,我相信你用肉眼也无法在远处从一群人之中把一个人精准找出来。


跨镜追踪ReID 就是在面对着这样的一个问题:监控摄像头挂在远处,看到一大堆行人自由移动,多个摄像头架在不同的地方看着不同的区域,区域之间一般没有重叠,而ReID的目标,就是要把同一个行人在不同的摄像头内,重识别出来。


这样的任务,在深度学习成为主流之前,接近不可能。所以,在学术圈之中,论文成果都是倾向于 proof-of-concept 而无法产品化。直到深度学习出现之后,所能提取的特征唯一性大大地提高了,才有了产品化的可能。


ReID  视频结构化  计算机视觉学


市场需求的出现,对ReID 的发展产生了最为重要的推动作用。当目标检测、分类、跟踪等技术都达到一定水平之后,结构化这个课题,在这三年间高度火热。结构化其实并不是一件新事物,在几十年前,计算机视觉学的学者本来就是有这个愿景。他们希望透过计算机视觉学的技术,把图片/视频内的东西完全分析并利用人工智能来理解场景内容。当中,分析的部分,就是结构化的广义说法。计算机视觉学的存在,本来就是为了这件事情,只是,因为每一个单一问题在以前看来都是极其困难的,所以才产生了不同的专门科目去针对性解决单一问题。


胡大鹏博士解析:ReID技术的出现、发展及应用


直至深度学习的出现,把很多以前无法做好的问题都做好了,计算机视觉学才不知不觉的回归到其原点来:整个视频的主要内容都能分解并被结构化起来。不过,当我们面对着如此之多的数据,另外的一些问题也产生了。首先,数据量本身已经太大,而重复量更大,资料之间即使有关连性,也无法自动配上。其次,当需要查找资料时,发现根本无从着手。要解决这些问题,其中一个有效的方法就是:ReID。


ReID:  让监控获得“大局观”


ReID 全写是 Re-identification,顾名思义,就是把物件重新辨认或识别出来。对于监控领域来说,刚才提到的两个问题,引申出来在实际应用上,就是希望把不同视频内的物体关联起来,并可以透过有效的方法把物体找出来。解决前者,一、能减少物件重复性;二、能改善跟踪;三、能分析物体在区域内的行动路径;四、能分析个体之间的互动关系。解决后者,能够在海量的数据之中有效地把某人提取出来。这些都是监控行业多年以来的需求,能做到这样,整个监控操作才完整,才能看到大局。


ReID现状:不完美之下,以应用创新


然而,到目前为止,跨镜追踪ReID技术仍然是不完美的,它最终的目的是要能达到 1-to-1 匹配的状态。可是,实际上是有误差的,而且,这个误差比起人脸识别技术上的要大得多,主要原因,便是前述的唯一性问题。另一个则是速度上的问题,要在产品上应用,快是必须的。在不完美之下,把技术应用到产品上,就要花很多功夫做应用创新。


与其他顶尖的同行一样,千视通成立了自己的研究院(香港AI研究院),并投入了大量资源进行研究,在实际产品上,各方面的数据与同行各占优势。因为历史因素,千视通的团队作业其实更为紧密,即使在单一算法上有不完美的地方,也能在整体全局之下产生优化。例如,检测、跟踪、特征提取等等环节,是互相紧扣而全局优化的。


胡大鹏博士解析:ReID技术的出现、发展及应用


典型的研究团队,其小组们都是各自做好自已的算法,在某一数据内刷出最高准确度。但这样的话,当算法拼在一起时,效能很多时候并不如理想。千视通的观点始终是,单一算法需要做好的同时,我们也同样重视产品的最终形态,毕竟,这才是用户真正能接触到的部分,也决定了产品的实用性。算法团队成员之间的认真沟通、算法团队与工程团队之间紧密合作、算法与算法之间的磨合、算法与工程之间的磨合,加起来,才会是千视通的产品。


因为算法都是互相协同的,千视通的跨镜追踪 (Re-ID) 技术可以在Re-ID视频大数据结构化平台、图侦综合实战平台、视频图像研判平台大数据合成作战平台等系统上真正用起来。千视通的所有技术,包括了 ReID 技术,都是自己原创研发,技术上我们参考了现时最新的技术并从中再突破,而方向则是清晰无误地要以落地为优先。


胡大鹏博士解析:ReID技术的出现、发展及应用


ReID之生成:两种基本算法


说起“行人再识别”,也即Person Re-identification,最大的难点在于,行人是非刚体。意思是,人不像汽车那样,从任何角度任何时间上看都是同一个型态。当人在走路时,手和脚都在摆动,还往往伴随有其他动作。


面对这个问题,一般方法是把人的身体划分成不同部分,以不同的方法把这些部分检测出来,并进行局部特征提取。可是,任凭你怎样细化划分,该部分也会有某程度上的非刚体特性,这样仍是会对算法造成干扰。


另一种比较准确的方法是考虑对齐,就是说,把两张将要比对的图片,以某种方法先对齐好,例如相同的头部位置和脚部位置,并在匹配时只考虑有用的部分。当然,说起来是这么简单,实际算法要做到这回事是一件进阶的事情,因为这部分一般会内嵌到神经网络。


除此之外,业界一般会附加一些网络设计技巧再提高特征提取的准确度,例如使用多分支多任务网络,而最后再用 re-ranking来进一步提升准确度。


千视通ReID算法创新:基于注意力架构的深度神经网络方案


千视通所用的方法,概念上相近,都是尽可能考虑最重要的部分进行特征提取及比对。然而,我们提出基于注意力架构模型的深度神经网络方案来实现行人ReID。与传统的全局表征或设定好的局部分割不同,我们设计的主躯干网络不要求躯干位置的标注,模型能够从浅层视觉到高层语义的不同空间内自动捕捉关键区域,挖掘多尺度的注意力特征,自动实现行人肢体(如面部,上身及下身)的特征融合,对于姿态改变以及空间变化有着很好的鲁棒性,有效的完成行人搜索工作。


胡大鹏博士解析:ReID技术的出现、发展及应用


在千视通在实际的产品则试时,发现即使不使用 re-ranking,对于 Market-1501 数据库,top-1 准确度也能达到 90%。虽然跟旷视的 94% 还是有差距,但不使用 re-ranking 也能达到这个水平,代表我们速度上会快很多,也同时减少计算资源的使用。原因是 re-ranking(例如现今常用的 k-recipical 方法)即使再简单,也需要消耗内存把某范围内的数据暂存,并进行分析和对比。而有不少算法是非常依赖 re-ranking 来达到高准确度。缺少了这个依赖,这使得我们的算法在实际产品内产生优势。


ReID的下一步:分析之后,是理解


千视通AI研究院在未来会进一步投入资源去研究行人行为及车辆行为。正如之前所述,计算机视觉学的最原始想法就是分析和理解场景。分析,我们已经做得很不错,可是,结构化数据所代表的高阶义意及意思是什么?业界还未有很明确的方向,更不论是产品。


我们希望,透过行为分析,把理解这一块开一个窗口,使得结构化数据能再向前推进,令系统更有智慧。未来,并不单是人类去操作系统,而是系统有了理解能力之后,跟人类协作,为人类谋方便和幸福。


  • 上一篇:长沙市局及各区县分局完成“图侦
  • 下一篇:苏州千视通凭借图侦实战平台获