疫情持续至今,突显出城市精细化治理的需求愈发明显,传统安防行业的解决方案围绕着视频监控、大数据分析的方法在这次疫情期间就显得无所适从,戴上口罩后人脸识别成为了附属手段而非核心关键,测温设备红外热成像技术在经历了数十年的波澜不惊后今年脱颖而出成为了核心关键。智慧城市怎么不再“智慧”了呢?从行业来看,聚焦的行业共性问题比如交通拥堵、车辆算法、人脸算法、跨镜追踪ReID、应急预案数字化、城市大数据可视化等凸显出了壁垒和失灵。从国家疫情联防联控机制的要求来看,呼吁了多少年的各委办局数据打通看来还存在不小的差距,多维城市数据的静态数据全时空分布(地图)、动态数据全流程计算(视觉)、稳态对象多源汇聚(状态)、敏态对象动态跟踪(事件)都无法串并起来提供,在各个行业中都支撑乏力可见一斑。从疫情的各个城市做的较好的防控方式来看,无一例外都通过互联网比如微信,“二维码”等手段结合网格化防控,测温,门禁,智慧社区等安防解决方案来进行结合,以广州为例,“微登记,微排查,微应急,微信助力。健康码,出行码,管理码。三码合一。”
疫情时代,在佳都科技通过后端平台打通三码合一,甚至羊城通、粤省事、实现多个APP的二维码多码打通,多码合一。将二维码的“主动扫”和“被动扫”,利用佳都科技平台+终端的整合能力实现 “扫码”与“被扫码”的位置、状态、轨迹的点线面体结合,有效落地“自防自控—群防群控—联防联控”的疫情防控体系。利用疫情三维实景一张图,解决三维实景赋能全息网格化升级,解决联防联控统一视角,解决数据一致性,完整性,关联性。提升城市精细化治理再上一个新台阶。城市精细化治理的需求瓶颈凸显在另外一个方面就是如何解决城市发展的全阶段,而不是一点时间点一个时间段,比如平安城市不但建设考虑建设解决什么问题,还要考虑建设后在后续多年的运维中还能解决什么民生问题,那么放在疫情这个城市共性问题来看,不但通过上述机制考虑当前防控疫情问题,还要考虑疫情后的复工复产复学问题,举例说明,作为安防行业的头部企业佳都科技是怎么做的呢?后疫情时代,佳都科技利用一图载万物,一码载万数的架构设计理念。利用公司自主研发的三维实景引擎赋能全息网格化一张图承载人车码证温等多种物联感知信息,多码合一的佳都技术让一人对一码,一岗对一码承载健康码、出行码、管理码的全覆盖治理数据。传统网格化的三维版,比如本小区的应有人口的精细化治理,底数清,底图明。比如传统网格化只有公安局四标四实(部分城市是按照公安部一标三实要求)的数据,没有细化,比如本小区应有多少个湖北来的租户,租期到什么时候截止,回没回来,怎么回来?什么交通方式,轨迹。 本栋楼的三维中,每个人的测温数据比如有2个发热的,位于立体三维的几楼哪一户,三维分布。还有多少盲区不清楚的楼栋门户,不清楚的室内出租屋改装隔断,四室两厅 中可能隔断住了10个人上下铺,这些数据结合BIM数据都展现出来,体现精细化。在疫情之后的复工复产复学的基本底数,住的这些楼栋的人在哪里复工,路径怎么去,什么时候复工,同样小孩复学,对于市长来看 类似工信局,经信委这样的部门很清楚的指导复工率,复学率达到多少这些指标,对应产生了多少经济损失,多少物资口罩等需求。动态的实时的展示出来,便于市长来看态势感知,来站在全市的局委办的这些以上的关心数据来进行全局图层,这些图层可以有“疫情主题图层”,有“复工主题图层”,“复学主题图层”,“损失评估图层”、“经营分析图层”。还要考虑设备能复用,网格化能利旧。有效打通 派出所片警网格——社区医院医疗网格——街道社区管理网格——智慧党建网格等多个公共管理——部门效率——民生服务的精细化治理通道。为构建后疫情时期的城市经济民生持续向好,科技助力服务经济的产业复苏贡献力量。系统建设实现疫情联防联控机制落实执行情况,一图总览。疫情风险盲区动态风险检测预警,四色预警。人车码证温,位置状态轨迹,态势感知。三维实景赋能全息网格化升级,解决联防联控统一视角,解决数据一致性,完整性,关联性。提升城市精细化治理再上一个新台阶。科技抗疫离不开平台+终端才能实现城市精细化治理所需的多维感知、丰富汇聚、图屏联动、智慧应用。无人机、机器人作为终端技术产品形态的代表,在如下能力侧提供了技术支撑。
以广州市某城市精细化治理在疫情中的作用中。机器人,无人机主要应用在如下方面:住在高层的隔离人员测温。无人机飞行到指定楼层,喇叭呼叫,隔离人员只要站在窗口,在镜头前保持两秒,无人机就能对其进行测温,而在楼下操作无人机的工作人员可以直接在显示屏上观测到结果。可以远距离不接触测量隔离在高层的人员,目前测量体温误差在0.5度以内,给隔离户输送物资、测量体温,此外无人机还会在各村巡逻,循环播放录制的防疫宣传内容,提醒大家做好防控措施。
在生产疫情物资(消毒酒精、防护服)的危化品园区,在封路设卡的疫区交通路口,在不停工的重点工程施工现场。无人机/机器人凭借AR载具的多样性,提供了更多“黑科技”的技术赋能,如“第二屏”技术作为指挥中心“第一屏”的有效联动,提供三维实景实施重建管廊等技术的辅助施工。
三、 AR-SLAM能力,通过无人机载具搭配的三维重建能力快速进行疫情防控区域的可知可测可控。复杂现实环境往往拥有大尺度的空间结构、高动态的运行演化以及多关联的社会活动,这些特点使得人类难以直接凭借自身有限的感知能力来全面理解掌握其中的运行演化进程,从而影响人类对现实环境所发生的复杂对象(包括事物、人物)和事件的准确认知和有效管控。增强对复杂现实环境的感知能力一直是人类孜孜以求的重大科学目标。增强现实技术通过建立虚拟环境和现实物理世界的映射关系,智能实时地将相关信息融合呈现在位于现实环境的用户面前,达到增强用户临场感知能力的目的。这里的“增强”主要体现在以下三个方面:通过三维结构信息与相应现实环境的在线、精准的空间注册和融合呈现来增强用户的环境智能理解能力,使得用户可以在视觉上穿透现实空间环境,让不可见的变为可见的,让可见的变为不可见的,让遥远的变为 眼前的。通过所关联的历史和实时信息来扩展现实环境在时域上的维度,使得用户既可临场回溯再现历史、分析预测未来,也可自由地组合呈现不同时刻的信息,让用户加有先知先觉的能力。自动识别环境中的实物对象,将其所关联的信息、数据、知识或不同条件下的演化模拟结果实时地叠加到该对象上,使得用户即时了解现实环境和事件所需的关键信息和知识。增强现实的这三个特点为用户对复杂现实环境的准确感知和分析决策提供了一种重要的技术手段。● 增强现实是一种将虚拟景物或信息与现实物理环境叠加融合起来,交互呈现在用户面前,从而营造出虚拟与现实共享同一空间的技术。本质上,增强现实是一种集定位、呈现、交互控制等软硬件技术于一体的新型界面技术,其目标是让用户在感官上感觉到虚实空间的时空关联和融合,来增强用户对现实环境的感知和认知。因此,它拥有三个基本要素(虚实空间的融合呈现、实时在线交互、虚实空间的三维注册):强调虚拟元素与真实元素的并存,这是用户对现实环境的感知得以增强的关键。强调用户和虚实物体之间互动响应计算的实时性,以满足用户感官对时间维度的响应需求。强调用户对空间感知的精确性和智能性,体现了虚实融合呈现的时空一致性。这三个要素是实现现实环境增强感知的关键所在。由于这种增强感知是空间方位依赖的,因此,增强现实系统通常借助头盔等特制设备来呈现虚实融合的效果。增强现实技术是虚拟现实技术的进一步发展。虚拟现实是完全由计算机营造的世界,为用户提供沉浸式的视觉、听觉、触觉等互动感知体验,这种沉浸式系统能够逼真再现现实世界,也可以模拟虚构的、现实世界不存在的环境。虚拟现实的这种模拟仿真特性使得我们可以用它来增强用户对现实环境的感知,从而催生了将虚拟景物或信息与现实世界融为一体的增强现实技术。增强现实技术需要将虚拟场景融合到现实场景中,再呈现给用户。其中一个非常重要的问题是如何将虚拟场景与现实场景联系起来,而三维注册正是解决这个问题的关键技术。三维注册技术将虚拟场景绑定到现实场景的坐标系中,随着用户的移动和视角的变化,计算出虚拟场景在该视角下的投影信息,融合到真实场景的影像上,保证了虚拟场景与现实场景的几何一致性。这里的几何一致性是指虚拟场景与真实场景共享同一空间。当二者相对静止时,它们之间的位置关系和尺度关系随着相机的位姿变化保持一致;当二者相对运动时,需要借助三维注册技术精确求解出三维运动场景的几何信息和相机的运动轨迹。由于人眼对画面的感知非常敏感,如果三维注册的结果不够准确,会导致呈现给用户的画面产生抖动和场景的漂移,严重影响用户的沉浸感体验。对于增强现实系统来说,三维注册主要包括重建现实场景的三维信息和用户或者相机的实时位姿信息。早期的三维注册主要依靠硬件设备来实现,主要有红外线设备、雷达、激光、差分GPS、高精度惯性导航系统等,这些硬件设备获取数据的速度很快,而且精度也比较高。但是这些硬件设备存在成本高、灵活性差,而且精度严重依赖于设备的性能等问题,难以被大众广泛应用。随着带有摄像头的移动设备如iPhone手机的普及以及其计算能力的提高,基于视觉传感器的三维注册技术得到了高度的重视和发展,主要表现为离线的运动恢复结构 (structure from motion, SfM)、在线的同时定位与地图构建(simultaneous localization and mapping, SLAM)以及平面标志和三维模板的识别与跟踪三大技术的突破。传统的SfM算法首先提取图像的特征点,并建立起特征点间的匹配关系,进而据此计算得到帧与帧之间相机的相对位姿以及由特征点三维位置构成的三维稀疏点云,最后将所恢复的三维点云与相机的位姿联合起来进行集束优化调整,得到精确的三维结构。但是SfM算法需要巨大的内存和计算消耗,且随着场景规模的增大以及图像数量的增加,问题变得尤为严重。近年来,涌现出了许多改进的 SfM 算法,如通过构建图像间的特征相似关系来加速图像间的匹配,使用机器学习方法训练分类器来判断图像对是否有重叠区域,避免暴力搜索带来的时间开销;将整个场景视频分解为多个子序列,分别局部优化求解,进而全局优化合并得到最终结果,有效解决了大场景下计算的内存和效率问题。尽管这些优化算法有效提高SfM的效率,但并不能满足增强现实的实时三维注册要求,因此需要更加快速的三维注册方法,SLAM 就是其中的代表性技术。该技术最初是为了解决机器人的自定位和环境认知问题而提出。机器人通过传感器获取的周围环境信息,实时进行自身的定位并重建周围环境的三维信息,实现自动导航。因此,SLAM技术严重依赖于传感器的选择。以相机为主传感器的视觉SLAM是最为常见的SLAM技术,主要包括:基于纯视觉的方法、视觉和惯性测量单元(inertial measurement unit, IMU)相结合的方法、基于RGB-D相机的方法等。基于纯视觉的SLAM方法主要有两类:一类是特征点法,如pTAM方法和ORB-SLAM方法,该类方法通过提取并匹配图像的特征点来计算得到相机的位姿和场景的三维结构。鉴于特征点的稀疏性和独特性,该类方法具有求解精度高、计算代价低的特点。另一类纯视觉的方法是直接法,如DTAM方法和LSD-SLAM方法,该类方法直接使用图像的像素信息来求解相机和场景的几何信息,得到较为稠密的重建结果。其优点是无需提取特征点,从而避免了由于特征的选取而引入人为干扰,具有较好的防抖性,所恢复的较稠密的三维信息为后续应用提供了许多可能性。但是,稠密三维信息的恢复导致计算量剧增,通常需要GPU来并行加速,且当光照不一致时,其计算精度往往会急剧下降。对于纯视觉的单目SLAM来说,因为无法估计出实际场景的尺度,因此在实际应用中通常会使用双目相机,许多SLAM 方法也提供了双目相机的版本,如ORB-SLAM2和 stereo LSD-SLAM等。一般来说,纯视觉SLAM技术非常依赖于场景特征的丰富程度,当场景特征不丰富或者运动过快时,很容易发生跟踪丢失的情况,这时就需要和IMU等传感器结合来获得更加鲁棒的结果。由于深度传感器的普及,RGB-D-SLAM也越来越得到人们的青睐,因其可以直接获取具有绝对尺度的深度图信息,更有利于场景的结构恢复和相机位姿求解。代表性的RGB-D-SLAM技术是KinectFusion方法,该方法通过构建和融合离散的截断有向距离场(truncated signed distance field, TSDF) 来重建三维场景,并估算出相机的运动轨迹,在GPIJ并行加速下达到实时。除了SfM和SLAM技术之外,平面标志和三维模板的识别与跟踪技术也是三维注册的重要方式,这类物体易于驱动从而具备动态性和交互性。平面标志可以是人工标志,也可以是自然标志。人工标志是人为设计的具有明显特征的标志图案,而自然标志是具有丰富特征的图片。人工标志因其简单的结构和明显的特征更容易被识别,因此基于人工标志的三维注册方法更加具备鲁棒性,己被应用于许多增强现实开发工具中,如ARTooIkit等。而基于自然标志的三维注册方法因无需特意张贴人工标志,更具普适性,因此更有应用价值。基于三维模板识别和跟踪的三维注册方法则通过识别跟踪场景的三维物体,反求出相机相对于三维物体相对位姿,从而实现三维注册。