阿里华先胜：城市大脑将来能成为城市的基础设施，就像水电煤一样城市大脑的发展。"

注：在由雷锋网主办的“2018中国人工智能安防峰会”上，阿里达摩院机器智能技术实验室副主任华先胜发表了《城市大脑的机器视觉技术》的主题演讲。创客猫作为合作媒体到场进行现场报道。

现场报道：小兰

（ID：chuangkem）来源：创客猫

整个城市级别的全局智能，这样一套系统叫做城市大脑。城市大脑提出的背景是因为AI技术的发展、算力的提升和数据超大规模的汇聚，它的核心是用不断进展的AI技术和逐步增长的强大的计算能力挖掘城市里面大量的异构数据的不可替代的价值。

华先胜指出，目前城市管理存在三个现象，一是盲人摸象，二是灯下黑，三是雾里看花。在这样的背景下，阿里希望把这个城市各种各样的数据聚合起来，发掘它的价值，尤其是视频的数据。

“视频数据是其中最大量的数据，也是潜在价值最大的数据，也是最难使用的数据。”华先胜表示，首先要对数据进行感知，之后进行决策优化，包括了对城市趋势的预测、交通等情况的预防，最后就是干预。

城市大脑提出之后，面临三个挑战，一是投入，不管是计算的投入还是带宽的投入，或者是算法研发的投入，这个投入能否撑得住。二是能从这些数据里面挖掘出什么价值，这些价值到底是锦上添花还是必须有的东西。三是跟过去讲的智慧城市、视频监控有什么不一样。

那么城市大脑标准是什么？华先胜在现场指出，除了全面、全量、实时之外，城市大脑一定是不依赖于硬件的。“我们可以在不增加外场设备，不改变现有链路的情况下，通过云上的视觉计算，使得原有的普通摄像头具备多种智能。”

最后他指出，城市大脑的不同之处在于，第一是用大量异构城市数据中通过大规模计算和AI，挖掘其不可替代的价值；第二，城市大脑是在做人的智能不能完全的事情，因为它的复杂度、计算量已经没有办法用人力来完成；第三，城市大脑还希望将来能成为一个城市的基础设施，就像水电煤一样。

以下为华先胜演讲实录：

（经创客猫编辑，有所删减）

城市管理的现状

“城市大脑”这个词两年前提出来的时候不像今天这样这么热，两年前是无人问津的，当时在阿里也只有我们团队和另外一个团队在探索这个领域。而今天不管是公司内部还是公司外部，很多人都说自己是做城市大脑的。我有时候讲我们是做正版城市大脑的，后来想想“正版”这个词有点打击面太广了，我们后来还是讲我们是做原创城市大脑的，所以今天跟大家分享一下原创的城市大脑到底是怎么回事，这里面是实实在在实战的城市大脑，也是正在运行的城市大脑。

城市大脑是怎么提出来的？它的背景就是因为AI技术的发展、算力的提升和数据超大规模的汇聚，所以使得我们在想，可不可以为城市安装一个大脑，去挖掘这个城市的价值，它的核心是用不断进展的AI技术和逐步增长的强大的计算能力挖掘城市里面大量的异构数据的不可替代的价值。这个价值体现在什么方面？可以从不同的角度来讲，数据智能助力城市管理和服务，全面、实时、全面的优化和干预，带来的必然是便捷和灵活。往上提一个层次就是城市管理领域、服务领域的突破和产业发展领域的突破。再往上提一层是城市安全管理。

现在的城市管理是什么样的，大家都是从事安防的都比我更清楚。

第一点是盲人摸象。我们有很多单点、局部的交通和安防的感知，还有很多的设备是损坏的。覆盖量最大的视频，我们投入了很多钱建设视频的摄像头，但是这部分的资源没有充分的利用起来，我们可能用它做一个交通处罚，做一个事后的断案，但是它的价值远远不止这些。

第二是灯下黑。很多城市尤其是比较早期的城市的摄像头是没有什么智能的，今天的智能摄像头也只是一部分，另外这个智能也是很有限的。我们怎么样充分地利用这些摄像头，把它的效能发挥起来？因为这些不可能靠人工来看。

第三是雾里看花。所有的设备是单点，无法发现一些现象和问题背后的真实的原因。

城市大脑的三大挑战

这个事情提出来之后，我们就希望把这个城市各种各样的数据聚合起来，发掘它的价值，尤其是视频的数据。从一开始这个项目提出来的时候就面临了很多的挑战，不管是公司内部还是公司的外部，大量的挑战，今天还有人在挑战这些问题。

总结起来，这些挑战可以总结为三个词：一是投入。我们要处理整个城市几万路、几十万路的视频，我们的投入有多大，不管是计算的投入还是带宽的投入，或者是算法研发的投入，这个投入我们撑不撑得住。在今天来说视频本来就已经传到了计算中心存起来了，它的带宽仅仅是从存储的地方到计算的地方的带宽，这根本不是什么问题。

第二是价值。我们能从这些数据里面挖掘出什么价值，这些价值到底是锦上添花还是必须有的东西？虽然这个必须有有可能是创造出来的。我经常举个例子，就像今天的手机，过去手机都是打电话用的，没有很大的屏幕，都是一个小的显示屏，甚至显示屏都没有，今天手机没有大屏别人都不买了，这个大屏实际上是创造出来的不可替代的需求，成为一个刚需。城市的数据可不可以做到这样？我们在为城市数据创造价值的时候是不是也可以再到这样？

第三是跟过去讲的智慧城市、视频监控有什么不一样？为什么我们做的这个城市大脑跟智慧城市的区别在哪里呢？虽然今天的时间有限，只能讲其中一部分，但是我希望讲完以后，还是让大家知道这是一个不太一样的东西。

视频数据是潜在价值最大的数据

什么是城市大脑？首先城市有大量的数据，有GPS、线圈、公交、微波等等，这些数据都会使用，视频数据是其中最大量的数据，也是潜在价值最大的数据，也是最难使用的数据。所以第一点我们要对它进行感知，或者叫做认知。要理解它，知道它发生了什么事情，整个视觉里面看到了什么，发生了什么，不管是车还是人，或者是事件、物体，我们都要了如指掌。了解这个之后，我们就可以进行决策优化。有的是直接感知认知之后马上就可以决策，比如说发生交通事故，马上就可以招呼交警去处理，如果是严重的交通事故，还可以把医疗资源马上叫过来。还有优化，比如说对红绿灯的优化，我们对整个城市的车流、人流等等有了全面的感知以后，当然可以做更好的全局的优化。还有就是把整个城市的视觉元素放到一个搜索引擎里面去。

我不知道大家有没有玩过阿里巴巴很好的一个产品叫做拍立淘，把我们喜欢的东西拍一张照去淘宝里面找到相关的产品来进行购买。我们把城市里的要素放到搜索引擎里面去，当然它是实时索引，可能几秒钟之后，这个城市里面摄像头看到的元素都进入索引进行搜索。还有就是预测，我们对城市的趋势，无论是对交通还是对安全都非常重要，对交通而言我们知道要不要管控，对安全来讲，可以知道有没有安全隐患。我们也可以做更长时间的预测，比如说第二天会发生什么事情，比如说第二天天气很糟糕，要下大雨，有几个歌星要在哪里开演唱会，根据过去历史的数据，我们大概可以预测出来明天的交通状况是什么样子的，安全状况是什么样子的，哪里到哪里拥堵时间可能会超过很多。

有了这些预测之后，我就可以最先进行预防，不管是警力还是医疗资源。另外我知道明天会发生什么，我能不能做什么事情不让它发生，我可以预先做交通的管控，做诱导。本来这个人明天要去那里，但是因为那个地方可能会发生拥堵，他的目的地不在那里，他当然可以避开那个地方，他明天不必要出行的话，他也可以不出行。

还有一个就是干预，因为我们有了预测就可以进行干预。整个城市级别的全局智能，我们把这样一套系统叫做城市的大脑。当然目前是以交通和安全两个领域为重要的应用场景，当然未来我们可能还会在环保、能源、土地使用等等领域都会汇集到这个大的领域里来，甚至是规划都会汇集到这个大脑里面来。

感知层的三大目标：全面、全量、实时

今天时间有限，我挑几个点介绍一些例子。

首先是感知层。城市感知的发展是经历了很多阶段的，最早叫无感无知，那时候想知道发生了什么，需要向别人了解。后来是感而不知，那时候很多公司装摄像头、装硬盘、装录像带。那时候安防不像今天这么高大上，今天安防行业都是人工智能最顶端的行业，那时候都是要人来监控的。到后来是感而略知，摄像头上有了一点智能。今天我们做城市大脑要做到感而全面知、感而全量知、感而实时知。

第一个是全面，全面也是随着今天算力的提升，使得我们对道路的情况，对摄像头看到的东西进行全面的感知。这里面不仅是能看到车牌，在一个质量很差的视频里，我们的算法依然要做到高精准、高速度和高性能，还要全面，对车、行人和抛洒物等等都要进行全面的感知。当然这些事情都是要在很短的时间内完成，因为还有很多其它的事情要做，可能在多少毫秒之内要把它完成。

这里我们费了很大劲做了一个算法，经常我们做目标检测的时候，有时候大的做好了，小的做不好，小的做好了，大的做不好，我们当时做了一个高效全尺寸多目标检测。基于这个结果，我们赢得了两项比赛的第一名，第一个是车辆检测，车辆检测在这个榜单第一名持续了一年时间。第二个是行人检测，持续了几个月也在第一名。除了感知人、车、物之外，还要能感知事件。平时车流在正常通行的时候，这样的数据是大量的，异常的数据是少的，我们为正常的事情建模，异常的事情进来的时候，它就会有明显的反应。基于时空异常的检测，在这里面也有一些创新的工作，比说两个Branch的工作。

经过这样的分析之后，我们可以发现车与人相撞、车与车相撞、车与路相撞，人与人相撞等等，我们都可以进行检测。刚才讲了两个事情，一个是物，一个是事。这里面有一个很大的事情，我们号称要在云端处理，到底能不能算得过来？在云端的计算能力有多强？这涉及到全量和实时这两个指标。我们依靠阿里云的实时计算的平台，我们在这个平台的基础上建立大规模的实时处理的平台就没那么困难了，虽然也不是一件很容易的事情，因为它要处理的量非常大，计算也是比较难的。

这里面的成本是一个关键的问题，比如说一个事情要做得差一点的话，用了一两台机器不会有什么事，但是你要做这样一个规模的系统，可能需要好几千台机器，我们用了2000台，这是一个很大的系统，我们当时花了很大的精力提升它的性能，我们今天的性能相比第一版有20倍的变化，而且我们后面还有新的硬件的加入，又有了好几倍性能的提升。

我们具体在其中的一个例子是我们最近即将要发布的杭州城市大脑里面做的交警认为非常好的工作，这个产品叫做机器代替交警巡逻。大家知道城市里面有一类叫做枪机，一类是球机，球机基本上是没有什么智能的，我们今天的工作就是要让城市里大量的球机变得有智能，不管是交通违法还是交通事故，都可以让它进行监控。现在我们在杭州试点的200多个球机，每天有好几千起事件被发现，远远超过了交警的能力。如果我们算算这个数字，大概可以代替200个警力。

有一个真实的在杭州运行的界面，大屏上会显示我们检测到的各种各样的事件，对应的支队就会看着屏幕进行处理，他们还有专门的骑警队，看到事件暴露出来之后就会去处理。我们长时间观察如果有些地方一天老是报警，这种地方肯定是有问题的，我们第一版发布的时候，看到有一个地方就会老是报警，交警去现场看，确实现场某些设备是有问题的，然后就进行线下的处理，处理完了之后报警量就开始下降。

这个工作有一个特点，就是充分利用城市既有的监控设施发挥它最大的效率，不需要再安装一个摄像机，不管你的视频的质量怎么样，我们都可以解决问题。但是这个话说出来，做摄像机的可能不太愿意看到，但是确实我们可以这样做。

在杭州城市大脑的实践里，我们在不增加外场设备，不改变现有链路的情况下，通过视觉云上的计算，使得设备的能力得到很大的提升，我们现在也在做AI芯片的线上测试，会进一步减少计算的消耗，可以提升很高的处理能力。

数据的搜索和挖掘

刚才讲的是感知层。再往后就是搜索和挖掘，这是实时进行处理的。我们在互联网上找东西可以通过搜索引擎来找，如果城市的管理者要找城市发生的事情，可以通过城市的搜索引擎来找，我们把城市里看到的人、车、路、物、事等等全部放到搜索引擎里去。做这件事情有两大挑战，第一个挑战是系统的挑战，也就是说你要去索引那么大量的数据，怎么能够让索引的搜索足够快。第二个是我用什么东西去描述我们关心的这些对象，关心的那个车和那些东西。当然我们也可以用结构化的信息来做，这个车是什么颜色、什么牌子，这个人是男是女等等。

今天我们可以用特征的方式来识别，它是一串数字，这串数字就代替了你所关心的这辆车、这个人的特征，我们通过这个特征进行目标的索引和检索。怎么样找这个合适的特征，怎么样把一个图片，一个目标变成一个特征，这是核心的课题，这里面有很多的方法，我们可以通过学习的方法，通过神经网络、目标函数的设计，可以逼迫神经网络收集到我们想要去的地方，从而使它表达出我们想要表达的方法。

从上面来讲是从识别的角度逼迫神经网络，后面是通过VID的方法逼迫这个神经网络。这里我只介绍其中一个例子，是我们前不久做的一个工作，就是Part-Leve特征学习，我们通过这个学习，在做索引的时候，在比较的时候，它就会成为重要的指标。当然还有一些方法可以发现到底哪些点是独特的，比如说像车的检索，我们做商品的车的检索的时候是比较简单的，同一辆车、同一个牌子、同一个型号认为是同一个产品，但是在安防的场景下，不是一个人的车，它就不是一个东西，这时候需要发现它的细小的差别，而且要自动发掘它。我们这些工作也在行人RD-ID的一个测试里面应用，现在我们的测试结果是最好的，达到了97%，而人类的最好结果是94%。

接下来是讲预测，虽然我们无法预测某个个体的行为，但是我们可以预测整体的趋势。我们在苏州做了这样的实验，预测车流在20分钟、30分钟后的变化。我们经常讲今天有GPS导航的时候，它其实是没有帮你做车流预测的，它仅仅是根据当前的车流给你选择一个最优路线，所以走着走着它给你建议不同的路线，因为交通状况在变化。如果我们有预测，GPS的路径规划就可以做得更好，如果时间更长的话，还可以进行更好的干预。这里面我们用深度学习的方法预测下一时刻的交通状况，这在苏州得到了很好的预测。

城市大脑的不同之处，第一是用大量异构城市数据中通过大规模计算和AI，挖掘其不可替代的价值。第二，城市大脑是在做人的智能不能完全的事情，因为它的复杂度、计算量已经没有办法用人力来完成。比如说红绿灯的配置、众多球机的观测无法通过人力完成，我们要通过城市大脑完成人不能完成的事情。我们经常讲人工智能有的地方是超越人的，有的地方是远远不如人的，在这个地方它是超越人的。第三，城市大脑还希望将来能成为一个城市的基础设施，就像水电煤一样。深度学习、数据、计算能力使得AI有了发展，这个发展使得我们思考能不能为城市建造一个大脑，挖掘城市的价值，改变这个城市，改变我们在城市里的生活方式。由于这个城市的环境、城市的平台是非常独特的，它的数据的量、计算的需求，问题的复杂性、它对价值挖掘需求的量和迫切性使得城市可以成为一个平台，或者说城市大脑可以成为一个平台，去孵化更多的技术，有更多的创新在这个平台上能够发掘出来，使得一些科研的技术、实验室的技术在这个平台上得到锤炼，得到扎扎实实的实现。

这也是为什么城市大脑会被科技部选为首批四个国家人工智能开放创新平台之一。像阿里这样的公司就搭建这样一个台子，把它搭得漂亮，同时还需要有几个好的演员在上面演，不然大家都说这个台子不好，这个台子上最大的空间是合作者，不管是人的层次，还是数据应用平台、只能应用平台还是计算平台，在这上面可以创造更大的价值。城市大脑需要很多人一起来繁荣、一起来创造，谢谢大家。

以上，创客猫现场报道，如有转载请注明来源

创客猫

创业现场第一媒体

直播/报道/合作

加微信：weiyangfan001

长按二维码关注