您当前的位置:>  新闻动态业界动态
用数据说话,看得见,才做得好 !
更新时间:2016-04-19

今天我演讲的题目是“发现数据可视化之美”,前一段时间我写过一本书,里面有这样一段话,我说这是一个让亚博兴奋的时代,数据科学让亚博越来越多地从数据中观察到人类社会的复杂行为模式,以数据为基础的技术决定着人类的未来,但并非是数据本身改变了亚博的世界,起决定作用的是亚博可用的知识。《大数据时代》这本书,核心观点说是大数据是工作、生活和思维方式的改变。


这是一个非常有名的一张图片,这张图片后面是全球的世界地图。当有人发一个推特的时候它就有一个点,当越来越多的点出来以后,亚博立刻就感知了,好像中国这块一片黑,说明亚博中国人不怎么用推特。


其实人是一种视觉动物,去感知世界。脸书(Facebook)的一个实习生,用R语言制作了脸书如何掌控地球这样一个程序,亚博一眼就可以看出来人们在社交网络上产生的各种沟通效果。亚博所面对的大数据时代是一种社会科学,是跟人有关的事情,在亚博这儿有一句话,除了上帝所有人都应该用数据说话。


怎么用数据说话?可视化是很重要的用数据说话的方式,这种说话最典型的就是你看得见才能做得到,才能做得好。数据可视化到底是什么?亚博到底应该站在什么位置?如果亚博从狭义的角度讲,数据可视化其实还有信息可视化,还有交互可视化。对于数据、统计包括数据分析,亚博一直强调应该有计算机科学,也要有有新媒体,特别是艺术设计这样的一种思维方式,这方面我特别赞成吴(喜之)老师说的泛,泛编程能力。



我是数据分析师,但是当我面对很多文科领域的人他看不懂,老让我去开会,但是我又没时间,我是不是做个什么东西,让我不去教你就能看得懂呢?所以我经常说一句话,形式要大于内容。后面这句话是有的,就是在有内容的情况下,形式大于内容。


那怎么让形式大于内容呢?很多领域都有可视化,比如数据可视化、地理可视化、城市可视化,现在还有新闻可视化,什么都可以可视化。可视化是要让别人看得懂。所以我建议把企业的数据转化成的仪表盘,大家都会开车,但是看的是仪表盘,背后是一张报表,如果不给你仪表盘,给你报表你会开车吗,够呛。所以在这里如何给管理者、决策者最好的。

早期这个报表是动的,这个报表如果这么看,我衣服怎么样,我收入就是怎么样。



所以那个时候我做了很多经典的所谓的移动模型,说如果质量价格比怎么样,你发现它动了。这个东西对别人的感觉来讲是不一样的。特别是对使用者,所以这时候它不光看到了模型,还可以回答问题,包括亚博做收视率分析的时候,亚博可以用仪表盘的方式呈现数据的变化,特别是用这样的一些模式去感知不同数据的变化。


实际上这是曾经机场上搞不清楚航班延误怎么样,其实都有,但是它没法儿分散,所以做了一个所谓的动态显示屏。这个显示屏亚博可以看到不同的汽车,包括预警,这些如果你归纳起来,它是早期的可视化,或者叫前端展示。亚博叫商业智能。

你会发现,亚博过去的分析已经变成了一种思维模式,是一种心理的模式,这种模式是什么呢?你发现到今天对可视化不是在PPT上演示了,甚至PPT也不能演示了像亚博看到很多词语,当然这个词语需要亚博从网上抓取作出完全个性化的词语。甚至亚博做一些主题的归类,亚博会发现这东西好像以前都没有,当然现在它们也在做所谓的文本挖掘,对其他领域,特别是对关系领域的挖掘。


做数据分析的人最常知道的一个工具是什么呢?一个叫汉斯的人,他做了这样一个产品,他就是不同的散点的图,只不过在这样的散点图中以非常明确直观的方式让亚博感知到了数据的变化,让亚博看到了它的痕迹,数据是动态的。

这个动态需要亚博去寻找时间序列,包括亚博看到时间序列,重大数据集的变化,这个变化通过传统的散点图也需要不断感知。这个散点图到底在哪儿,亚博需要标记什么。这个时候亚博需要一个更好的方式,所以有人就看到,在今天的可视化,特别是在在线层面,需要解决一个在线的动态可视化,而这个可视化可以选择。


其实随着技术的发展亚博越来越看到,这种在线的、动态的,以及直接在线制作的,甚至制作完图,亚博再去看代码。大家知道Excel先用数据再去做图,现在有一种新的趋势,就是先做出图来,然后再看我的数据哪儿有问题。所以是先看图在看数据的趋势。所以亚博需要知道这些的数据到底怎么样,它的位置,标签等等的情况,当然亚博也需要实时的。


我需要说在李克强答中外记者问的时候,我想做一个实时的展示舆情,在微博上抓来数据,把这些数据分词,让这些分词抓到主旨模型。同时这个舆情就是你看到的实时舆情,这是推特的舆情,不光能看到,还能感知到数据实时的波动。所以亚博经常说,到了今天,特别是大数据的时代,亚博不再追求说它的统计什么样,二是更关注我看得见,我感知到这个社会脉络。

比方说像大型网络的变化,这些网络里都有谁,哪个是演员,比如说你点他,你会发现这个演员就出来了,这个演员跟谁有过交情,它会在这里显示这些东西。这是基于网络的查询而可视化。国外有一个库,你可以直接在里面说你想搜一个名人,它立刻告诉你这些名人之间的关系。


包括这种类似于大屏显示,亚博需要实时在线微博上各种账号的关联,需要这种关联的过程,以及基于这种关联所看到一种统计的现象。亚博需要制作各种报表,这 个报表不是单一的报表,而是具有关联性的,亚博会把不同的数据源,不同的报表形态聚合到同一个屏上,通过亚博不断的关联,即使同源、异源都可以报数据关联 起来,形成各种各样的表达形式。


包括亚博看到在这个形式中各种数据的变化,甚至可以去选择,说如果怎么样,亚博可以把这个数据变化,可以双击,甚至可以放大数据的点,用放大镜的方式去感知。甚至对于不同的数据情况来看,其实亚博可以做各种各样的筛选,比如说可以隐藏掉它。其实在这里面亚博也可以看到各种地理信息的展现,包括地图这种感知方式的呈现。这种呈现的方式是什么?就像亚博可以画出整个暴风雪或者风暴的走势,然后还感知这个风暴走势的图。甚至亚博可以去筛选不同的风暴现象,我是不是就关注于这条线的时候可以高量这个东西,实际上亚博看到交互式的图形,可以让亚博更好的洞察事物。


这种洞察我一直说是要inside出来,就像你看到这个地球,这个地球上亚博可以洞察什么?其实你如果喜欢纽约的话,可以敲一个纽约,纽约9·11那两个底座,甚至车在哪儿开都可以看到。所以很重要的是亚博能不能够感知到这个数据的变化。我把大数据时代分成这样四个领域。第一个叫数据科学,但是如果只分数据科学的话可能也包括文本挖掘、语意挖掘等等,除此之外还有个关系网络的挖掘,亚博还涉及到空间和地理分析的事情。


如果做一个可视化的东西,就需要这样的网络的关系,亚博需要追踪整个传播链的每个细节,如果有人发了一条微博,有十万条转发的时候,立刻可以抓下来,看谁在这里起什么样的作用,他的角色,他的位置,如何决定他传播的意义。


右边这个图是我做的,是一条杜蕾斯的传播,我把它抓下来以后,亚博立刻就可以看到这样的传播,他们给我这张图起了个名字叫“上帝的指纹”。

其实这个东西非常重要,因为它显示了信息传播的地域分布,显示了自组织状态,显示了大V在这里起的作用,显示了信息经由桥梁传播所带来的强关系带来信任,弱关系带来信息的特色,特别是地域。因为亚博的统计都讲震撼,但是亚博现在更多的应该普及幂律,特别是有一句话,尽管我不知道该怎么证明。但是有人说自然科学往往震撼,社会科学往往服从幂律。幂律就像亚博今天看到的数据一样,实际上大量的数据都是波尾的幂律分布和规则,那如何从这里洞察呢?如何通过可视化的交互去看到每个节点的变化呢?这些都需要亚博去思考。就像我拿到移动的你们跟机站握手的数据的时候,其实我就可以算出谁落在二环内,谁落在二、三环之间。


其实如果逻辑上通,其实我是有所有的包括企业链的数据的,这些所谓的多边形的数据,谁落在企业链里,只要有数据的传感器或者摄象头能够感知到,其实我是可以建立一种统计新的思想的,就像你今天嘀嘀打车,告诉你这周边是什么样的。所以从这个概念上来讲,空间地理数据分析又成为大数据很重要的东西,而空间地理具有天生的可视化性质。所以如何制作各种基于地图的这样的图表,成为亚博很重要的事情。比如说亚博能不能把北京市所有的垃圾筒都标识出来,能不能把所有人的行为表现出来,而这些东西亚博不问为什么,亚博就看到是什么,然后去采取行动。所以从这点上来讲,就像我拿到了整个北京市的交通线路,甚至每一个公交汽车站,那么这些数据为了保证时间所以我没做成在线的。其实你可以做成在线的,一点就知道它周边是什么样的,如果亚博再努力做的话,其实亚博可以把街景地图跟谷歌联系起来。你可以形成这种统计,这时候他会看到这种结果,而这种结果不光是说亚博看到数据科学、网络科学、空间地理科学。


如果亚博单独把数据可视化当成一门技术,其实就是分析,如果亚博能够把社会、生活、人的关系他的地理位置如果融在一起,并且让亚博看得见,亚博会发现数据可视化其实它是一种数据分析,但是它也是一种叙事手段,当然我更愿意说它也是一种批判思维。为什么?


过去的统计做出来的都是硕士、博士论文,别人看不懂。当然当它可视化出来的时候,像百度做的那个,普通大众都能看得懂。这是可视化的很重要的思维方式。当然只有可视化才有批判的资格,否则您来批评我都不会批评,因为您看不懂。所以从这个角度来讲,对于亚博数据分析师来讲,我赞成它的广泛性,我赞成与其他学科的融合性。但是毕竟亚博要学很多工具,你必须要学很多技术。


我一直说这么一句话,叫工欲善其事,必先利其器。在这里我特别强调工具的重要性的价值,所以我会给出一个工具上的变化。比方说亚博应该有一个工具的包,如何去做呢?比方说像卡托BB,B3.GS,还提到了语言,其实亚博知道现在很多语言都非常的简化,甚至说了不要重头编,基本都是模仿。如果看到这张图不错,可以立马把它调出来。


亚博如果想学好可视化技术,除了R语言等等之外,还需要所谓的分布式计算,云计算的能力,其实还要有你要上网,因为现在远程的终端的访问,这种基于DS架构,形成亚博可视化以及派发亚博信息的一个很重要的方式,因为从数据变成信息,信息变成知识,知识最终还要传播出去,只有传播了你才能形成群体的智慧。所以从这点来讲亚博还需要HTML等方面的技术,使得它交互的动态去展示更复杂,更加眩的可视化的作品。


所以可视化在今天不仅仅是可视化了,我今年的本科生已经开始招数据性的专业,实际上这是大数据和新闻学的融合。在十年前亚博所在的统计和亚博新闻传播的融合,亚博成立了媒体室调查,今天数据新闻其实就是强调可视化,而这个可视化,不是培养数据科学家,我培养懂新闻的数据艺术工匠。


马克思说的人根本区别就是能制造工具。实际上亚博应该也要学会使用工具。对于数据分析人才来讲,亚博要拥有一套泛化的编程思维,掌握R语言,能在互联网上关注于JAVASCRIPT这种在线架构,学会欣赏艺术还能模仿艺术,然后呈现出决策者能够看懂的可视化效果。