原作者:
来源
译者
关于信息管理的特别报告
信息,无处不在的信息
信息已经从稀缺变为过量。这带来了全新的巨大益处,肯尼思·库克(访谈见)说道——但是也令人xx
自从斯隆数字巡天于2000年开始工作,头几个星期它在新墨西哥州的望远镜收集到的数据量就超过了整个天文学历史的积累数据量。如今,10年后,其档案中包含的信息量高达140万亿字节。而其继任者,因2016年即将到来的智利流而诞生的‘大口径综合巡天望远镜’,每五天就将获得这么大的数据量。
如此天文数字的信息也更加接近地球。零售巨头沃尔玛每小时都要处理100多万笔客户交易,数据库估计超过2500万亿字节——相当于美国国会图书馆书籍数的167倍(见解释如何量化数据的)。社会化网络网站Facebook存有400亿张照片。还有,解码人类基因组的分析涉及30亿基本组对——2003年{dy}次分析时需要花费十年,但现在一周内就能完成。
所有这些例子说明同一个故事:这个世界包含着难以想象的巨量数字信息,人类对信息的获取益发广阔益发迅速。这样就有可能做到以前无法实现的许多事:现场业务趋势,预防疾病,打击犯罪等等。如果管理得当,这些数据可以用于解锁经济价值新来源,为科学提供崭新见解,令政府担当责任。
但是它们也带来许多新的问题。尽管存在用于收集、处理和共享所有信息的大量工具——传感器、计算机、手机之类——它还是超过了可用的存储空间(见图表1)。此外,随着信息被增殖并在全球更广泛共享,确保数据安全和保护隐私的难度变得更大。
美国约翰霍普金斯大学天体物理学家亚历克·绍洛伊指出,数据的增殖使他们越来越无法访问。“如何理解所有这些数据?人们应该担心我们如何培养下一代,不仅是科学家,还有政府和工业界人士,”他说。
“正因为如此之多的信息,我们如今处在一个不同于以往的阶段,”IBM著有十几本社会信息史书籍的詹姆斯·科尔塔达如是说道。而加州大学伯克利分校的计算机科学家乔·赫勒斯坦称之为“数据的工业革命”。其影响处处可见,从商业到科学,从政府到艺术。科学家和计算机工程师们为这一现象创造了一个新名词:“庞大数据(big data)”。
从认识论角度来讲,信息由数据收集构成,而知识由不同种类的信息构成。但是,在本特殊报告中“数据”和“信息”两词可以互换,因为事实表明两者越来越难以分辨开来。只要有足够的原始数据,如今的算法和功能强大的计算机就能揭露出以前一直隐藏的全新见解。
信息管理业务——帮助企业理解其增殖数据——的增长突飞猛进。近年来,Oracle、IBM、微软还有介于它们之间的SAP公司已经花费150多亿美元,用于购买专攻数据管理和分析的软件公司。该行业估计价值超过1000亿美元,年增长接近10%,约两倍于整个软件业务增长速度。
首席信息官们(CIOs)在高级执行层已经较为突出,另外还出现了一种新型专业人才:数据科学家,他们结合软件程序员、统计员和故事讲述者/艺术家的技能于一身,从堆积如山的数据中沙里淘金。谷歌的首席经济学家哈尔·瓦里安预测说,统计员工作将成为“最性感”相关工作。他解释说,数据广泛可用;所缺少的是从中获取智慧的能力。
更多的一切
信息爆炸的原因有很多。其中最明显的是技术。随着数字装置能力飙升而价格骤跌,传感器和小装置将大量以前无法使用的信息数字化。而且更多的人能够获有更强大的工具。例如,全球有46亿手机订阅用户(尽管很多人拥有一个以上,所以全世界68亿人并不像数字表明的那样装备精良),还有10到20亿人使用互联网。
此外,现在有更多的人与信息互动。 1990至2005年期间,全球有超过10亿人进入中产阶级。随着他们更加富有,他们变得更有文化,这推动了信息增长,科尔塔达先生指出。这种结果在政治、经济和法律方面也有体现。“科学革命往往由测量革命带路先行,”纽约大学商业学教授思南·阿拉尔说道。正如显微镜将xx暴露从而改革了生物学,而电子显微镜改变了物理学一样,所有这些数据都转而对社会科学进行颠覆,他解释说。研究人员现在能够从人口水平而不是个人层面上理解人类行为。
数字信息量每5年增长10倍。计算机行业目前公认的摩尔定律讲述,几乎每18个月计算机芯片的处理能力和存储容量翻一倍或价格减半。软件程序也越来越好。普林斯顿大学计算机科学家爱德华·法尔顿认为,算法驱动的计算机应用程序改进在数十年中扮演着与摩尔定律同样重要的作用。
如今大量信息被共享。根据通信设备制造商Cisco统计,到2013年,互联网上的年流量将达到667EB(10的18次方字节)。而且数据量不断增长,速度快过网络承载能力。
长久以来人们一直抱怨说他们被信息淹没。早在1917年,康涅狄格州一家制造公司的经理就抱怨电话带来的影响,说:“浪费时间,产生混乱,还花钱。”然而,现如今发生的事情超出了增量增长方式。量的变化已经导致质的区别。
信息从匮乏转向过剩具有广泛的影响。“我们看到的是能够拥有围绕数据之经济形式的能力——而这对于我来说是社会性甚至宏观经济层面的一大变化,”微软研究及策略主管克瑞格·蒙迪说道。数据正在成为商业新原料:几乎等同于资本和劳动力的一种经济投入。“每天我醒来都自问,‘我怎样才能让数据流动得更好,管理得更好,分析得更好?”沃尔玛首席信息官罗林·福特如是说。
精密定量分析如今应用于生活的许多方面,不像过去那样仅用于导弹弹道或金融对冲策略。例如,微软搜索引擎Bing的一部分FareCast,可以通过检索2250亿次航班和价格记录,来建议用户是现在购买机票抑或等待价格下降。同样理念正扩展应用到酒店房间、汽车和类似项目中。个人理财网站和银行正聚合其客户数据以显示宏观经济趋势,这可能发展成为它们自己拥有的配套业务。对数字在行的人们甚至发现了日本相扑比赛中的假赛。
点石成金
“数据排放”——互联网用户在可提取价值的数据中留下的点击轨迹——正在成为互联网经济的支柱。一个例子是谷歌的搜索引擎,部分程度上受某条记录的点击数指导,以帮助确定其与搜索项的相关性。如果针对搜索词所列出的第八条是人们访问最多的一条,算法就把这条位序升高。
随着世界越来越数字化,对数据进行汇总和分析有可能也会为其他领域带来巨大益处。举例来说,微软的蒙迪先生和谷歌老板埃里克·施密特均跻身总统工作队,对美国医疗保健进行改革。“早在这个过程之初,埃里克和我就都说:‘瞧,如果你真的想改革医疗保健,基本上你要围绕人们的相关数据建立一种医疗保健经济体’,”蒙迪解释说。“你不要只把数据想成是提供保健服务的‘排放’,而应该让它们成为核心资产,可以借助它们来找出你应如何改善医疗保健的方方面面。这是一个小倒置。”
可以肯定的是,数字化记录应能使医生生活更轻松,使医疗提供者和病人降低成本,并提高医疗质量。对数据进行汇总还能进一步发掘,以发现不必要的xx相互作用,找出xxx的xx手段,在症状出现之前预测发病。计算机已经在尝试做这些事,但尚需为它们明确编程。在庞大数据的世界中,相关数据几乎是自行浮出水面。
有时,这些数据揭露出意图以外的真相。例如,加利福尼亚奥克兰市在一个私人网站Oakland Crimespotting上发布信息,公布逮捕的地点和时间。有时点击几下就能披露出,警方每晚都席卷一条卖淫繁忙的街道,只周三除外,这可能是他们本想保密的一种策略。
但是庞大数据还会产生远比这更为严重的后果。在近来的金融危机中,很明显银行和信用评级机构已经依赖于模型,尽管他们输入大量信息用于建模,但模型仍没有反映出现实世界中的金融风险。这是由庞大数据引发的{dy}次危机——今后还会有更多。
信息的管理方式涉及生活的各个领域。在20世纪之交,借助电报电话之类渠道的新型信息流对于大规模生产给予了支持。今天,海量数据的可用性使得公司能够满足世界各地的小众市场。过去,经济生产以工厂为基础,管理人员钻研每台机器每步工艺,使之更有效率。现在,统计人员发掘业务的信息输出以找寻新思路。
“以数据为中心的经济正处于萌芽状态,”微软的蒙迪先生承认说。“你能看出它的轮廓,但是技术、基础设施、甚至商业模式的意义目前还不太清楚。”这一特殊报告将指出其浮出水面的起始点。
No related posts.