- 通识教育
- 正文
数据科学的发展史
“数据科学”这一术语的流行要早于“大数据”的出现(就像“数据”一词要早于“计算机(computer)”400年出现)。1962年,当John W. Tukey写了《数据分析的未来》(The Future of Data Analysis),他预见了数据分析的新方法的崛起相比于方法论来说更像是一门科学。1974年,Peter Naur在瑞典和美国出版了《计算机方法的简明调查》(Concise Survey of Computer Methods)。尽管这仅仅是对当时的数据分析方法的综述,但这本书却第一次定义了数据科学是“一门研究数据处理的科学,在创立之初,数据与它所表示的事物之间的关系属于其他学科领域的范畴”。所以,在那时,任何有熟练计算机知识同时有理解数据语义的人都在一定程度上算是一名数据科学家。因为没有精致的工具,没有神奇的范式,也没有新科学做它的支撑,所以这个词过了这么久才流行起来也一点儿都不奇怪了。
由于在之后的10年里,计算机技术与统计学开始交汇,Tukey的观点开始显现出来,尽管这种变化显得十分细小。直到20世纪80年代,它才开始通过一项在数据科学界十分出名的方法得到发展,而这个方法就是数据挖掘。随着时间脚步的行进,数据的科学化处理达到了新的高度,而数据科学则在1996年叩响了学术界的大门。1996年,在日本的神户,分类学社团国际联合会(International Federation of Classification Societies)举行了一个大会,大会的名称叫“数据科学、分类学以及相关方法”(Data Science, Classification and Related Methods)。它使得数据科学在学术圈内声名鹊起,同时也使得它与其他的数据分析术语(例如分类学)区别开来。显然,数据科学的涵盖范围要大得多,这使得数据科学渐渐成为了一支独立学科。
在之后的1997年,《数据挖掘与知识发现杂志》创刊了,定义了数据挖掘是“从大数据集中抽取信息”的概念,这是第一次数据科学方法在科学界得到了与工业界内一样的流行与认可。这个方法我们会在第11章“数据科学的处理流程”中再次遇到。
随着数据库变得更大,数据科学的角色在20世纪90年代后期的出镜率也变得更高。这种观点也随着 Jacob Zahavi在他1999年的文章“为知识中的金矿而挖掘数据”中得到放大。他写道“传统统计方法在小数据集中可以运行得很好。然而,今天的数据集可能会涉及上百万行以及上百列的数据。扩展性是数据挖掘中的一个巨大问题,另一个技术挑战在于开发出更适于分析数据,发现非线性关系以及元素间相互作用的模型,以及专用的数据挖掘工具来帮助网站进行决策”。这非常清晰地勾画了数据分析的新框架,而数据科学则是在将来帮助解决这个需求的领域。
进入2000年后,关于数据科学的出版物开始呈现增长态势,尽管主要在学术范围内。关于数据科学的报刊杂志以及书籍变得越来越多,同时吸引了大量研究者的关注。在2005年9月,如我们在上一章节内提到的,“数据科学家”一词在一篇政府报告中被第一次定义了(尽管只是一般的表述)。之后,在2007年,数据科学重点实验室在中国上海成立了。
2009年对数据科学来说是重要的一年。朱扬勇与熊赟,两位是之前提到的重点实验室的研究员,在他们的“数据学导论”中提到,数据科学是一门新的科学,明显地不同于自然科学与社会科学。此外,在2009年1月,Hal Varian(谷歌首席经济学家)提出,在接下来的10年里,统计学家(当别人并不非常熟悉数据学时,也会被用来指称数据科学家)将会是一个迷人的职业。最终,在2009年6月,Nathan Yau的文章《数据科学家的崛起》被刊载于《Flowing Data》,使得数据科学家这一角色对于非学术世界的人们变得熟悉起来。
在现在这个10年(2010~2020年)中,关于数据科学的出版物变得丰富,尽管除了你正在读的这本书之外,还没有权威的信息途径论述如何有效地成为数据科学家。“数据科学”一词得到了具体地定义,其精华则被总结在Drew Conway 在2010年9月的韦恩图中(见图2.1)
图2.1所示为Conway关于数据科学的韦恩图,图例展示了数据科学的主要组成部分以及它与机器学习和传统研究的差别。通过“Danger Zone”(危险区域),他大致是指“黑客/解密者”对计算机系统的安全危害(图片源: DrewConway)。
他的话提供了对成为数据科学家更深刻的理解,“一个人需要学习许多知识去变成他所渴望成为的全能数据科学家。但不幸的是,仅仅通过读书和辅导练习并不能解开这些扭结。因此为了简化讨论,同时也把我的思考放到已经拥挤不堪的创意市场里去,我将数据科学的韦恩图呈上……黑客技术、数学和统计学知识,还有专业知识。
最终,在2012年9月,Hal Varian的这10年里迷人的职业的表述竟演变成一篇文章,并刊登于哈佛商业评论(“数据科学家:21世纪里最性感的职业” ),这篇文章更是引爆了大众对数据科学家这一角色重要性的认知。
——内容节选自异步社区《数据科学家修炼之道》,有删改