大数据分析将帮助我们探索宇宙

能够为如此具有野心的科研项目工作可不是常有的事，不过我算是个幸运儿：这正是我每天在办公室做的。我的工作是帮助设计“方形公里阵列”（简称SKA）的技术蓝图。在10个国家、上千名科学家、和上百个公司的支持下，SKA将成为世界上最庞大最强劲的射电望远镜、引领认知计算新领域的技术保证。

这架由3000个铺洒在非洲南部和澳洲西部的碟片组成的巨型望远镜将通过回望最早的恒星形成之前的时间段、调整宇宙的未知领域来解决宇宙起源与进化的最基本问题。

更复杂的是，建造SKA系统是一个终极的大数据挑战。每天，500000个天线会从外太空接收大小达到前所未有的14艾字节的巨量无线电信号数据。这个数据量是因特网每日产生的数据量的两倍大小。

如何把这些来自于不同天线的海量数据整合到一起？如何存储和区分这些数据？同时又如何节省可能消耗一整座小镇的资源？回答这些问题要求在系统设计、存储、分析和人工智能上的巨大进步。这个过程将会促进认知计算系统的产生，这种系统可以在处理数据的同时自我学习，能更好地理解我们需要知道什么。

SKA能够并且必须促进认知计算。即使无线电信号被削减至每天一定预期拍字节的数据，那个量仍然是巨大的。只有能自我学习与思考的系统才能处理这些数据，区分哪些是重要的，哪些没有那么重要。

专家们正在研究的第一步是教会系统辨认出那些天文学家感兴趣的特定模式的数据，以能够自动筛选出这些数据。下一步就要发明一种机器，可以确定某种特定模式的数据并展示给研究员，使研究员将之保存为信息。于是系统可以通过自我学习，知道去标记哪些数据。

或者想一下另一种挑战。1个拍字节的有用数据，在3年后会变成1个艾字节的数据，10年后会超过3个艾字节。到时候又如何存储这么巨量的数据？如果尝试在计算机硬盘上快速访问这些数据，你将会很快收到一份令人印象深刻的电费单。同时，计算机本身运算太快了，大部分人不会意识到计算机其实并没有像之前那么快了。随着我们收集更多的数据，我们会需要更明智的方法来跨越这些技术和成本的障碍。

认知计算在这里扮演了一个重要的角色。我们能够创造机器，可以知道数据应该被存储在哪里，是能够在硬盘上快速访问，是作为备份的磁带，还是新一代的大容量闪存，并且对数据进行动态化和低成本的管理。