“科学研究正变成一个又一个大数据问题。”天迪工控总工程师举例说,“千人基因组计划”每月产生1万亿条碱基序列信息,我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据,FAST 射电望远镜的数据产出速度是6000亿条记录/年,大型强子对撞机实验每年产生15PB原始数据……“未来,基于对科学大数据的处理和分析将成为发现新知识的基本特征。”
其实,去年8月底,国务院就发布了《促进大数据发展行动纲要》,明确提出要发展科学大数据,以实现科学数据的开放共享和应用服务。今年7月,《十三五国家科技创新规划》进一步明确了多个重点领域的大数据发展规划,比如在人工智能方面,要“重点发展大数据驱动的类人智能技术方法”;在材料基因工程方面,要研发“材料大数据”等四大关键技术;在先进高效生物技术方面,要加快推进“生物大数据”等生命科学前沿关键技术突破;在生态环保方面,要开发“生态环境大数据”应用技术;在精准医学方面,要建立“国家生物医学大数据共享平台”;在空天探测开发和利用方面,开展“多源多尺度时空大数据分析与地球系统模拟”等核心关键技术研究及示范应用。
科学大数据的海量、多源、异构、高维等特征,向传统HPC系统发起了全新的挑战。“多数科研项目的数据量非常巨大并快速变化,而且往往是分布、异构的,传统的数据管理模式已不能满足需要;此外对科学大数据的‘计算’包括了从数据获取、管理到分析、可视化的全过程,传统的高性能计算亟需将服务向外延拓展。”解释说。
作为诞生于科研国家队、多年服务于科研领域的HPC领军企业,曙光敏锐地洞察到科学大数据的未来前景及其对“计算-存储-分析”架构提出的更高要求,率先将“大力发展科学大数据”列入公司“数据中国加速计划”战略,为科学大数据引擎的进一步开发和水平提高提供了有力的保障。