未来曙光,数据领航-“I9000大数据生态系统的架构和实操讲座”
发布时间:2017-05-07

       中科曙光与教育部自去年开始联合实施百校工程项目,计划在百所高校部署大数据处理的节点,并进而联网形成覆盖全国的超级大数据平台,而I9000大数据生态系统正是构建这一平台的核心系统。2017年5月5日,为了能尽快充分发挥百校工程项目所部署的I9000平台的效能,由中科曙光的技术专家主讲的“I9000大数据生态系统的架构和实操讲座”在西南大学计科学院举行,该院近百名教研人员和研究生几乎都参与了此次活。

       中科曙光教育合作中心总经理李凯认为,大数据技术与产业发展的真正指标,其实是大数据在行业应用中的研发水平和有效部署。随着当前大数据领域的快速演化,涌现出大量的开源技术工具,它们在各个专门的技术领域虽然具有强大的功能,但并没有也不可能过多考虑到工具间的整合以及在行业应用中的具体情景,而大数据行业应用的研发恰恰是经常需要综合运用这些工具,因此真实的行业应用的研发常常面临难度大、效率低的局面。I9000大数据生态系统所实现的核心功能,就是对主流的大数据技术工具的整合,并在此基础上构建出快速有效的研发部署大数据行业应用的工作环境。

        从大数据行业应用研发的角度看,大数据应用所涉及的典型任务包含数据的提取、处理、存储、分析及应用。针对各类任务,I9000平台以组件的形式封装了当前主流工具的功能,同时也提供了多种主流开发语言的支持。在I9000平台的设计中,考虑了三种不同类型的用户:数据科学家、 应用程序开发人员和系统操作员, 针对每类用户的工作特点以及它们在安全性、 性能和协作方面的具体需求进行了优化设计。这些就为大数据行业应用的开发提供了强大而易用的研发环境

       I9000平台建立了组件的封装、组合、调用、交易等一系列开放的标准解决方案,使得各校的应用研发能力可以协同工作,无缝整合,构建出覆盖全国的大数据行业-技术生态圈。从I9000系统所包含的市场中可以看到,它可以根据需求轻松集成和设置工具和服务,可以通过一个简单的基于浏览器的界面从服务目录中选择组件以及创建每个组件的实例。应用程序开发人员、数据科学家以及系统操作员都能够灵活选择他们要用于提取、存储以及处理数据的工具和服务,而他们所完成的功能与服务,也可以便利地提交到I9000市场中,进而应用在协作的情景中。

        根据I9000平台的技术参数所显示,百校联网的超级大数据平台具有100PB的数据规模,50万通用核和100万流处理核的计算能力,考虑到百校工程项目所囊括的不同地域、行业、背景的人才,据估有大约600名各校的学术带头人,5000名科研人员的团队,而通过校企共建的大数据学院,未来计划要培养10万-20万名大数据工程师,这一大数据超级平台,它所整合的硬件实力、计算资源,人才储备,足以支撑它参与到影响大数据技术的未来走向的前沿研究,成为我国大数据发展战略的一个重要支点。