互联网的发展给人们生活品质带来极大的提升。更便捷的购物,更便捷的交通,更安全的出行,更丰富的教育资源等等。我们应该思考一下,互联网带给了我们这些便利。但是事物是两面性的,当我们在应用这些便捷生活方式的时候?谁在处理背后看不见的复杂呢?
比如我们每时每刻接受到的天气预报,某省的气象服务要检测上千气象监测站,媒体新产生的数据是几百TB,这些数据是如何存储如何分析如何利用的?比如城市警务系统对各个业务而产生的海量数据如何处理?以及今天银行业务的海量增长,银行业务的效率如何提升?这些复杂的问题怎么办呢?
就像上述问题,传统的存储、服务器、网络产品组合已经解决不了这些问题了。今天各种应用不仅种类繁多,而且从数据量上来说都是极大的数字。关键是数据增长,已经不是呈一个线性增长了,而是呈一个指数性的增长。现在每年产生的数据可能都比前几年加起来多。这就对企业数据中心的IT架构带来了很大的冲击。
浪潮大数据事业部产品经理高亚坤表示目前IT架构面临的几个问题:存不起、扩不了和算不出。
存不起:传统存储设备成本过高,用户保有数据成本高达5000美元/PB。
扩不了:传统IT技术资源不能共享,水平扩展能力不足,跟不上数据的快速增长;
算不出:海量的非结构化数据难以通过传统的技术手段进行处理,传统Scale up垂直架构模式在应对海量互联网业务数据处理时,出现了瓶颈,需要Scale out水平扩展架构进行支撑;
针对传统IT架构已经不能满足大数据的需求这个瓶颈,浪潮提出了大数据观,并围绕大数据观打造了全新的产品。浪潮认为围绕大数据的解决方案和服务提供包括几个层面:第一是数据的采集;第二是数据的存储;第三是数据的计算;第四是组件能力的服务化。
借此浪潮推出的云海大数据一体机,是浪潮在“持续深化计算+”战略背景下,在大数据领域的又一次创新和尝试。浪潮云海大数据一体机具有融合高效、敏捷易用、企业级增强等特点,内置云海insight大数据平台组件,并可按需定制云海IOP服务模块。具体来说,云海Insight大数据处理平台主要用于对海量结构化、半结构化、非结构化数据进行采集、处理、分析、展现。云海大数据一体机涵盖云海Insight平台组件能力,是软硬一体化、开箱即用的大数据解决方案型产品;云海IOP作为一个PaaS平台实现组件化的打包交,帮助用户快速高效的进行应用创新。。
浪潮云海大数据一体机SDA50000,预装浪潮云海Insight大数据套件的分布式数据仓库模块,以大规模并行处理(MPP)技术,实现高性能的数据库仓库应用;
浪潮云海大数据一体机SDA70000,预装浪潮云海Insight大数据套件的分布式计算引擎,以Hadoop技术,高效处理海量结构化、非结构化、半结构化数据;
后续会推出采用超融合架构的新一代浪潮云海大数据一体机,并提供更强大的大数据业务处理能力。
云海大数据一体机优化了20多项关键组件,同时增强了30多项企业级特性,其横向节点扩展能力可高达4000节点以上。具体的功能特性有以下四个方面:
开箱即用,易于部署,只需插电、连接网络、启动等简单几步即可开始使用,运维效率提升50%。组件化交付,一体化运维。一站完成对大数据软件、计算、网络和存储单元的运维管理,无需频繁切换控制台。
采用新型Scale-out分布式并行计算架构,横向扩展节点可达4000+;高效融合架构,计算向数据存储靠拢,多表组合可达13GB/分钟/节点;柜内数据交换,计算、存储和网络集中池化,资源利用率提升40%。
拥有企业级RAS特性,关键部件N+N冗余,二级管理节点维生机制,平台可靠性可达99.999%;30项分布式文件系统特性优化,速度提高20%;例如小文件存储优化、数据导入自动创建二级索引等数据特性进行优化。整合20项关键组件,适配多种计算场景。提供Hbase、HDFS、Hive、Storm等关键组件,适配流式计算、离线处理、交互式分析、迭代预测、图计算等多种计算场景。
兼容SQL-92/99/2003、OLAP扩展,PL/SQL兼容度超过92%;提供基于MADLib的高级机器学习和数据挖掘功能;无需数据导入,即可直接访问HDFS、Hive、HBase数据。实现应用开发者不需要太多关心技术细节,而把主要精力用在顶层设计和应用的功能实现上。
综合来看,云海大数据一体机可满足非结构化、半结构化和结构化数据的数据类型,能够实现数据的采集、存储、离线分析、实时分析、交叉分析、比对碰撞、内容检索、特征提取等应用需求。
大数据应用只有深入行业,才能发挥价值。这也正是浪潮独有的优势。浪潮在中国信息化领域20多年的耕耘,成功为公安、气象、交通、卫生、教育、金融、电信、银行、金融、证券、保险、审计等各大行业提供解决方案。
高亚坤分享了浪潮云海大数据一体机在行业中的应用。在某市的公安警务云中,浪潮组合采用分布式、大数据等先进技术,帮助客户快速搭建了松耦合、高性能、弹性伸缩、安全可靠的警务云计算平台。以分布式文件系统、NoSQL数据库、MPP数据库为核心,以内存数据库为补充,实现超大规模存储、超快计算以及超强数据分析。该项目整合了2.8PB数据,实现了创新的大数据特色应用,如比对碰撞、警务千度,很好地服务于公安打、防、管、控、服等工作。由于采用整机柜服务器模式,满柜搭载32节点1U标准服务器,为客户节省75%的机房空间,整体功耗降低约66%;使用统一的可视化管理监控模块,运维管理工作降低50%以上。
在某省气象局,浪潮通过云海大数据一体机产品和专业服务,帮助该省气象局建设大数据创新实验室。利用其丰富的气象资源和专家力量,初步打造成“气象万千”示范工程,整合PB级别的气象数据,探索气象与农业、交通、旅游、健康等气象创新应用百余个。利用大数据一体机产品,将繁琐的大数据环境搭建过程在生产线完成,建设周期缩短50%,建设成本节约60%。
给客户带为价值,用成功案例说话,会让浪潮的大数据业务越走越坚实,浪潮的大数据业务未来的发展值得期待。
好文章,需要你的鼓励
谷歌深度思维团队开发出名为MolGen的AI系统,能够像经验丰富的化学家一样自主设计全新药物分子。该系统通过学习1000万种化合物数据,在阿尔茨海默病等疾病的药物设计中表现出色,实际合成测试成功率达90%,远超传统方法。这项技术有望将药物研发周期从10-15年缩短至5-8年,成本降低一半,为患者更快获得新药治疗带来希望。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
哈佛医学院和微软公司合作开发了一个能够"听声识病"的AI系统,仅通过分析语音就能预测健康状况,准确率高达92%。该系统基于深度学习技术,能够捕捉声音中与疾病相关的微妙变化,并具备跨语言诊断能力。研究团队已开发出智能手机应用原型,用户只需完成简单语音任务即可获得健康评估,为个性化健康管理开辟了新途径。