2014年,是大数据试水和早期部署的一年;步入2015年,大数据更多地走进企业的生产环境中,企业正在积极地了解和探索大数据,从中发现淘金的机会。
根据IDC的最新研究结果,大数据市场的规模已经突破400亿美元,几乎是整个IT市场增幅的6倍。不仅如此,未来5年大数据仍然是增长快速、规模达数十亿美元的市场机会。
今年我们可以感受到,围绕着大数据的炒作似乎正在一点点降温,而这正表明大数据技术在不断成熟,渗透到企业机构的业务运营之中。
我们看到,大数据帮助许多行业解决业务难题,比如增强客户体验,改善流程效率,尤其是在交通、医疗、保险、媒体和通信、零售和银行等行业;另外一方面,是利用大数据部署信息项目,企业机构希望从大数据中掘到金,尤其是对银行业和制造业来说。
大数据的“4个V”相信大家已经很熟悉了,但是这4个V给企业IT基础架构究竟带来了怎样的挑战呢,传统的基础架构是否依然适用?
不久前,记者采访安徽合力叉车时得知,该公司近些年来的业务快速发展,导致了数据量的激增。目前,合力叉车SAP ERP系统数据量每月增长10%左右,更为紧迫的是,由于数据库主机磁盘繁忙率过高,已经严重影响了报表的查询速度与生成时间,拖累了工作效率,例如月结时间由最初上线时的几小时增加到十几,甚至几十个小时。
合力叉车IT负责人称,在大数据的背景下,制造业企业也面临着数据爆炸带来的机遇和挑战,业务快速发展急需对现有IT基础架构进行改造升级。
坐拥大数据的典型行业,银行业也正在发出同样的呼声。前不久记者在采访中了解到,中国工商银行的数据处理能力正在面临巨大挑战,不仅客户交易频次增加,使得历史数据、非结构化和半结构化数据越来越多,而且数据平台从以往传统交易系统中账户交易明细,向更多社交、用户信息和在线交易行为数据延伸。
该行以MPP架构为中心的数据仓库,经过多年积累了几百TB的结构化数据,涵盖存款贷款、中间业务、电子银行等交易系统数据。该行负责人称,目前工商银行正在寻找一些适合的技术和产品,对IT基础架构进行升级,以处理非结构化和半结构化数据、以及更多行外数据。
这张图以事实和数据说明,大数据和数据分析正在成为像合力叉车这样的制造业企业的核心。
以上这个两个例子说明,大数据正在并将继续变革着企业业务,使其成为大数据驱动的业务,但同时处于大数据探索不同阶段的企业,也要注意到随之而来的难题和挑战:
- 那些还没有大数据相关技术的企业机构,他们正在面对着如何从大数据中获得价值、制定战略等难题,甚至他们仍然在试图理解大数据是什么。
- 对已经开始逐步了解并且探索如何利用大数据的企业来说,他们面临的挑战也更加实际了,例如在哪个业务流程中运用大数据是最合适的,怎么优化大数据的部署,怎么更好地转化为实际的业务成果。
- 至于那些进一步加大对大数据投资的企业,就必须要考虑风险、监管、数据集成和基础设施方面的问题了。
不管怎样,在更广泛的ICT市场甚至是整个业务分析市场环境中,大数据市场正在快速从初始阶段走向成熟。在这个背景下,企业面临着数据爆炸以及利用新技术进行业务转型的双重压力,越来越多的企业认识到领先的IT基础架构为企业业务带来的独特价值。
为什么BDA扮演着越来越重要的角色?要知道,应对大数据的量、多样化和速度挑战,提高存储容量和计算能力是必须的手段。
不仅如此,从多样化的数据来源中获得价值,例如社交媒体数据、机器数据和传感器数据,甚至是自由格式的文本数据,这不仅需要不同的工具和利用这些数据的技能,更离不开基础架构提供更大的存储容量和更高的计算能力。
那么理想的大数据基础架构应该是什么样的,你知道吗?在下一篇文章中,我们将详细讨论大数据基础架构的重要性和特点,敬请关注!
好文章,需要你的鼓励
机器人和自动化工具已成为云环境中最大的安全威胁,网络犯罪分子率先应用自动化决策来窃取凭证和执行恶意活动。自动化攻击显著缩短了攻击者驻留时间,从传统的数天减少到5分钟内即可完成数据泄露。随着大语言模型的发展,"黑客机器人"将变得更加先进。企业面临AI快速采用压力,但多数组织错误地关注模型本身而非基础设施安全。解决方案是将AI工作负载视为普通云工作负载,应用运行时安全最佳实践。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
面对心理健康专业人士短缺问题,谷歌、麦肯锡和加拿大重大挑战组织联合发布《心理健康与AI现场指南》,提出利用AI辅助任务分担模式。该指南构建了包含项目适应、人员选择、培训、分配、干预和完成六个阶段的任务分担模型,AI可在候选人筛选、培训定制、客户匹配、预约调度和治疗建议等环节发挥作用。该方法通过将部分治疗任务分配给经过培训的非专业人员,并运用AI进行管理支持,有望缓解治疗服务供需失衡问题。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。