2014年,是大数据试水和早期部署的一年;步入2015年,大数据更多地走进企业的生产环境中,企业正在积极地了解和探索大数据,从中发现淘金的机会。
根据IDC的最新研究结果,大数据市场的规模已经突破400亿美元,几乎是整个IT市场增幅的6倍。不仅如此,未来5年大数据仍然是增长快速、规模达数十亿美元的市场机会。
今年我们可以感受到,围绕着大数据的炒作似乎正在一点点降温,而这正表明大数据技术在不断成熟,渗透到企业机构的业务运营之中。
我们看到,大数据帮助许多行业解决业务难题,比如增强客户体验,改善流程效率,尤其是在交通、医疗、保险、媒体和通信、零售和银行等行业;另外一方面,是利用大数据部署信息项目,企业机构希望从大数据中掘到金,尤其是对银行业和制造业来说。
大数据的“4个V”相信大家已经很熟悉了,但是这4个V给企业IT基础架构究竟带来了怎样的挑战呢,传统的基础架构是否依然适用?
不久前,记者采访安徽合力叉车时得知,该公司近些年来的业务快速发展,导致了数据量的激增。目前,合力叉车SAP ERP系统数据量每月增长10%左右,更为紧迫的是,由于数据库主机磁盘繁忙率过高,已经严重影响了报表的查询速度与生成时间,拖累了工作效率,例如月结时间由最初上线时的几小时增加到十几,甚至几十个小时。
合力叉车IT负责人称,在大数据的背景下,制造业企业也面临着数据爆炸带来的机遇和挑战,业务快速发展急需对现有IT基础架构进行改造升级。
坐拥大数据的典型行业,银行业也正在发出同样的呼声。前不久记者在采访中了解到,中国工商银行的数据处理能力正在面临巨大挑战,不仅客户交易频次增加,使得历史数据、非结构化和半结构化数据越来越多,而且数据平台从以往传统交易系统中账户交易明细,向更多社交、用户信息和在线交易行为数据延伸。
该行以MPP架构为中心的数据仓库,经过多年积累了几百TB的结构化数据,涵盖存款贷款、中间业务、电子银行等交易系统数据。该行负责人称,目前工商银行正在寻找一些适合的技术和产品,对IT基础架构进行升级,以处理非结构化和半结构化数据、以及更多行外数据。
这张图以事实和数据说明,大数据和数据分析正在成为像合力叉车这样的制造业企业的核心。
以上这个两个例子说明,大数据正在并将继续变革着企业业务,使其成为大数据驱动的业务,但同时处于大数据探索不同阶段的企业,也要注意到随之而来的难题和挑战:
- 那些还没有大数据相关技术的企业机构,他们正在面对着如何从大数据中获得价值、制定战略等难题,甚至他们仍然在试图理解大数据是什么。
- 对已经开始逐步了解并且探索如何利用大数据的企业来说,他们面临的挑战也更加实际了,例如在哪个业务流程中运用大数据是最合适的,怎么优化大数据的部署,怎么更好地转化为实际的业务成果。
- 至于那些进一步加大对大数据投资的企业,就必须要考虑风险、监管、数据集成和基础设施方面的问题了。
不管怎样,在更广泛的ICT市场甚至是整个业务分析市场环境中,大数据市场正在快速从初始阶段走向成熟。在这个背景下,企业面临着数据爆炸以及利用新技术进行业务转型的双重压力,越来越多的企业认识到领先的IT基础架构为企业业务带来的独特价值。
为什么BDA扮演着越来越重要的角色?要知道,应对大数据的量、多样化和速度挑战,提高存储容量和计算能力是必须的手段。
不仅如此,从多样化的数据来源中获得价值,例如社交媒体数据、机器数据和传感器数据,甚至是自由格式的文本数据,这不仅需要不同的工具和利用这些数据的技能,更离不开基础架构提供更大的存储容量和更高的计算能力。
那么理想的大数据基础架构应该是什么样的,你知道吗?在下一篇文章中,我们将详细讨论大数据基础架构的重要性和特点,敬请关注!
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
NVIDIA研究团队开发的OmniVinci是一个突破性的多模态AI模型,能够同时理解视觉、听觉和文本信息。该模型仅使用0.2万亿训练样本就超越了使用1.2万亿样本的现有模型,在多模态理解测试中领先19.05分。OmniVinci采用三项核心技术实现感官信息协同,并在机器人导航、医疗诊断、体育分析等多个实际应用场景中展现出专业级能力,代表着AI向真正智能化发展的重要进步。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
Salesforce研究团队发布BLIP3o-NEXT,这是一个创新的图像生成模型,采用自回归+扩散的双重架构设计。该模型首次成功将强化学习应用于图像生成,在多物体组合和文字渲染方面表现优异。尽管只有30亿参数,但在GenEval测试中获得0.91高分,超越多个大型竞争对手。研究团队承诺完全开源所有技术细节。