2014年,是大数据试水和早期部署的一年;步入2015年,大数据更多地走进企业的生产环境中,企业正在积极地了解和探索大数据,从中发现淘金的机会。
根据IDC的最新研究结果,大数据市场的规模已经突破400亿美元,几乎是整个IT市场增幅的6倍。不仅如此,未来5年大数据仍然是增长快速、规模达数十亿美元的市场机会。
今年我们可以感受到,围绕着大数据的炒作似乎正在一点点降温,而这正表明大数据技术在不断成熟,渗透到企业机构的业务运营之中。
我们看到,大数据帮助许多行业解决业务难题,比如增强客户体验,改善流程效率,尤其是在交通、医疗、保险、媒体和通信、零售和银行等行业;另外一方面,是利用大数据部署信息项目,企业机构希望从大数据中掘到金,尤其是对银行业和制造业来说。
大数据的“4个V”相信大家已经很熟悉了,但是这4个V给企业IT基础架构究竟带来了怎样的挑战呢,传统的基础架构是否依然适用?
不久前,记者采访安徽合力叉车时得知,该公司近些年来的业务快速发展,导致了数据量的激增。目前,合力叉车SAP ERP系统数据量每月增长10%左右,更为紧迫的是,由于数据库主机磁盘繁忙率过高,已经严重影响了报表的查询速度与生成时间,拖累了工作效率,例如月结时间由最初上线时的几小时增加到十几,甚至几十个小时。
合力叉车IT负责人称,在大数据的背景下,制造业企业也面临着数据爆炸带来的机遇和挑战,业务快速发展急需对现有IT基础架构进行改造升级。
坐拥大数据的典型行业,银行业也正在发出同样的呼声。前不久记者在采访中了解到,中国工商银行的数据处理能力正在面临巨大挑战,不仅客户交易频次增加,使得历史数据、非结构化和半结构化数据越来越多,而且数据平台从以往传统交易系统中账户交易明细,向更多社交、用户信息和在线交易行为数据延伸。
该行以MPP架构为中心的数据仓库,经过多年积累了几百TB的结构化数据,涵盖存款贷款、中间业务、电子银行等交易系统数据。该行负责人称,目前工商银行正在寻找一些适合的技术和产品,对IT基础架构进行升级,以处理非结构化和半结构化数据、以及更多行外数据。
这张图以事实和数据说明,大数据和数据分析正在成为像合力叉车这样的制造业企业的核心。
以上这个两个例子说明,大数据正在并将继续变革着企业业务,使其成为大数据驱动的业务,但同时处于大数据探索不同阶段的企业,也要注意到随之而来的难题和挑战:
- 那些还没有大数据相关技术的企业机构,他们正在面对着如何从大数据中获得价值、制定战略等难题,甚至他们仍然在试图理解大数据是什么。
- 对已经开始逐步了解并且探索如何利用大数据的企业来说,他们面临的挑战也更加实际了,例如在哪个业务流程中运用大数据是最合适的,怎么优化大数据的部署,怎么更好地转化为实际的业务成果。
- 至于那些进一步加大对大数据投资的企业,就必须要考虑风险、监管、数据集成和基础设施方面的问题了。
不管怎样,在更广泛的ICT市场甚至是整个业务分析市场环境中,大数据市场正在快速从初始阶段走向成熟。在这个背景下,企业面临着数据爆炸以及利用新技术进行业务转型的双重压力,越来越多的企业认识到领先的IT基础架构为企业业务带来的独特价值。
为什么BDA扮演着越来越重要的角色?要知道,应对大数据的量、多样化和速度挑战,提高存储容量和计算能力是必须的手段。
不仅如此,从多样化的数据来源中获得价值,例如社交媒体数据、机器数据和传感器数据,甚至是自由格式的文本数据,这不仅需要不同的工具和利用这些数据的技能,更离不开基础架构提供更大的存储容量和更高的计算能力。
那么理想的大数据基础架构应该是什么样的,你知道吗?在下一篇文章中,我们将详细讨论大数据基础架构的重要性和特点,敬请关注!
好文章,需要你的鼓励
PDF协会在欧洲会议上宣布,将在PDF规范中添加对JPEG XL图像格式的支持。尽管Chromium团队此前将该格式标记为过时,但此次纳入可能为JXL带来主流应用机会。PDF协会CTO表示,选择JPEG XL作为支持HDR内容的首选解决方案。该格式具备广色域、超高分辨率和多通道支持等优势,但目前仍缺乏广泛的浏览器支持。
华东理工大学团队开发了3DEditFormer系统和3DEditVerse数据集,首次实现了无需手工3D遮罩的高质量3D模型编辑。该技术通过双重引导注意力和时间自适应门控机制,让3D编辑变得像2D修图一样简单直观,在游戏开发、影视制作、AR/VR等领域具有广阔应用前景,标志着3D编辑技术向普及化迈出重要一步。
Ironclad OS项目正在开发一个新的类Unix操作系统内核,面向小型嵌入式系统,计划支持实时功能。该项目的独特之处在于采用Ada编程语言及其可形式化验证的SPARK子集进行开发,而非常见的C、C++或Rust语言。项目还包含运行在Ironclad内核上的完整操作系统Gloire,使用GNU工具构建以提供传统Unix兼容性。
上海AI实验室联合多所高校突破多模态AI训练难题,提出NaViL原生训练方法。通过预训练语言模型起点、混合专家架构和视觉-语言能力最佳平衡三大创新,在有限资源下实现与拼装式模型相当性能。该研究证明原生训练的可行性,为AI真正理解图文结合提供新思路,有望在教育、医疗等领域带来更自然的人机交互体验。