近日,华为云发布了深度学习服务,要让企业智能从此不求人。那么华为云的深度学习服务有哪些能力,为什么能够做到让企业智能从此不求人呢。
化繁为简-无需编程,自动训练企业业务模型
企业进行深度学习训练的第一个困难是技术难度高。企业要进行深度学习的模型训练,有很高的技术门槛。比如要自己搭建深度学习平台,要有懂得编程的技术人员,还要有海量的训练数据等等。而华为云深度学习服务,可以提供深度学习平台以及业界常用的深度学习引擎,免除企业自己搭建深度学习平台之苦。
同时,华为云深度学习服务,内置大量基于开源数据集训练好的模型,并支持模型选择自动化。用户在进行企业自己的模型训练时,只需要把企业标注好的数据加载到华为云深度学习服务中,该服务就可以快速自动的训练出企业的业务模型,这样就免除了模型训练的编程过程。比如在企业的生产场景,一般都有环境健康安全(EHS)检查。以前企业的EHS检查主要基于人工实现,耗时费力。现在企业人员基于华为的深度学习服务,自行加载标注好的环境健康安全检查项目标注图片,就可以很快生成EHS图片检测模型,后续企业进行EHS检查时,只需要拍摄现场照片,输入模型,就可以实现企业自动化EHS检查。
风驰电掣-模型训练速度快,亿级图片训练时间由30天降到小时级
企业进行深度学习训练的第二个困难是训练计算量大,训练时间长。由于深度学习需要使用海量数据来进行业务训练,因此计算资源需求很大,动则几十上百个GPU,甚至上千GPU等等;同时训练时间也很长,每次训练都是以天、周或甚至月年为单位。但是,开源的分布式训练框架,在保证模型收敛的情况下,最大集群规模只支持10块GPU。这意味着在进行数据运算时,即时使用更多的GPU,计算效果也只相当于10块GPU的能力,这样训练的时间将更加的漫长。
而华为云的深度学习服务,基于系统软硬件结合方案,搭载华为云的云容器引擎CCE、GPU高性能计算、对象存储服务(OBS)、高性能网络等能力,并对分布式训练的调度算法、分布式梯度压缩等进行深度优化后,在1000块GPU的大规模集群中,分布式训练线性加速比能达到0.8。这就意味着在亿级图片规模下的模型训练,华为深度学习的分布式模型训练时间可以从30天缩短至小时级。
神机妙算-算法优化,图片模型训练数量从百万级下降到千级
企业进行深度学习训练的第三个困难是训练数据量大。深度学习模型训练,要使用大量的训练数据。这已经是深度学习模型训练的常态。以图像识别为例,通用场景的图像识别算法模型,训练时往往需要至少百万级别的训练图片。
但是,华为云深度学习服务平台,对企业场景的算法模型进行了大量的优化,使得针对企业特定场景的模型训练数据需求大大降低。以企业特定场景的图像识别业务为例,华为优化的算法模型,只需要几千张训练图片,就可以达到令人满意的识别效果。以华为全球技术服务部的智能验收项目为例,该项目需要实现对电信设备类型的自动识别。常规方法至少需要几十万甚至上百万张训练图片。但是使用了华为优化模型算法后,华为的AI算法工程师,只使用了4000张图片,训练模型的识别准确率就达到了99%。
开放华为人工智能技术和实践经验,做企业智能的使能者
华为云深度学习服务的发布,大幅降低了企业深度学习训练的技术门槛、性能门槛和数据量门槛,因此,华为云深度学习服务的发布,让企业智能从此不求人,也就顺理成章了。那么,为什么华为云的深度学习服务具备这些能力呢。其实,如果读者了解华为云企业智能服务的来历,就不会感觉奇怪了。
华为从十多年前,就开始进行人工智能基础的大数据技术研发,并开发出了排名中国第一的大数据软件平台;而人工智能技术兴起后,华为的技术部门又开始进行人工智能技术的研发,并广泛应用于华为供应链、采购部、全球技术服务部、终端、以及产品研发的企业实践中。基于这些实践,华为的人工智能研发部门既加深了对技术的理解,同时了也积累了大量的人工智能实践经验,相应也在实践过程中对深度学习平台进行了很多优化,以降低内部使用深度学习平台进行模型训练的难度。现在,华为云深度学习服务平台秉承以服务的形式分享华为30年沉淀的数字化技术和实践经验的理念,将华为内部人工智能的技术研发成果与实践成果分享给企业用户与合作伙伴,做企业智能的使能者,并与众多企业用户及合作伙伴一起,共创中国人工智能美好的明天。
好文章,需要你的鼓励
机器人和自动化工具已成为云环境中最大的安全威胁,网络犯罪分子率先应用自动化决策来窃取凭证和执行恶意活动。自动化攻击显著缩短了攻击者驻留时间,从传统的数天减少到5分钟内即可完成数据泄露。随着大语言模型的发展,"黑客机器人"将变得更加先进。企业面临AI快速采用压力,但多数组织错误地关注模型本身而非基础设施安全。解决方案是将AI工作负载视为普通云工作负载,应用运行时安全最佳实践。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
面对心理健康专业人士短缺问题,谷歌、麦肯锡和加拿大重大挑战组织联合发布《心理健康与AI现场指南》,提出利用AI辅助任务分担模式。该指南构建了包含项目适应、人员选择、培训、分配、干预和完成六个阶段的任务分担模型,AI可在候选人筛选、培训定制、客户匹配、预约调度和治疗建议等环节发挥作用。该方法通过将部分治疗任务分配给经过培训的非专业人员,并运用AI进行管理支持,有望缓解治疗服务供需失衡问题。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。