近年来,随着大数据时代的到来,各行各业正迎来一波上云热潮。为了让更多的开发者在对数据处理的极限探索过程中,体验云上开发的优势。日前由阿里云和英特尔公司联合主办,阿里云EMR团队和阿里云天池承办的“E-MapReduce极客挑战赛”正式开启。目前,大赛已面向全社会开放报名,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛。
在不久前举行的中国互联网大会上发布的《中国互联网发展报告(2021)》显示,2020年,我国云计算整体市场规模达到1781.8亿元,增速为33.6%。在此背景下,如何利用新技术高效存储、处理数据,在降低成本的同时提高资源配置效率,成为了当下企业数字化转型的重要议题。
为此,阿里云针对性开发的E-MapReduce云原生开源大数据平台,以其易用性高,性能强,弹性大的特点,成为了广大用户的首选。其可以在为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎的同时,部署在阿里云公有云的ECS和ACK、专有云平台。相对的,英特尔® 傲腾™ 持久内存打造的兼具出色的内存与存储性能的解决方案,可以将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起。
为了让更多的开发者们,体验云上开发的优势,阿里云计算平台EMR团队和英特尔公司联合开启了本届“E-MapReduce极客挑战赛”,广邀创新极客,结合阿里云 EMR和英特尔® 傲腾™ 数据中心级持久内存,优化软件系统和利用硬件的特征,追求TPC-DS测试集的最优性能。
目前大赛已公布的初赛题目,是由阿里云EMR 团队提供用于比赛的Spark 3.1.2代码分支,交给选手进行 Spark 代码优化和参数调优以提升SparkSQL执行效率,同时组委会提供性能测评工具供选手自行测试(单机环境或EMR集群环境)。在比赛阶段,选手将最终优化后的Spark代码和调优参数打包,通过天池平台提交,天池平台会使用相同的性能测评工具,进行评测和排名。在初赛的基础上,复赛需要处理的数据量更大,同时升级了 EMR 集群配置,并为每个 Worker 节点配置了 PMEM 持久内存,选手可以通过 App Direct 模式使用持久内存。
据悉,大赛现已开放报名,并将分为初赛、复赛及决赛三个赛段,评委嘉宾包括阿里云开源大数据平台数据湖构建与分析负责人吴谓、数据湖存储负责人郑锴,英特尔傲腾产品事业部中国技术创新中心资深软件开发经理吴国安、英特尔加速计算系统和图形事业部工程经理徐铖等。
阿里云计算平台事业部负责人贾扬清表示:”希望通过这次大赛,让开发者们在体验云原生的开发环境的同时,可以尝试一次技术的挑战。不仅在比赛中收获好的成绩,更重要的是寻找到代码的乐趣和技术的收获。”Intel 数据分析软件部门总监Heidi Pan也表示: “希望大家通过这次比赛能够有所收获,能够对数据分析引擎的性能优化有更深刻的体会与理解洞察”。
同时,阿里云研究员、开源大数据平台负责人王峰也强调:“我们欢迎来自高校、企业及各行业的开发者们加入我们的比赛,希望各位开发者能在这次竞赛中充分展示自己的技术能力。” 阿里云开源大数据平台产品负责人陈守元表示:“我们希望为广大的大数据爱好者及科研企业提供一个创新挑战的平台,一起来探索性能极限。”
据介绍,本次大赛最终将有1支冠军队伍、2支亚军队伍和3支季军队伍分获10万、5万、2万人民币奖金及获奖证书。值得一提的是,本次大赛还特别推出了“EMR开发者激励计划”,为邀请好友参赛的达人,以及参与比赛的选手分别制定了特别激励规则与奖品,相信将为本次E-MapReduce 极客挑战赛吸引更多行业内外的关注。
欢迎点击赛事官网链接了解更多信息:
https://tianchi.aliyun.com/specials/promotion/emapreduceaep2021?spm=5176.14154004.J_1916026360.6.31fe5699qWz5kl
好文章,需要你的鼓励
邻里社交应用Nextdoor推出重新设计版本,新增本地新闻、实时警报和名为"Faves"的AI功能,用于发现本地商户和地点。该应用与3500家本地出版商合作提供新闻内容,通过Samdesk和Weather.com提供天气、交通、停电等实时警报。Faves功能利用15年邻里对话数据训练的大语言模型,为用户提供本地化AI推荐服务,帮助用户找到最佳餐厅、徒步地点等本地信息。
Skywork AI推出的第二代多模态推理模型R1V2,通过创新的混合强化学习方法,成功解决了AI"慢思考"策略在视觉推理中的挑战。该模型在保持强大推理能力的同时有效控制视觉幻觉,在多项权威测试中超越同类开源模型,某些指标甚至媲美商业产品,为开源AI发展树立了新标杆。
英国生物银行完成了世界上最大规模的全身成像项目,收集了10万名志愿者的超过10亿次扫描数据,用于研究人体衰老和疾病过程。该项目历时11年,每次扫描耗时5小时,投资6200万英镑。目前已有8万人的成像数据供全球研究人员使用,剩余数据将于年底前发布。项目已开发出能预测38种常见疾病的AI工具,并在心脏病、痴呆症和癌症诊断方面取得突破。
这项由北京大学等多所高校联合完成的研究,首次对OpenAI GPT-4o的图像生成能力进行了全面评估。研究团队设计了名为GPT-ImgEval的综合测试体系,从文本转图像、图像编辑和知识驱动创作三个维度评估GPT-4o,发现其在所有测试中都显著超越现有方法。研究还通过技术分析推断GPT-4o采用了自回归与扩散相结合的混合架构,并发现其生成图像仍可被现有检测工具有效识别,为AI图像生成领域提供了重要的评估基准和技术洞察。