近日,在2024世界移动通信大会(MWC 2024)期间,慧鲤科技与联发科技再次联袂推出生成式AI在端侧的创新应用。基于联发科技天玑 9300 集成的新一代 AI 处理器和慧鲤科技LoRA 融合的技术整合,用户在端侧设备上录制影像时,可以实时生成不同动画风格的视频。这也是业内首个基于LoRA融合技术在端侧实时生成视频的应用,为端侧生成式AI落地进一步刷新了应用边界。
端侧处理,秒速生成,慧鲤LoRA融合技术实时生成趣味视频
作为联发科技在生成式AI技术领域的重要合作伙伴,慧鲤科技结合联发科技生成式AI模型端侧“技能扩充”技术NeuroPilot Fusion,在基础模型上持续扩展AI应用和功能,并于移动终端装置成功实现多种风格化视频的实时生成能力,开辟出一系列手机AI应用新玩法。
在风格化基础模型以及风格LoRA模型训练过程中,慧鲤通过一致性蒸馏算法大幅减少了扩散模型的运行步数,并依托联发科技NeuroPilot框架,以无分类器指导蒸馏进一步降低扩散模型的单步耗时。在保证输出质量的同时,慧鲤实现了手机端接近1帧/s在线风格化生成效果,使生成体验更加自然流畅。
在现场体验中,用户可以通过该功能在手机拍摄过程中精准识别人物影像,并转化为各种风格的趣味视频。除此之外,模型还可以将画面中的背景、人物手持的物品等,稳定细致地转化为与画风调性相契合的背景和道具,让整体视频效果更自然协调。例如,用户手持圆盘形物品拍摄视频时,在油画风格的视频中,圆盘被识别并再创作为调色盘,而在赛博朋克风格中,圆盘则被定义并展示为一个盾牌。
以往在手机端的应用中,由于LoRA和基础模型绑定,切换不同艺术风格的LoRA时需要替换整个模型才能实现驱动,在实际视频拍摄中难以实时切换及加载。当应用中包含多种风格LoRA时,则需要占用大量内存,导致安装包对内存的要求为GB级别。现在,慧鲤结合NeuroPilot框架的lora fusion功能,将自主训练的多种艺术风格LoRA模型尺寸压缩至10MB级别,不同LoRA配合单个基础大模型使用,可以让用户在极短时间内随意切换,运行处理速度更加快捷,充分满足端侧AI用户的个性化体验需求。
激活生成式AI创作热度,抢滩AI自媒体时代
近年来,生成式AI在内容创作赛道的持续火热,内容创作者和消费者都在迫切呼唤更新颖、更前沿的应用体验。慧鲤端侧LoRA融合的应用成果,在“人人都是自媒体”的时代开启了更具想象力的创作空间。
在抖音、小红书等内容社交平台中,此前的手机拍摄创作玩法,主要以美颜滤镜、添加挂件等为主。端侧LoRA 融合带来的视频生成新玩法,为用户的内容灵感、拍摄风格提供了更多新选项,并极大提升创作效率。基于实时视频生成功能,用户在实时拍摄中可自由选择赛博朋克、水彩、油画、水墨、卡通等多种画风,拍摄结束后视频即时生成,元素丰富、高质高效,体验感极佳。
另外,在文旅等落地场景中,手机拍摄实时生成视频的应用前景更为广泛。创作者打卡过程中,仅需实地录制一个画面,即可通过该功能选项创作不同风格作品,任意穿越各种画风的异次元世界,为用户带来更多充满创意的沉浸式体验。
伴随着端侧生成式AI的发展,移动端AI赛道潜力正在充分显现。LoRA融合等技术的应用升级,将进一步挖掘AI在手机等端侧设备的应用潜力,并赋能各领域赛道选手加速入场,开拓更大的参与空间。作为大模型时代的探索家和建设者,慧鲤科技将继续加码技术赋能,为伙伴和用户带来更多前沿AI应用体验。
好文章,需要你的鼓励
亚马逊在新加坡中央商务区开设了一个占地36万平方英尺的亚太旗舰中心。这标志着亚马逊成立30周年和亚马逊云服务(AWS)在新加坡运营15周年。新中心将容纳亚马逊和AWS员工,设有促进员工福祉、协作和客户互动的设施,展示了亚马逊对新加坡经济的巨大投资和对数字技能发展的贡献。
Adobe 推出新的 AI 视频生成功能,可将静态图像转换为视频并延长现有视频片段。该功能包括从文本提示生成短视频、将静态图像转为视频剪辑,以及在 Premiere Pro 中延长视频长度。Adobe 声称生成的视频内容"知识产权友好",创作者可安全使用。这项技术主要用于填充视频空白、生成背景画面和特效等。
Forrester 预测 2025 年欧洲企业 IT 支出将增长 5%,达 4.9 万亿美元。人工智能、网络安全和云基础设施成为主要增长动力。美国和亚太地区的 IT 投资占 GDP 比重更高,软件和 IT 服务将占全球技术支出的 66%。未来五年,技术投资将以前所未有的速度重塑各行各业。
随着人类探索太空的脚步不断推进,科学家们正在研发人工智能技术来帮助宇航员应对太空环境的挑战。从脑机接口到增强现实设备,这些创新技术旨在提升宇航员的认知能力和工作效率,为未来的月球和火星任务做好准备。同时,人工智能还可能在国际空间站等近期任务中发挥重要作用。