协同设计AI模型注意力机制以实现快速交互式长上下文推理
随着智能体和长上下文工作负载的普及,注意力机制已成为推理时延的主要瓶颈。本文从分组大小(G)、头维度(Hsz)和序列长度三个维度,系统分析了密集注意力在预填充和解码阶段的性能特征,并结合GPU并行化策略,提炼出四条协同设...
随着智能体和长上下文工作负载的普及,注意力机制已成为推理时延的主要瓶颈。本文从分组大小(G)、头维度(Hsz)和序列长度三个维度,系统分析了密集注意力在预填充和解码阶段的性能特征,并结合GPU并行化策略,提炼出四条协同设...
由前谷歌和Meta工程师创立的初创公司Majestic Labs发布Prometheus服务器,以搭载Arm核心与RISC-V向量引擎的Ignite AI处理单元替代英伟达GPU,并配备最高128TB LPDDR6统一内...
上周,中国内存芯片企业CXMT在上交所上市,股价暴涨466%;同日,中国宣布自主研发深紫外光刻技术,打破ASML垄断。消息引发全球AI相关股票大跌,韩国综合指数两日跌逾17%,纳斯达克一度进入回调区间,英伟达市值被苹果反...
当前AI基础设施领域资金规模前所未有:英伟达斥资50亿美元投资Ilya Sutskever创立的Safe Superintelligence实验室,后者估值达320亿美元却尚无产品和营收;三星与博通签署涉及超2000亿美...
NVIDIA AI红队在评估多个AI智能体后,总结出四大核心安全漏洞:访问控制缺失、任意代码执行风险、网络出口控制不足以及明文暴露密钥。文章指出,仅依赖提示词防护和LLM裁判模式无法抵御对抗性攻击,必须在模型控制平面之外...
NVIDIA宣布扩展NVIDIA Agent工具包,新增重构后的PhysicsNeMo库及更新的CUDA-X库,为开发者构建自主AI工程师提供AI物理技能、加速求解器和量子化学能力。NVIDIA Nemotron 3 U...
美国政府正就AI监管展开讨论,Anthropic与英伟达明确反对全面封禁开源权重模型,呼吁监管机构聚焦具体风险与滥用行为。Anthropic CEO达里奥·阿莫代伊强调,开源权重模型是公共资源,应将管控重心放在算力出口、...
苹果公司股价周二触及342.89美元历史高点,市值一度达到5.04万亿美元,成为继英伟达之后全球第二家突破5万亿美元市值的公司。此轮上涨源于投资者在AI及半导体股普跌背景下转向苹果避险。分析人士指出,苹果因未深度介入AI...
英伟达宣布联合Adobe、思科、Cloudflare、IBM、红帽、Salesforce等近二十余家科技、云计算及网络安全领军企业,共同成立开放安全AI联盟(OSAA)。该联盟旨在构建并共享开放的AI安全工具,确保防御方...
Ilya Sutskever创立的安全超级智能公司(SSI)与英伟达达成重要合作,将获得Vera Rubin GPU平台访问权限,计算资源规模提升一个数量级。该合作价值数十亿美元,将加速SSI的发展。SSI成立于2024...
前OpenAI联合创始人伊利亚·苏茨克维创立的AI安全实验室Safe Superintelligence(SSI),在沉寂两年后宣布与英伟达建立长期合作关系。此次合作包括数十亿美元的未披露投资,SSI将获得英伟达Vera...
多家科技巨头联合成立"开放安全AI联盟",旨在通过开源技术构建AI时代的网络安全防御体系。联盟认为,开放模型与开放工具对网络安全至关重要,能够让更多防御者检查、适配和部署先进AI能力。Hugging Face安全事件证明...
韩国在全球AI基础设施领域强势崛起。K-AI峰会上,SK集团与英伟达签署逾5000亿美元合作协议,涵盖2GW AI工厂及HBM4长期供应;三星与SK集团披露950亿美元美国芯片供应协议;NAVER、英伟达与Brookfi...
英伟达宣布成立"开放安全AI联盟",联合Cloudflare、CrowdStrike、微软、IBM等企业,以开源技术应对AI智能体安全事件。此举源于近期Hugging Face遭OpenAI智能体入侵事件。英伟达认为,开...
据报道,英伟达正洽谈为OpenAI一个位于俄亥俄州的新数据中心园区提供2500亿美元贷款担保。该园区由软银旗下SB Energy开发,预计提供10吉瓦算力,相当于约800万户家庭的用电量。若加上GPU采购成本,项目总价或...
英伟达宣布其Vera CPU与Cadence、Synopsys两大EDA软件巨头展开合作,优化后的平台在Vera CPU上运行性能提升1.5倍。英伟达还将PhysicsNeMo物理AI库及CUDA-X数学库集成至Agen...
英伟达、微软、IBM、Meta等数十家科技公司及Linux基金会等非营利机构联合发布公开信,呼吁政策制定者不要禁止开源AI模型。此举源于特朗普政府部分官员拟限制开源AI算法使用的报道。公开信认为,开源AI有助于降低应用成...
本周,韩国总统李在明率商界领袖与研究人员赴旧金山AI峰会,与英伟达及生态合作伙伴共同推进韩国AI发展战略。英伟达与韩国科学技术院(KAIST)宣布在首尔联合设立AI研究实验室,专注推进智能体AI研究,这也是韩国高校与全球...
英伟达正与太空初创公司Lunar Outpost合作,计划将Jetson芯片搭载于下一代月球车,用于控制其激光雷达系统,有望成为首款登陆月球表面的GPU。此外,英伟达还与Firefly Aerospace合作,在月球轨道...
本期节目中,英伟达全球风险投资联盟负责人Sydney Sykes深度解析初创公司如何进入英伟达生态系统。她介绍了通过Nvidia Inception项目获得关注的路径,说明企业风投与传统风投在尽职调查和交易条款上的核心差...