Category: 最新消息

Jane Street 的机器学习工程师在 NVIDIA CUDA Tile 中实现了 Mamba-2 状态空间模型，并与 NVIDIA 合作优化了三个自定义前向内核。分块累积和内核使用 ct.cumsum 计算每令牌每头的衰减项对数空间累积和。前进状态内核使用 ct.mma 执行张量核心矩阵乘法操作以推进隐藏状态。计算输出内核融合携带状态项、衰减因果掩码交互矩阵和跳跃连接，并转换为 TF32 执行。这些优化包括延迟提示、操作数交换、转置内存布局和自动调优器搜索块大小与占用率参数。 信源:https://developer.nvidia.com/blog/accelerating-mamba-2-with-high-performance-forward-pass-kernels-in-nvidia-cuda-tile/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

Deepgram 与 AWS Forward Deployed Engineering 团队合作，把 Nova-3 语音转文本模型迁移到 AWS Trainium2，用于离线批量推理。该工作从标准 PyTorch 代码开始，通过 TorchNeuron 完成端口，并针对硬件进行内核级调优，最终在单台 Amazon EC2 trn2.3xlarge 实例上运行八个模型副本。 迁移后的配置在 Deepgram 的高吞吐量批量转录任务中，每美元处理的音频量比此前计算选项高出 11% 至 70%。这些任务包括联络中心分析和医疗转录等场景。Deepgram 模型每年处理数千万亿音频令牌，服务超过 20 万开发者和 1400 家组织。 该优化结果可延伸至客户在 Amazon SageMaker AI 上的自托管部署，帮助其在相同基础设施预算下处理更多音频。 信源:https://aws.amazon.com/blogs/machine-learning/how-deepgram-optimized-voice-ai-at-scale-with-aws-trainium/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn […]

AWS在Amazon EC2 P5en实例上通过vLLM实现双向KV缓存传输。预填充节点与解码节点可互相获取已计算的KV块，避免多轮智能体工作负载中对累积对话历史的重复预填充。基准测试显示，该方案将Qwen3-32B的TTFT最高降低1.6倍，将zai-org/GLM-5-FP8的TTFT最高降低3.3倍。EFA网络支持低延迟RDMA传输，减少预填充节点缓存逐出风险，提升加速器利用率。 信源:https://aws.amazon.com/blogs/machine-learning/improve-ttft-for-multi-turn-agentic-workloads-with-bi-directional-kv-transfer-in-vllm/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

vLLM为预填充-解码分离推理引入推送式NIXL连接器。该模式将传输协调与设置步骤移出关键路径，避免拉取模式下的串行等待。NIXL利用AWS EFA的RDMA功能，直接在GPU内存间传输KV块。Amazon EC2 P5en实例基准测试显示，TTFT最高提升3倍，TPOT改善30%。 信源:https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

亚马逊将TorchNeuron工具向所有开发者开放公开测试版。该工具位于PyTorch与Trainium芯片之间，支持现有代码直接运行，仅需基本配置更改即可切换。之前开发者需修改代码调用亚马逊芯片特定接口。亚马逊称此举让熟悉PyTorch的开发者无需额外学习即可使用Trainium。TorchNeuron此前已进行数月私有测试。 信源:https://www.geekwire.com/2026/amazon-challenges-nvidias-software-advantage-with-new-tool-for-its-ai-chips/ ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

Emirates NBD银行成为中东及北非地区首家在阿联酋本土基础设施上运行OpenAI GPT模型的银行。该行已与OpenAI于10月19日宣布企业合作，模型将部署于客户数字渠道互动、风险合规分析、知识密集型工作流自动化及员工生产力四个领域，并接入内部系统、API和企业数据。此举满足阿联酋数据驻留、隐私及运营韧性要求，支持该国2031年国家人工智能战略。 信源:https://gulfnews.com/business/banking/emirates-nbd-becomes-first-mena-bank-to-run-openai-models-in-uae-1.500716240 ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

The Verge 10月17日报道，在出版方与学者批评后，Meta更新商业条款，删除了曾写明可使用相关域名/网页/URL上的内容来「提供、开发、改进、研究、训练并维护」Meta公司产品完整性的表述。批评者此前认为该措辞可能被解读为允许抓取新闻站内容训练AI，并可能压过 robots.txt 偏好。 Meta通讯副总裁Andy Stone及发言人Daniel Roberts此前否认爬虫使用方式有变；Roberts随后向The Verge表示，合并后的抓取条款仅适用于广告与商业产品，已在条款中澄清，不改变Meta网络爬虫用法，内容所有者仍可用 robots.txt 表达偏好，本次更新不赋予可压过该偏好的新权利。 信源:https://www.theverge.com/tech/1013409/meta-removes-language-that-may-have-allowed-it-to-scrape-news-sites ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

网络安全公司NorForge于10月19日发布调查结果，发现超过20个公开暴露的Cairn控制面板与恶意网络活动相关。这些面板被用于指定目标和目标后，自动协调AI智能体执行侦察、漏洞搜索和入侵尝试，并已形成持久访问。 Cairn被描述为AI驱动的渗透测试系统，可针对公开网站进行自主操作。调查覆盖的受害方包括农机企业Deere、家电公司SharkNinja和发动机制造商Cummins。Deere回应已完成必要补救且无敏感信息泄露迹象，SharkNinja确认事件仅涉及产品支持独立站点且威胁已隔离，Cummins则表示正在调查。 该调查由NorForge首席威胁研究员Snorre Fagerland参与，Reuters独立核实了部分活动记录。 信源:https://norforge.com/blog/inside_cairn ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

MiniMax正式推出M3.1 Flash模型。该模型在智能体任务、编码、计算机使用和网络安全领域实现代际跨越。早期匿名版本Space Bunny已处理超过200万亿Token。模型推理速度提升近三倍，使用成本降低70%。在AutomationBench-AA基准中完成企业级SaaS工作流，BankerToolBench得分76.2，DeepSWE v1.1得分73.7%，OSWorld V2得分61.7并在Agents’ Last Exam获29.6分，位居中国模型首位。CyberGym得分82%，在代码审计、渗透测试和漏洞发现方面表现突出。权重将于10月23日发布。 信源:https://www.minimax.io/blog/minimax-m31f ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信

埃森哲联邦服务与谷歌公共部门于2026年10月19日宣布部署Gemini Launchpads，帮助联邦机构将智能体从试验推进到规模化任务执行。该能力依托Accenture Gemini Enterprise Business Group，为机构提供集中式前置部署工程师（FDE）枢纽，嵌入机构侧建设基于Gemini、对接政府核心业务系统的高代码智能体，并可统一管理数据接入、用例优先级、部署与培训及效果跟踪。埃森哲联邦服务正培训首批Google Cloud技能FDE，作为其计划在Gemini Enterprise业务组建立约1000人FDE团队的一部分；双方亦在开发HR、财务、供应链等预构建智能体，并在华盛顿特区The Forge的原型实验室联合举办动手工作坊。 信源:https://newsroom.accenture.com/news/2026/accenture-federal-services-and-google-public-sector-establish-gemini-launchpads-to-power-purpose-built-agents-across-federal-missions ✕ 📱 分享到微信 📤 分享图片 或长按图片 → Save to Photos → 发到微信 📤 分享这篇文章 💬 分享微信好友𝕏 X 分享in LinkedIn 点击”分享微信好友”→ 长按图片发到微信