AWS详解基础模型训练与推理基础设施构建方案
Hugging Face博客近日发布AWS技术团队撰写的深度指南,系统梳理了面向基础模型全生命周期(预训练、后训练及推理)的基础设施构建方案。文章指出,随着大模型扩展范式从单一预训练转向“三重扩展律”(预训练、后训练、测试时计算),底层基础设施需求趋于收敛,需协同优化高密度算力、跨节点高速互联与分层存储体系。 方案详细对比了AWS EC2 P5与P6系列实例的硬件规格,涵盖H100、H200、B200及B300 GPU的Tensor算力、H...
Hugging Face博客近日发布AWS技术团队撰写的深度指南,系统梳理了面向基础模型全生命周期(预训练、后训练及推理)的基础设施构建方案。文章指出,随着大模型扩展范式从单一预训练转向“三重扩展律”(预训练、后训练、测试时计算),底层基础设施需求趋于收敛,需协同优化高密度算力、跨节点高速互联与分层存储体系。 方案详细对比了AWS EC2 P5与P6系列实例的硬件规格,涵盖H100、H200、B200及B300 GPU的Tensor算力、H...
OpenAI宣布成立全新业务部门「OpenAI Deployment Company」,专注于协助企业将AI系统深度集成至核心业务流程。该公司已达成收购AI咨询与工程公司Tomoro的协议,预计将引入约150名前线部署工程师及部署专家。 该部署公司将直接向企业提供驻场工程师,协同管理层与一线团队重构工作流、搭建AI生产系统,并推动AI在复杂商业场景中的规模化落地。初始资金规模超过40亿美元,由OpenAI控股,TPG领投,Advent、Ba...
MachinaCheck 是一款面向 CNC 机加工车间的多智能体 AI 系统,旨在自动化分析 STEP 格式 CAD 文件的可制造性。该系统支持上传 STEP 文件及材料类型、公差要求、螺纹规格等参数,可在 30 秒内生成完整报告,涵盖所需刀具、缺失资源、风险提示及操作建议。 系统采用五模块流水线架构:STEP 文件解析(基于 cadquery)、工艺分类(Qwen 2.5 7B)、刀具匹配(纯 Python 数据库查询)、可行性决策(Q...
Hugging Face 5月9日消息,OncoAgent研究团队发布技术预印本,介绍一款开源、隐私优先的肿瘤学临床决策支持系统。该系统采用双层微调大语言模型架构(Tier 1为9B参数速度优化模型,Tier 2为27B参数深度推理模型),均基于QLoRA在AMD Instinct MI300X硬件上完成训练,使用包含266,854例真实与合成肿瘤病例的OncoCoT数据集。 系统集成LangGraph构建的8节点多智能体拓扑,支持复杂度路...
5月8日消息,艾伦人工智能研究所(AI2)正式发布EMO模型。该模型采用端到端预训练的混合专家(MoE)架构,旨在使模块化结构直接从数据中自主涌现,无需依赖人工定义的语义领域或先验约束。 EMO总参数量为140亿,每步激活10亿参数(8个专家),共包含128个专家。实验表明,在仅启用12.5%专家(即16个)的情况下,其在MMLU等通用基准上的性能仅下降约3个百分点,显著优于同构标准MoE模型(后者在同等稀疏度下性能急剧退化)。 该模型通过文...
5月8日消息,研究人员基于AMD Instinct MI300X GPU与ROCm平台,成功完成临床问答模型MedQA的LoRA微调,全程无需CUDA依赖。该项目以Qwen3 1.7B为基座模型,在MedMCQA数据集的2000个样本上训练约5分钟,仅更新约223万参数(占比0.15%),全程采用fp16精度且未使用量化技术。 MedQA模型可对医学多选题输出答案及临床推理过程。项目验证了Hugging Face生态(Transformers...
美国能源部长克里斯·赖特(Chris Wright)与英伟达副总裁伊恩·巴克(Ian Buck)在SCSP AI+博览会“赋能下一个美国世纪”主题对话中,共同阐述了美国政府与产业界协同推进AI for Science的战略路径。 双方确认,英伟达将深度参与美国能源部主导的“创世计划”(Genesis Mission),依托其与17个国家实验室长达二十年的合作基础,联合建设两台AI超算:位于阿贡国家实验室的Equinox(配备10,000颗Gr...
5月7日消息,NVIDIA 官方宣布,GeForce NOW 云游戏平台正式接入 Gaijin 账户单点登录(SSO)功能。用户只需在 PC 或 Mac 版客户端设置中完成一次 Gaijin.net 账户绑定,即可直接启动《战争雷霆》等支持的游戏,无需重复登录。 该功能延续了平台此前对 Xbox、Ubisoft Connect 等账户的联动逻辑。同期,七款新作加入 GeForce NOW 游戏库,包括《Dead as Disco》《HUNTD...
5月6日消息,ServiceNow AI 团队在将 vLLM 从 0.8.5(V0)升级至 0.18.1(V1)的过程中,重点解决了训练与推理不匹配的问题。团队指出,在强化学习(RL)场景中,推理引擎输出的 token logprobs 直接参与策略梯度计算,任何后端行为偏差都会显著扰动训练动力学。 为此,团队优先修复了后端行为一致性,而非直接调整 RL 目标函数。具体修复包括:修正 logprobs 语义(启用 processed logp...
Anthropic 官方于 5 月 6 日宣布与 SpaceX 达成算力合作协议,将全面接入其 Colossus 1 数据中心全部算力资源,新增超 300 兆瓦容量(约合 22 万余块 NVIDIA GPU),预计一个月内上线。 自即日起,Claude Code 对 Pro、Max、Team 及企业版用户的五小时调用限额翻倍;Pro 与 Max 账户取消高峰时段限流;Claude Opus 模型的 API 调用限额亦显著提升。 该合作是 An...
NVIDIA 宣布在其 Spectrum X 以太网架构中集成 Multipath Reliable Connection(MRC)协议,并将其作为开放规范提交至开放计算项目(OCP)。MRC 是一种 RDMA 传输协议,支持单个 RDMA 连接在多个网络路径间动态分发流量,显著提升吞吐量、负载均衡能力与网络可用性。 该协议已在 OpenAI、Microsoft 和 Oracle 的超大规模 AI 工厂中落地应用,包括 Microsoft F...
Hugging Face 宣布在 Open ASR Leaderboard 中新增由 Appen 和 DataoceanAI 提供的高质量英语语音识别(ASR)私有评测数据集。该批数据涵盖美式、英式、澳式、加式及印度等多口音的脚本朗读与自然对话语音,总时长超30小时。 为防止测试集污染与“benchmaxxing”(针对评测指标的过拟合优化),这些私有数据默认不参与排行榜加权词错误率(WER)计算。用户可通过界面开关选择是否启用,系统将同步显...
据动察 Beating 监测,OpenAI 已向所有用户全量推送 GPT 5.5 Instant,正式取代 GPT 5.3 成为 ChatGPT 默认模型。该版本在事实准确性、响应质量与智能度方面全面升级,在医学、法律、金融等高风险领域幻觉减少 52.5%,整体不准确声明下降 37.3%。 GPT 5.5 Instant 在 STEM 问题求解、图像分析、工具调用(如 Web 搜索)及视觉推理能力上均有增强;响应更紧凑简练,字数平均减少约 3...
5月5日消息,英伟达(NVIDIA)与ServiceNow在ServiceNow Knowledge 2026大会上宣布深化合作,共同推出面向企业的自主AI智能体解决方案。双方将整合NVIDIA加速计算、开源大模型(如Nemotron系列)、领域专用技能及安全执行软件,结合ServiceNow Action Fabric工作流上下文与AI Control Tower治理能力,构建可管控、可审计的AI智能体基础设施。 ServiceNow同步发...
Anthropic于5月5日正式发布面向金融服务业与保险业的10款开箱即用AI智能体模板,覆盖投行业务、信贷风控、财务运营及合规等核心场景,包括Pitch Builder(路演材料生成)、KYC Screener(尽职调查筛查)、Month end Closer(月结流程自动化)等。 上述模板以插件形式集成至Claude Cowork与Claude Code,亦可作为“食谱”(cookbook)部署于Claude Managed Agents...
2026年4月30日,Google DeepMind宣布启动AI Co Clinician研究计划,探索在医生监督下使用多模态AI代理辅助医疗决策。该系统通过视频和音频实时交互,可完成病史采集、指导物理检查、初步推理诊断(如肩袖损伤或肌腱炎)并提供护理建议。系统明确自身非医生,所有建议均需在医生监督下使用。 技术方面,该系统采用实时多模态处理(可分析步态、呼吸、皮疹等),并引入双代理架构,由Planner持续监控Talker以确保安全边界,同时结合NOHARM安全框架。 测试...
OpenAI 推出一套新的安全控制措施,允许用户设置通行密钥,从而取消传统的电子邮件和密码登录方式。该功能主要面向记者和政府官员等高风险用户。 此次推出的“高级帐户安全”是一项新的可选设置,要求用户设置两种身份验证方法(通行密钥或硬件安全密钥)才能登录 ChatGPT 或 Codex。用户可选择配置两个硬件密钥、两个通行密钥,或各配置一个。 该安全模式目前已对所有用户开放,包括免费用户。
开源项目OpenClaw由Peter Steinberger创建,是一款可在本地或私有服务器上运行的自托管持久化AI助手。该项目在2026年初迅速走红,1月GitHub星标数突破10万,3月超过25万,在短短60天内超越React成为GitHub星标数最多的软件项目。OpenClaw的核心是“Claw”长期自主代理,它能在后台持久运行,定期检查任务列表并自主执行,无需依赖云基础设施或外部API。 随着OpenClaw的快速普及,关于自托管AI工具在敏感数据管理、身份验证及本地...
阿里千问宣布开源 Qwen Scope,这是一个基于 Qwen3 和 Qwen3.5 系列模型训练所得的可解释性模块。 该模块的应用场景包括推理结果定向控制、数据分类与合成、模型训练与优化,以及评估样本分布分析与对比等。 本次开源的权重涉及 7 个大模型,覆盖 Qwen3 及 Qwen3.5 系列的稠密模型和混合专家模型,共包含 14 组稀疏自编码器(SAE)权重。
AI评估正成为新的算力瓶颈,其成本门槛已显著改变了能够进行评估的群体范围。Hugging Face官方博客发文指出,随着AI智能体和训练循环基准测试的兴起,评估成本急剧上升,在某些场景下甚至超过了模型训练本身的算力消耗。 在智能体评估方面,Holistic Agent Leaderboard (HAL) 在9个模型和9个基准测试上运行超2.1万次rollout花费了约4万美元,前沿模型上单次GAIA运行成本高达2,829美元。研究还发现,不同智能体架构(scaffold)的选...
Hugging Face 宣布,DeepInfra 现已作为受支持的推理提供商集成至 Hugging Face Hub。DeepInfra 是一个无服务器 AI 推理平台,提供业内极具性价比的按 Token 计费方案,其模型目录包含超过 100 种模型,涵盖大语言模型、文生图、文生视频及向量嵌入等多种类型。 在此次初始集成中,DeepInfra 在 Hugging Face 上率先支持对话和文本生成任务,开发者可直接调用 DeepSeek V4、Kimi K2.6 和 GLM...
4月28日,NVIDIA正式发布开源多模态推理模型Nemotron 3 Nano Omni。该模型将视觉、音频和语言能力整合至单一系统,有效解决了传统AI智能体在多模型间切换导致的数据延迟与上下文丢失问题。 Nemotron 3 Nano Omni采用30B A3B混合专家(MoE)架构,支持256K上下文窗口,可处理文本、图像、音频、视频及图形界面等复杂输入。在同等交互性下,其吞吐量较其他开源全模态模型提升9倍,并在复杂文档智能与音视频理解等六项基准测试中位列榜首,显著降低...
Anthropic 正式发布“Claude for Creative Work”系列更新,推出多款针对创意行业的软件连接器,使 Claude 能够直接与创意工作者常用的专业工具协同工作。此次合作涵盖 Blender、Autodesk、Adobe、Ableton 和 Splice 等知名平台。 新增连接器支持用户通过自然语言与创意软件交互。其中,Adobe 连接器可调用 Creative Cloud 50 余款工具;Autodesk Fusion 支持对话式 3D 建模;Ble...
制造业正从传统的“设计 制造 测试”向“仿真优先”时代转变。NVIDIA表示,基于OpenUSD和NVIDIA Omniverse的高保真仿真技术,现已能生成适用于生产级AI的合成训练数据。同时,NVIDIA推出了基于OpenUSD的SimReady内容标准,确保3D资产在渲染、仿真和AI训练管线中可靠运行,解决资产在不同3D管线间流转时数据丢失的问题。 多家制造商已应用该技术栈并取得显著成效。ABB Robotics将Omniverse库集成至其仿真平台RobotStudi...
DeepSeek 官方宣布调整 API 定价,即日起全系列模型输入缓存命中价格降至首发价的 1/10。其中,DeepSeek V4 Flash 缓存命中输入价为 0.02 元/百万 Tokens,DeepSeek V4 Pro 缓存命中输入价降至 0.025 元/百万 Tokens。 此外,DeepSeek V4 Pro 正进行限时 2.5 折促销,优惠期至北京时间 2026 年 5 月 5 日 23:59。官方文档同时提示,原 deepseek chat 与 deepsee...
Anthropic发布了关于Claude选举安全措施的更新,以应对今年的美国中期选举及其他全球重大选举。在政治偏见评估中,Claude Opus 4.7和Sonnet 4.6在对待不同政治观点的公正性上分别得分95%和96%。公司已开源其评估方法和数据集,并与范德堡大学等独立智库合作审查模型的表达自由及政治对话行为。 在政策执行与防御测试方面,Anthropic使用600个提示词评估模型对选举相关政策的遵守情况,Opus 4.7和Sonnet 4.6的合规响应率分别达到100...
DeepSeek 今日发布 V4 模型,主打高效的超长上下文支持与智能体任务优化。此次发布了两款 MoE 架构模型:DeepSeek V4 Pro(总参数 1.6T,激活参数 49B)与 DeepSeek V4 Flash(总参数 284B,激活参数 13B),两者均支持 100 万 Token 上下文窗口。 针对长上下文推理中 KV 缓存占用过大的痛点,V4 引入了混合注意力机制(CSA 和 HCA),在交替层中压缩 KV 条目。与 V3.2 相比,V4 Pro 的单 To...
Google DeepMind 正式推出 Decoupled DiLoCo(分布式低通信)异步训练架构。该架构将计算任务解耦为多个异步且故障隔离的“计算岛”(learner units),使大语言模型能够在地理分散的数据中心进行预训练,摆脱了传统方法对紧密同步的依赖。 在带宽方面,传统数据并行训练在跨8个数据中心时需约 198 Gbps 的互联带宽,而 Decoupled DiLoCo 将其大幅降至 0.84 Gbps,使其能够兼容标准广域网。在混沌工程测试中,面对高硬件故障...
4月24日,Anthropic与NEC Corporation宣布达成战略合作。NEC将使用Claude构建日本最大的AI原生工程组织之一,并向全球约3万名NEC集团员工提供该模型。同时,NEC成为Anthropic首个位于日本的全球合作伙伴。 双方将共同为日本市场开发安全且针对特定行业的AI产品,首批工具将面向金融、制造和地方政府领域。目前,NEC已将Claude整合至其安全运营中心服务和下一代网络安全服务中,以应对日益复杂的网络威胁。 此外,Claude(包括Claude...
OpenAI正式发布GPT 5.5,这是自GPT 4.5以来首个完全重新训练的基础模型。该模型专为智能体(Agentic)工作流设计,具备自主规划、工具调用、自我校验及多步骤任务执行能力,核心聚焦智能体编程、计算机操作、知识工作与早期科研四大场景。 核心性能表现 GPT 5.5在多项基准测试中表现突出:Terminal Bench 2.0得分82.7%(领先Claude Opus 4.7与Gemini 3.1 Pro),GDPval得分84.9%,OSWorld Verifi...