NVIDIA发布Cosmos3-H-Dreams生成式手术仿真模型

OmniTools 10月21日消息，NVIDIA在Hugging Face发布Cosmos3-H-Dreams，称其为面向临床手术的交互式生成仿真模型。该模型基于Cosmos 3，并使用FlashDreams加速流式推理，可在单张NVIDIA RTX PRO 6000 GPU上实时运行。

模型基于160亿参数的Cosmos3-H-Embodied-Nano，在胆囊切除术视频与机器人运动学数据上专门化训练，使用左右器械及能量控制等28个动作维度，训练视频为832×480、动作对齐频率10 Hz。NVIDIA称，这是首个基于临床胆囊切除术记录训练、支持实时运动学控制的生成式手术模拟器。

Cosmos3-H-Dreams采用教师—学生蒸馏流程：先训练双向教师模型，再将未来帧范围扩展至72帧，随后蒸馏为可随新动作分块生成视频的因果学生模型，并提供四步去噪和两步去噪两个检查点。FlashDreams通过改进的FadeMem模块整合长时rollout中的键值缓存。

NVIDIA强调，该模型是研究用模拟器，并非经过验证的临床患者护理系统；后续方向包括覆盖完整手术流程、结合数值仿真、引入外科医生评估、支持更多器械以及开发自主手术策略。