HYPIC：小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统

OmniTools 7月16日消息，小红书联合北京大学、上海交通大学提出HYPIC系统，为混合注意力大模型设计首个位置无关缓存方案。该方案将首token延迟平均降低3.25倍。

在4个生产级模型测试中，HYPIC在相同服务等级目标（SLO）下，可持续QPS提升1.66倍。任务质量评估显示，其与完全重算方案的差距仅为1.71分。