世博体育

苹果在 AI 限度也在不休死力，但愿作念的更好。苹果和英伟达协作，晓示通过开源 Recurrent Drafter（ReDrafter）本领，这是一种忖度解码步调，概况显耀栽植 AI 大谈话模子（LLM）的推理速率。苹果公司示意 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加快框架中，在 NVIDIA GPU 上，每秒生成 Tokens 速率最高栽植 2.7 倍，灵验镌汰了用户延伸和计较本钱。在昔时，创建大型谈话模子的流程频繁十分耗时和耗资源，企业络续需要购买多数的硬件成就，进而增多了运营本钱。

苹果的机器学习盘问东谈主员指出，LLM 越来越多地用于启动坐褥哄骗容貌，提高推理效果对镌汰计较本钱和用户延伸至关紧要。这次协作概况在镌汰延伸的同期减少所需硬件数目，带来更为经济的经管有规划。苹果也示意他们正在琢磨使用亚马逊的 Trainium2 芯片来栽植模子检会效果世博体育，展望使用 Trainium2 进行预检会的效果将比现存的硬件栽植 50%。