跳到正文
今天10月16日周五1 条
  1. 机器之心

    KTransformers 让 CPU 直接参与 MoE 微调计算,降低 GPU 显存依赖

    机器之心知乎专栏介绍,KTransformers 提出让 CPU 直接参与 MoE 微调计算。此前为降低 GPU 显存需求,常见做法是用 CPU 内存存储专家权重,再通过 PCIe 搬到 GPU 计算;该消息称新方案让 CPU 直接参与计算,以缓解资源受限条件下难以微调超大模型的问题。

    为什么值得看:对企业负责人而言,若团队需要微调或适配开源大模型,该方向可能降低对 GPU 显存的依赖,影响硬件成本与部署方式。但摘要未提供完整技术细节、实测效果与支持范围,需结合原文核实后再评估落地价值。