跳到正文
热点事件持续更新

KTransformers 让 CPU 直接参与 MoE 微调计算,降低 GPU 显存依赖

1 篇报道1 个报道来源2 小时前更新

先了解这件事

事实说明

机器之心知乎专栏介绍,KTransformers 提出让 CPU 直接参与 MoE 微调计算。此前为降低 GPU 显存需求,常见做法是用 CPU 内存存储专家权重,再通过 PCIe 搬到 GPU 计算;该消息称新方案让 CPU 直接参与计算,以缓解资源受限条件下难以微调超大模型的问题。

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. 机器之心精选
    KTransformers 让 CPU 直接参与 MoE 微调计算,降低 GPU 显存依赖

    机器之心知乎专栏介绍,KTransformers 提出让 CPU 直接参与 MoE 微调计算。此前为降低 GPU 显存需求,常见做法是用 CPU 内存存储专家权重,再通过 PCIe 搬到 GPU 计算;该消息称新方案让 CPU 直接参与计算,以缓解资源受限条件下难以微调超大模型的问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。