跳转至内容

前沿技术&Advanced Technology

3 主题 5 帖子

高新科技&advanced technology

  • AirLLM:单卡 4GB 跑 70B,把显存从「装下模型」改成「装下一层」

    2
    1
    0 赞同
    2 帖子
    2k 浏览
    A
    核心判断 AirLLM(仓库 lyogavin/airllm)解决的是一个被多数推理库放弃的问题:在 4-8GB 显存的消费级硬件上,跑起 70B 甚至 405B、671B 参数的原始权重模型。它走的是"分时换入"这条路——平时只把当前正在计算的那一层参数读进显存,其余层在 NVMe/SSD 上待机,算完即弃,下一层顶上。 AirLLM(仓库 lyogavin/airllm)解决的是一个被多数推理库放弃的问题:在 4-8GB 显存的消费级硬件上,跑起 70B 甚至 405B、671B 参数的原始权重模型。它走的是"分时换入"这条路——平时只把当前正在计算的那一层参数读进显存,其余层在 NVMe/SSD 上待机,算完即弃,下一层顶上。
  • Markdown和WYSIWYG富文本编辑器的最佳形态 做好自己 做好自己

    2
    1
    0 赞同
    2 帖子
    84 浏览
    rootbeerR
    @admin not bad
  • AI-optimized documentation files

    1
    1
    0 赞同
    1 帖子
    74 浏览
    尚无回复