星颖资源网

 找回密码
 立即注册
查看: 12|回复: 1

动手自制大模型推理框架Cuda加速与量化实战

[复制链接]

7万

主题

1万

回帖

26万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
265943
发表于 前天 22:41 | 显示全部楼层 |阅读模式
动手自制大模型推理框架Cuda加速与量化实战

├── 视频
│  ├── 0 绪论-绪论-重录高清版.mkv
│  │  └── 0 绪论-绪论-重录高清版.mkv
│  ├── 1 环境配置-1-第一次课程.mkv
│  │  └── 1 环境配置-1-第一次课程.mkv
│  ├── 1 环境配置-2-第一节课程-附-vscode1.mkv
│  │  └── 1 环境配置-2-第一节课程-附-vscode1.mkv
│  ├── 1 环境配置-2-第一节课程-附-vscode2.mkv
│  │  └── 1 环境配置-2-第一节课程-附-vscode2.mkv
│  ├── 10 mmap映射模型文件.mkv
│  │  └── 10 mmap映射模型文件.mkv
│  ├── 11 算子层的创建和权重的载入.mkv
│  │  └── 11 算子层的创建和权重的载入.mkv
│  ├── 12 算子后端的选择.mkv
│  │  └── 12 算子后端的选择.mkv
│  ├── 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkv
│  │  └── 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkv
│  ├── 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkv
│  │  └── 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkv
│  ├── 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4
│  │  └── 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4
│  ├── 15 kvcache的原理与实现.mp4
│  │  └── 15 kvcache的原理与实现.mp4
│  ├── 16 KV Cache的实现和自注意力计算中的QKV.mp4
│  │  └── 16 KV Cache的实现和自注意力计算中的QKV.mp4
│  ├── 17 MLP层的实现-上.mp4
│  │  └── 17 MLP层的实现-上.mp4
│  ├── 17 MLP层的实现-下.mp4
│  │  └── 17 MLP层的实现-下.mp4
│  ├── 18 用Cuda实现LLama模型中多头注意力算子-正常版本
│  │  └── 18 用Cuda实现LLama模型中多头注意力算子-正常版本.sz
│  ├── 19 llama中其余算子的cuda实现 - llama模型中的其余算子实现
│  │  └── 19 llama中其余算子的cuda实现 - llama模型中的其余算子实现.sz
│  ├── 2 资源管理-重录后-内存的管理和设备类.mkv
│  │  └── 2 资源管理-重录后-内存的管理和设备类.mkv
│  ├── 20 llama3.2模型的支持
│  │  └── 20 llama3.2模型的支持.sz
│  ├── 21 课程demo和整体流程回顾.mp4
│  │  └── 21 课程demo和整体流程回顾.mp4
│  ├── 22 支持qwen3.mkv
│  │  └── 22 支持qwen3.mkv
│  ├── 3 算子类设计-重录后-算子类的设计.mkv
│  │  └── 3 算子类设计-重录后-算子类的设计.mkv
│  ├── 4 张量的设计与实现-重新录制后的第四章.mkv
│  │  └── 4 张量的设计与实现-重新录制后的第四章.mkv
│  ├── 5 rmsnorm的cuda实现-重置后的第五次课程
│  │  └── 5 rmsnorm的cuda实现-重置后的第五次课程.sz
│  ├── 6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkv
│  │  └── 6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkv
│  ├── 7 模型的量化-加载权重-重置后的第7次课程
│  │  └── 7 模型的量化-加载权重-重置后的第7次课程.sz
│  ├── 8 cuda的向量化存取-Cuda的向量化存取
│  │  └── 8 cuda的向量化存取-Cuda的向量化存取.sz
│  └── 9 显存的管理.mkv
│    └── 9 显存的管理.mkv
└── 课件
  ├── 7模型权重文件
  │  └── tokenizer.model
  │    └── tokenizer.model
  ├── c++ testmate配置
  │  └── c++ testmate配置.html
  ├── vscode参考配置.zip
  │  └── vscode参考配置.zip
  ├── 《自制大模型推理框架》课程目录-支持LLama3和Qwen3
  │  └── 《自制大模型推理框架》课程目录-支持LLama3和Qwen3.html
  ├── 第10课-自制大模型推理框架-mmap映射模型文件
  │  └── 第10课-自制大模型推理框架-mmap映射模型文件.html
  ├── 第11课-自制大模型推理框架-算子层的创建和权重的载入
  │  └── 第11课-自制大模型推理框架-算子层的创建和权重的载入.html
  ├── 第12课-自制大模型推理框架-算子后端的选择
  │  └── 第12课-自制大模型推理框架-算子后端的选择.html
  ├── 第13课-Sgemv算子的实现-cpu
  │  └── 第13课-Sgemv算子的实现-cpu.html
  ├── 第13课-Sgemv算子的实现-cuda
  │  └── 第13课-Sgemv算子的实现-cuda.html
  ├── 第15次课程-KVCache的原理和实现
  │  └── 第15次课程-KVCache的原理和实现.html
  ├── 第16课-KV Cache的实现和自注意力计算中的QKV
  │  └── 第16课-KV Cache的实现和自注意力计算中的QKV.html
  ├── 第17课-Llama模型中的MLP层实现
  │  └── 第17课-Llama模型中的MLP层实现.html
  ├── 第18次课程-用Cuda实现LLama模型中多头注意力算子
  │  └── 第18次课程-用Cuda实现LLama模型中多头注意力算子.html
  ├── 第19次课程-llama模型中的其余算子实现
  │  └── 第19次课程-llama模型中的其余算子实现.html
  ├── 第1课-环境安装
  │  └── 第1课-环境安装.html
  ├── 第20次课程-LLama3.2模型的支持
  │  └── 第20次课程-LLama3.2模型的支持.html
  ├── 第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5
  │  └── 第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5.html
  ├── 第22课-《cuda自制大模型推理框架》课程中支持qwen3
  │  └── 第22课-《cuda自制大模型推理框架》课程中支持qwen3.html
  ├── 第2次课程-内存和设备的管理
  │  └── 第2次课程-内存和设备的管理.html
  ├── 第3次课程-算子类的设计
  │  └── 第3次课程-算子类的设计.html
  ├── 第4次课程-张量的设计与实现
  │  └── 第4次课程-张量的设计与实现.html
  ├── 第5次课程-RMSNorm算子的CUDA实现
  │  └── 第5次课程-RMSNorm算子的CUDA实现.html
  ├── 第6次课程-Nsight compute的使用和算子的优化
  │  └── 第6次课程-Nsight compute的使用和算子的优化.html
  ├── 第7次课程-模型的量化
  │  └── 第7次课程-模型的量化.html
  ├── 第8次课程-Cuda的向量化存取
  │  └── 第8次课程-Cuda的向量化存取.html
  └── 第9次课程-自制大模型推理框架-显存的管理
    └── 第9次课程-自制大模型推理框架-显存的管理.html

下载地址:
游客,如果您要查看本帖隐藏内容请回复
回复

使用道具 举报

0

主题

3458

回帖

6916

积分

VIP(年费)

积分
6916
发表于 10 小时前 来自手机 | 显示全部楼层
看到就转:没有人会输给命运,所有人都输给了自己。说明决定成败的关键在于自己的心态和选择
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

微信

社群

VIP

AI

顶部

QQ|本站内容来源网友投稿或网络转载,如果有侵权的内容,请联系我们删除。|小黑屋|人人为我,我为人人!| 星颖资源网

GMT+8, 2026-11-19 10:41 , Processed in 0.452446 second(s), 24 queries .

快速回复 返回顶部 返回列表