51CTO夏曹俊LLama实战本地CPU推理大语言模型-C++开发实战

网盘目录

01 课程介绍
01 课程介绍75.39 mb
02 推演程序演示,基于130亿参数模型4.57 mb
02 llama模型下载和推理测试
01 llama模型分析和训练数据分析128.14 mb
02 git和msys2安装和llama模型下载76.26 mb
03 llama推理测试程序演示44.56 mb
04 LLama2实战课程讲义.txt18 bit
03 llama.cpp源码编译
01 llama.cpp构建环境说明7.68 mb
02 visutal_studio_2022安装74.97 mb
03 llama.cpp构建和项目分析91.51 mb
04 cmake windows安装二进制版本27.14 mb
04 llama模型格式转换和量化
01 ggml格式介绍26.92 mb
02 conda在windows中的安装和使用63.02 mb
03 conda的python环境安装74.27 mb
04 llama的pth格式转换为ggml的bin53.85 mb
05 llama量化模型到Q4_057.19 mb
05 Chinese-LLaMA-Alpaca 中文模型
01 Chinese-LLaMA-Alpaca 中文模型分析和下载91.1 mb
02 Transformers安装和llama模型格式转换113.86 mb
03 合并中文LoRA权重和llama生成全量模型权重104.68 mb
04 使用Transformer和Web图形界面实现推理89.88 mb
05 使用llama.cpp量化和推理中文模型94.91 mb
06 大语言模型参数结合源码分析
01 llama参数ctx-size上下文大小相关代码分析52.1 mb
02 predict和batch-size回复数和推理批次代码74.69 mb
03 增加结果多样性-重复惩罚repeat-penalty93.08 mb
04 21温度改变随机性top-k和top-p算法分析110.57 mb
07 开源llamaqt 实战开发
01 开源llamaqt项目分析说明20.61 mb
02 基于llama.cpp的cmake项目配置和模型加载代码实现171.97 mb
03 完成了推理预处理prompt代码163.57 mb
04 完成了推理结果逻辑表采样并输出52.39 mb
05 完成了精简版的推理示例程序103.12 mb
06 xllama接口类图设计说明49.32 mb
07 XGp测试项目和线程启动停止代码完成187.07 mb
08 XGpt用户输入和线程接收和回调反馈完成154.76 mb
09 完成xllama的推理和反馈接口并测试167.63 mb
10 XGptFac工厂类创建229.26 mb
11 基于cmake配置了推理QT项目211.4 mb
12 完成了基于QT的推理交互程序146.15 mb
夏曹俊

适合人群:

IT从业者 跟着课程内容,做大语言模型的实验 ,理解大语言模型的应用场景。 大学生 了解大语言模型落地的实际情况,并能够进行开发 程序员 为将来大量的系统要用大语言模型重写,做好技术储备

你将会学到:

能够开发本地推理的AI大语言模型

  • 了解llama模型的原理并测试本地推理
  • 合并llama与开源中文模型
  • 通过代码分析了解大语言模型的参数含义
  • 了解如何量化llama模型用于边缘计算
  • 使用QT+llama.cpp开发出本地大语言模型应用

课程简介:




课程内容展示

  1 XGpt模块设计



   2 llama.cpp 控制台推理程序





3 基于transformer的推理



4 可视化推理程序llamaqt代码





5 可视化推理程序llamaqt



课程大纲



一 llama模型分析和推理测试

    llama模型分析和预训练数据来源分析

    llama模型下载脚本依赖环境安装

    llama的7B、13B、30B、70B模型下载

    llama推理测试程序演示

二 llama.cpp构建

    llama.cpp源码下载和构建环境分析

    构建依赖VisualStudio2022安装

    构建依赖CMake安装

    llama.cpp在windows构建和项目分析

三 llama模型格式转换和量化

    ggml格式介绍

    conda在windows中的安装和使用

    llama的pth格式转换为ggml的bin

    使用llama.cpp量化llama模型适应低性能设备

四 Chinese-LLaMA-Alpaca 中文模型

    Chinese-LLaMA-Alpaca模型分析和下载

    Transformers安装和llama模型格式转换

    合并LoRA权重生成全量模型权重

    使用Transformer和Web图形界面实现推理

    使用llama.cpp量化和推理中文模型

五 大语言模型参数结合源码分析

    推理参数和采样参数说明

    llama参数ctx-size上下文大小相关代码分析

    predict和batch-size回复数量和推理批次代码分析

    增加结果多样性-重复惩罚repeat-penalty

    温度改变随机性top-k和top-p算法分析

六 开源llamaqt 实战开发

    基于cmake完成项目构建

    XGtp模块-推理模块-支持扩展不同的推理算法

    XGtp模块-日志子模块

    XGtp模块-控制台转发模块

    QT交互界面开发对话界面

    模型加载、参数设置界面

    运行状态和日志显示


常见问题:

问:我没有3090和A100显卡是否能运行本门课程示例

答:跟着课程做实验电脑有什么要求。内存32G就够,CPU越快越好, 显卡N卡和A卡都可以加速,不是必须

问:课程示例对操作系统有什么要求

答:课程所有的示例都在Windows11上运行,但所有代码和工具都是支持Linux和Mac

问:我没有C++和QT基础可不可以学习本门课程

答:除了最后一章开发实战需要C++和QT其他章节不需要,可以先学习前面章节,理解大语言模型本地推理的实际情况

全网最全最新最专业的资源站
九章资源站 » 51CTO夏曹俊LLama实战本地CPU推理大语言模型-C++开发实战

发表回复

全网最全最新最专业的资源站

购买会员 联系客服