• 2025-05-21

JK-AI大模型微调训练营第5期-LLaMA ChatGLM技术生态+DeepSpeed分布式+华为昇腾实战

AI大模型微调训练营第5期课程全面覆盖AI大模型的核心技术与实战应用,内容分为四阶技术:提示工程、AI智能体、大模型微调和预训练技术。课程从大模型技术发展史、Transformer架构、GPT系列模型等基础知识入手,逐步深入讲解高效微调技术(如LoRA、QLoRA)、量化技术(如GPTQ、AWQ)、分布式训练框架(如DeepSpeed)以及国产化实战(如华为Ascend 910微调ChatGLM-6B)。通过实战案例(如Whisper语音识别、ChatGLM3微调)和工具库(如Hugging Face Transformers、PEFT),学员将掌握大模型开发、微调、部署的全流程技能。

课程目录

├──第1章
| ├──课件
| | └──1-AI大模型四阶技术总览.pdf
| ├──1. 章节介绍.mp4
| ├──2. AI技术浪潮:弱人工智能、机器学习、深度学习、大语言模型.mp4
| ├──3. AI应用浪潮:高校共识、硅谷创新、中美博弈.mp4
| ├──4. 把握浪潮:AI 大模型助力超级个体和小团队.mp4
| ├──5. AI大模型四阶技术总览:提示工程(Prompt Engineering).mp4
| ├──6. AI大模型四阶技术总览:AI智能体(Agents).mp4
| ├──7. AI大模型四阶技术总览:大模型微调(Fine-tuning).mp4
| └──8. AI大模型四阶技术总览:预训练技术(Pre-training).mp4
├──第2章
| ├──课件
| | ├──2-大语言模型技术发展与演进.pdf
| | ├──代码链接地址.txt
| | └──论文.zip
| ├──1. 章节介绍.mp4
| ├──2. 统计语言模型.mp4
| ├──3. 神经网络语言模型.mp4
| ├──4. 大语言模型:注意力机制.mp4
| ├──5. 大语言模型:Transformer网络架构.mp4
| ├──6. 大语言模型:GPT-1与BERT.mp4
| └──7. 大语言模型:暴力美学GPT系列模型.mp4
├──第3章
| ├──课件
| | └──5-大模型开发工具库 HF Transformers.pdf
| ├──1. 章节介绍.mp4
| ├──2. Hugging Face Transformers快速入门.mp4
| ├──3. Transformers核心功能模块.mp4
| ├──4. 大模型开发环境搭建.mp4
| ├──5. 实战Hugging Face Transformers工具库.mp4
| └──6.作业.txt
├──第4章
| ├──课件
| | └──4-实战Transformers模型训练.pdf
| ├──1. 章节介绍.mp4
| ├──2. 数据集处理库Hugging Face Datasets.mp4
| ├──3. Transformers模型训练入门.mp4
| ├──4. 实战训练BERT模型:文本分类任务.mp4
| ├──5. 实战训练BERT模型:QA任务.mp4
| └──6.作业.txt
├──第5章
| ├──课件
| | ├──5-大模型高效微调技术揭秘(上).pdf
| | ├──Fine-tuning论文.zip
| | └──Instruction-Tuning论文.zip
| ├──1. 章节介绍.mp4
| ├──2. Before PEFT:Hard Prompt Full Fine-tune.mp4
| ├──3. PEFT主流技术分类介绍.mp4
| ├──4. PEFT – Adapter技术.mp4
| ├──5. PEFT – Soft Prompt 技术(Task-specific Tuning).mp4
| └──6. PEFT – Soft Prompt 技术(Prompt Encoder).mp4
├──第6章
| ├──课件
| | └──6-大模型高效微调技术揭秘(下).pdf
| ├──1. 章节介绍.mp4
| ├──2. LoRA低秩适配微调技术.mp4
| ├──3. AdaLoRA自适应权重矩阵微调技术.mp4
| ├──4. QLoRA量化低秩适配微调技术.mp4
| ├──5. UniPELT:大模型PEFT统一框架.mp4
| └──6. (IA)3:极简主义增量训练方法.mp4
├──第7章
| ├──课件
| | └──7-大模型高效微调工具HF PEFT 入门与实战.pdf
| ├──1. 章节介绍.mp4
| ├──2. Hugging Face PEFT 快速入门.mp4
| ├──3. OpenAI Whisper 模型介绍.mp4
| ├──4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别.mp4
| └──5.作业.txt
├──第8章
| ├──课件
| | ├──8-大模型量化技术入门与实战.pdf
| | └──Quantization论文.zip
| ├──1. 章节介绍.mp4
| ├──2. 模型显存占用与量化技术简介.mp4
| ├──3. GPTQ:专为 GPT 设计的模型量化算法.mp4
| ├──4. AWQ:激活感知权重量化算法.mp4
| ├──5. BitsAndBytes(BnB) :模型量化软件包.mp4
| ├──6. 实战 Facebook OPT 模型量化.mp4
| └──7.作业.txt
├──第9章
| ├──课件
| | ├──9-GLM 大模型家族与ChatGLM3-6B微调入门.pdf
| | └──GLM论文.zip
| ├──1. 章节介绍.mp4
| ├──2. 基座模型 GLM-130B.mp4
| ├──3. 扩展模型:联网检索、多模态、代码生成.mp4
| ├──4. 对话模型 ChatGLM 系列.mp4
| ├──5. ChatGLM3-6B 微调入门.mp4
| ├──6. 实战 QLoRA 微调 ChatGLM3-6B.mp4
| └──7.作业.txt
├──第10章
| ├──课件
| | └──10-实战私有数据微调ChatGLM3.pdf
| ├──1. 章节介绍.mp4
| ├──2. 使用 ChatGPT 自动设计生成训练数据的 Prompt.mp4
| ├──3. 合成数据: LangChain + GPT-3.5 Turbo.mp4
| ├──4. 数据增强:提升训练数据多样性.mp4
| ├──5. 提示工程:保持批量生成数据稳定性.mp4
| ├──6. 实战私有数据微调 ChatGLM3.mp4
| └──7.作业.txt
├──第11章
| ├──课件
| | ├──11-ChatGPT大模型训练技术RLHF.pdf
| | └──RLHF论文.zip
| ├──1. 章节介绍.mp4
| ├──2. ChatGPT 大模型训练核心技术.mp4
| ├──3. 基于人类反馈的强化学习(RLHF)技术详解.mp4
| └──4. 基于 AI 反馈的强化学习(RLAIF)技术.mp4
├──第12章
| ├──课件
| | ├──12-混合专家模型(MoEs)技术揭秘.pdf
| | └──MoEs论文.zip
| ├──1. 章节介绍.mp4
| ├──2. MoEs 技术发展简史.mp4
| ├──3. MoEs 与大模型结合后的技术发展.mp4
| └──4. MoEs 实例研究:Mixtral-8x7B.mp4
├──第13章
| ├──课件
| | ├──13-Meta AI 大模型 LLaMA.pdf
| | └──LLaMA论文.zip
| ├──1. 章节介绍.mp4
| ├──2. LLaMA 1 大模型技术解读.mp4
| ├──3. LLaMA 1 衍生模型大家族.mp4
| ├──4. LLaMA 2 大模型技术解读.mp4
| └──5. 申请和获取 LLaMA 2 模型预训练权重.mp4
├──第14章
| ├──课件
| | └──14-实战LLaMA2-7B指令微调.pdf
| ├──1. 章节介绍.mp4
| ├──2. 大模型训练技术总结.mp4
| ├──3. LLaMA2-7B 指令微调上手实战.mp4
| └──4. 再谈中文指令微调方法.mp4
├──第15章
| ├──课件
| | └──15-大模型分布式训练框架Microsoft DeepSpeed.pdf
| ├──1. 章节介绍.mp4
| ├──10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练.mp4
| ├──11. DeepSpeed 创新模块 Inference Compression Science.mp4
| ├──2. 预训练模型显存计算方法.mp4
| ├──3. Zero Redundancy Optimizer ZeRO技术详解.mp4
| ├──4. Microsoft DeepSpeed 框架和核心技术.mp4
| ├──5. 分布式模型训练并行化技术对比.mp4
| ├──6. DeepSpeed 与 Transformers 集成训练大模型.mp4
| ├──7. DeepSpeed 框架编译与安装.mp4
| ├──8. DeepSpeed ZeRO 配置详解.mp4
| └──9. 使用 DeepSpeed 单机多卡、分布式训练.mp4
├──第16章
| ├──课件
| | └──16-国产化实战:基于华为 Ascend 910 微调 ChatGLM-6B.pdf
| ├──1. 章节介绍.mp4
| ├──2. 蓝色星球的算力霸主:NVIDIA.mp4
| ├──3. 厚积薄发的江湖大佬:Google.mp4
| ├──4. 努力追赶的国产新秀:华为.mp4
| ├──5. 华为昇腾全栈 AI 软硬件平台介绍.mp4
| └──6. 实战:华为 Ascend 910B 微调 ChatGLM 6B 模型.mp4
├──第17章 智谱章节
| ├──1. GLM 大模型家族介绍.mp4
| ├──1.GLM大模型家族介绍.pdf
| ├──2. GLM 模型部署微调实践.mp4
| ├──2.GLM模型部署实践.pdf
| ├──3. CogVLM模型部署实践.mp4
| ├──3.CogVLM模型部署实践.pdf
| ├──4. 选学 智谱第四代 API 介绍.mp4
| ├──4.选学 GLM4 GLM4V API 调用实践.pdf
| ├──5. 选学 API 基础教学和实战-问题解决方案.txt
| ├──5. 选学 API 基础教学和实战.mp4
| └──6. 使用 GLM-4 API 构建模型和应用.mp4
├──直播回放
| ├──10.17 第四次直播答疑.mp4
| ├──8.29 第一次直播答疑.mp4
| └──9.26 第三次直播答疑.mp4
├──01-课前准备.docx
└──02-课程表.webp




正文到此结束