xiaoli xiaoli-llm

🚀 大模型小白成长之路

大模型结构
- transformer、deepseek、千问、llama
Python 高级编程（装饰器、生成器、上下文管理器）与Pytorch核心操作（张量、autograd、module、dataloader）
Hugging Face相关API使用
数据工程与预处理
- 数据清洗
  - 正则表达式
大模型训练
- 预训练
- 混合精度训练
- 分布式训练
  - Deepspeed
  - Megatron-LM
  - FSDP
大模型微调
- SFT
  - Llama Factory - llama3,Qwen系列大模型
  - LORA微调
  - HuggingFace代码微调
- 强化微调
  - PPO、DPO、RLHF、GRPO、GSPO、GAPO
  - TRL库
模型量化
- llama.cpp
大模型推理加速
- vLLM（无二次开发能力，快速部署可以考虑）
- Flash attention
- TensorRT-LLM
- Imdeploy（国内GPU硬件或者部署多模态大模型可以使用）
- sglang（对性能有要求或者团队二次开发能力强可以使用）
大模型部署
- ollama
gradio
RAG
- 向量数据库
  - milvus
  - chromaDB
- llama index
- Graph RAG
Agent
- dify
- langchain,llama index,langraph
docker(learning)（胖虎）
CUDA编程（learning）
- cublas
- cutlass
triton
自制大模型推理框架
幻觉、安全、时效性等问题解决
Shell脚本的编写