- 大模型结构
- transformer、deepseek、千问、llama
- Python 高级编程(装饰器、生成器、上下文管理器)与Pytorch核心操作(张量、autograd、module、dataloader)
- Hugging Face相关API使用
- 数据工程与预处理
- 数据清洗
- 正则表达式
- 数据清洗
- 大模型训练
- 预训练
- 混合精度训练
- 分布式训练
- Deepspeed
- Megatron-LM
- FSDP
- 大模型微调
- SFT
- Llama Factory - llama3,Qwen系列大模型
- LORA微调
- HuggingFace代码微调
- 强化微调
- PPO、DPO、RLHF、GRPO、GSPO、GAPO
- TRL库
- SFT
- 模型量化
- llama.cpp
- 大模型推理加速
- vLLM(无二次开发能力,快速部署可以考虑)
- Flash attention
- TensorRT-LLM
- Imdeploy(国内GPU硬件或者部署多模态大模型可以使用)
- sglang(对性能有要求或者团队二次开发能力强可以使用)
- 大模型部署
- ollama
- gradio
- RAG
- 向量数据库
- milvus
- chromaDB
- llama index
- Graph RAG
- 向量数据库
- Agent
- dify
- langchain,llama index,langraph
- docker(learning)(胖虎)
- CUDA编程(learning)
- cublas
- cutlass
- triton
- 自制大模型推理框架
- 幻觉、安全、时效性等问题解决
- Shell脚本的编写
Popular repositories Loading
Something went wrong, please refresh the page to try again.
If the problem persists, check the GitHub status page or contact support.
If the problem persists, check the GitHub status page or contact support.