Popular repositories Loading

1. from-mha-to-mla from-mha-to-mla Public

   MHA, MQA, GQA, MLA 相关原理及简要实现

   Python 8

2. Transformer-Demo Transformer-Demo Public

   跟着原论文主要框架走，像搭积木一样一步一步构建出一个基础的Transformer模型

   Python 3

3. ml-numpy ml-numpy Public

   【纯 numpy 手写】使用 numpy 实现部分经典机器学习算法：逻辑回归 | 决策树 | 神经网络 | 线性 SVM | 朴素贝叶斯 | K-Means

   Python 3

4. Speculative-Demo Speculative-Demo Public

   一个简单的投机推理实现

   Python 3

5. Triference-Qwen2 Triference-Qwen2 Public

   手写 Triton 融合算子并应用于 qwen2 模型推理

   Python 3

6. rl-basic-learn rl-basic-learn Public

   强化学习基础算法 [K-臂老虎机 | Sarsa | Q-Learning | Dyna-Q | DQN | REINFORCE | TRPO | PPO]

   Python 2 1