大模型相关的 LLM-learning

再来点个人建议， 指出几个资源、列举几个方向的几篇论文

NLP入门课程

如台大李宏毅、 西湖大学张岳(B站有)

大模型年代，可能会倾向于先学大模型知识

大模型方面

课程待找

视频资源 跟李沐学AI 合集 AI论文精读

NLP 必读论文 对应视频：

• Transformer
• 关键的 Residual 残差网络 部分1 和 部分2。
• 重要方向 BERT
• 大语言模型的 GPT 1 2 3
• Chain of thoughts
• ChatGPT背后的技术 InstructGPT
• 文本-图像多模态的基础 CLIP
• 微调/精调 LoRA

论文主要划分

基础结构

• Attention is all you need
• ResNet
• BERT
• GPT 1 2 3
• T5 其实就是 Transformer
• GLM General Language Model Pretraining其实就是某种 Transformer（
• ViT Transformer在图像
• RWKV?
• Mamba?

大模型推理

• Chain of thoughts
• self-consistency CoT
• Let’s think step by step(zero-shot reasoner)
• 等等
• 列太多就成 awesome-XXX 了

微调 PEFT

parameter effecient fine tuning

主要是 LoRA, Adapter 和 其他

LoRA

Adapter