LLaMA 3 源码解读-大语言模型5，如何深入理解？

本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LLaMA3的模型架构，搞清楚现在的LLM都是啥样的。 事先说明，LLaMA 3 相较于LLaMA 2 在网络架构上没有改进。用知乎网友的话说，“LLaMA 3的发布，更强调了数据工程的重要：模型架构不变，更多的数据量和更高数据质量能够带来明显模型效果提升”。但是仔细看看一个LLM的源码，对于我这种初学者，还是非常有必要的。 https://zhuanlan.zhihu.com/p/693428105 还有就是，这个博客解析的源码是d6e09315954d1a547bf45e37269978c049e73d33这个版本的。如果后面Meta更新的部分代码导致和这篇博客内容对不上，你可以先翻阅这个版本的源码。如果还有什么解决不了的，可以在这篇博客下面给我留言，我们共同学习共同进步。 Generation Llama.build模型实例化与如何看源码 我们通过llama3的ReadMe，找到了这个demo，demo通过 from llama import Dialog, Llama generator = Llama.build( ckpt_dir=ckpt_dir, tokenizer_path=tokenizer_path, max_seq_len=max_seq_len, max_batch_size=max_batch_size, ) results = generator.chat_completion(dialogs, max_gen_len, temperature, top_p) 完成对话。它先调用了 Llama.build，再对返回的对象调用了generator.chat_completion完成对话的功能；导入的库是llama。 进而关注到repo下面的llama文件夹，所以会先看一看文件夹下面的__init__.py： from .generation import Llama from .model import ModelArgs, Transformer from .tokenizer import Dialog, Tokenizer 所以demo调用的 Llama.build在 .generation里面。