大语言模型参数传递、model 构建与tokenizer构建（基于llama3模型）

前言

上一篇说到huggingface的参数传递理论方法，本篇文章应用与llama3参数构建实践代码开发。并在参数传递基础上构建模型model与tokenizer。

提示：使用huggingface方法传参与模型构建！

一、传递参数构建

参数还是很简单，一个模型参数、数据参数和trainer训练参数，我也不在解读，直接给出。

1、构建模型参数

模型参数一般都是载入模型、载入tokenizer等路径啥的，没啥说的，直接给出方法，如下：

@dataclass
class ModelArguments:
    """
    Arguments pertaining to which model/config/tok