文章目录
前言
本文使用huggingface方法来构建大模型数据加工方法！当然，这些方法也可以为其它大模型使用！。
一、基于huggingface的DataCollatorForSeq2Seq方法解读
1、DataCollatorForSeq2Seq方法
该方法是类似collan_fn函数，就是torch的dataloader对batch包装函数处理，而输入字典给input_ids与labels就好了，这个方法会自动给你添加attention_mask内容，而attention_mask若有pad填充值是0。这个也是huggingface提供内容，而我这里想介绍如何自动填充。
该方法是一个类，其示意源码如下：
class DataCollatorForSeq2Seq:
tokenizer:本站资源均来自互联网，仅供研究学习，禁止违法使用和商用，产生法律纠纷本站概不负责！如果侵犯了您的权益请与我们联系！
转载请注明出处： 免费源码网-免费的源码资源网站 » 大语言模型数据处理方法(基于llama模型)
发表评论 取消回复