今天在kaggle上跑模型的时候发现，模型还没开始跑就已经占用了11G的显存。这时候就需要清除一下系统中缓存的显存占用。 显存 我们先来查看一下系统显存占用情况： import torch def get_gpu_memory(): gpu_memory = torch.cuda.memory_allocated() / 1024 / 1024 /…

当使用 Hugging Face 上的 dirtycomputer/weibo_senti_100k 数据集时，我们发现该数据集只包含了训练集，并没有提供测试集和验证集。因此，在使用该数据集进行模型训练和评估时，我们需要自行将训练集的一部分数据拆分出来作为测试集和验证集。 下面的代码演示了如何实现这个功能。首先，我们加载数据集并将其划分为训练集、测…

当我们使用Hugging Face上的数据集时，有时候需要将数据集按照训练集、测试集、验证集的类别分别处理并写入不同的文件中，以便于我们在训练模型时能更好的处理数据。 下面这个方法就能很好的处理这个需求。 # 此方法适用于将huggingface的dataset类型的数据集写入jsonl格式的文件 # texts dataset['tra…