DOML SDK 使用说明

概要

在没有 DoDo 训练模版的情况下，即完全自定义训练过程，必须使用 DOML SDK，才能充分使用平台的模型数据过程管理，模型管理等功能；当然这并不是必选项，如果您不需要平台关于训练过程的增强管理功能，您仍然可以构建自定义训练任务，提交平台调度；
使用 DOML SDK 可快速接入 DoDo 平台，可将您的训练过程数据，或您想别记录的数据让平台来跟踪；
使用方式非常简单，对原有的训练代码无入侵，只需添加几行代码；

功能介绍

python

#1 功能导入
import doml
from doml.matador_callback import MatadorCallback
import doml.pytorch

#2 在训练代码启动前，开启系统资源监控
doml.enable_system_metrics_logging()

#3 在训练代码启动前，开启SDK跟踪
doml.start_run()

#4 若有自己的数据需要记录，可以在SDK跟踪后的任意执行点，设置指标与数据
# Log metrics
metrics = {
     "weight_decay": 0.01,
 }
doml.log_metrics(metrics)

#5 模型训练数据自动跟踪
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    .......)
trainer.add_callback(MatadorCallback())

#6 模型保存
# 存储目录可随意填写，但尽量是有意义的名字，方便您的管理，
# 例如Qwen 2.5的模型，都可以统一放在Qwen2.5的目录下
doml.log_artifacts("模型所在路径", artifact_path=“DoDo平台存储的目录”)

DOML SDK 使用说明 ​

概要 ​

功能介绍 ​

DOML SDK 使用说明

概要

功能介绍