全文链接： https://tecdat.cn/?p=45189
原文出处： 拓端数据部落公众号
关于分析师
在此对Dawei Zhou对本文所作的贡献表示诚挚感谢。Dawei Zhou在麦吉尔大学完成了计算机科学与统计专业的本科学位，专注金融科技与数理统计领域。擅长Python、R、SQL、C、Stata、Wind数据分析软件，专注于金融、数理统计领域。
专题：从零样本到微调：Lag-Llama基础模型在金融时序预测中的实战探索
我们频繁遇到一个核心挑战：如何在不具备充足历史数据或模型训练成本过高的情况下，依然能对高度不确定的市场（如金融、零售、能源）做出精准的预测。近期，人工智能领域的“基础模型”革命，从自然语言处理（如GPT系列）到计算机视觉（如SAM），展现出了强大的零样本与少样本学习能力，这为我们解决上述难题提供了全新的思路。然而，当我们将目光投向以噪声大、非平稳著称的金融时间序列时，这些“通才”模型是否依然能打？它们能否直接应用于股票收益率预测，并指导真实的交易决策？
带着这些疑问，我们团队在一个内部研发项目中，对专为时间序列预测设计的基础模型——Lag-Llama进行了深度测试。我们将Lag-Llama比喻为一个已经阅读过海量不同类型时间序列数据（如电力、交通、天气）的“实习生”，现在直接将其派往金融领域“上岗”（零样本预测），观察其表现。结果发现，这位“实习生”的初试成绩并不理想。随后，我们通过少量的金融数据对其进行“岗前培训”（微调），其预测能力和交易策略表现均得到了显著提升。
阅读原文获取完整代码数据及更多最新AI见解和行业洞察，可与900+行业人士交流成长；还提供人工答疑，拆解核心原理、代码逻辑与业务适配思路，帮大家既懂怎么做，也懂为什么这么做；遇代码运行问题，更能享24小时调试支持。
下图概括了本次从理论探索到实践验证的完整流程：
数据获取 ────► 数据预处理 ────► 零样本预测 ────► 回测评估
│ │
└───────────── 发现效果不佳 ──────────────────┘
│
▼
┌─────────────┐
│ 模型微调迭代 │
└─────────────┘
│
▼
┌───────────────┴───────────────┐
▼ ▼
微调后预测 ────► 回测评估 ────► 对比分析，验证微调有效性
1. 金融时序预测的新挑战与Lag-Llama模型的引入
近年来，基础模型在机器学习的多个领域引发了革命，尤其是在自然语言处理和计算机视觉领域，它们展现出了强大的零样本和小样本泛化能力。然而，在时间序列预测，特别是金融数据预测领域，这些模型的应用仍面临巨大挑战。金融数据固有的高噪声和非平稳特性，使得任何预测模型的泛化能力都备受考验。
Lag-Llama模型简介
为了解决时间序列的泛化难题，研究人员提出了一种名为Lag-Llama的基础模型，专门用于单变量概率时间序列预测。Lag-Llama采用解码器仅含变换器的架构，其核心创新在于引入滞后值作为协变量，从而有效地捕捉时间序列数据中的时间依赖性。
如下图所示，Lag-Llama通过处理过去多个时间步的滞后特征，学习输出下一个时间步取值的概率分布。
模型的输入是单变量时间序列在特定时间步的标记值。为了增强预测能力，模型还会结合多种协变量，包括一组预定义的滞后值、日期时间特征以及序列的统计摘要。这些输入经过多层掩码解码器投影后，传递给分布头，从而预测下一个时间步的分布参数。
Lag-Llama的强大之处在于其稳健的预训练方法。它利用了一个跨多个领域的大规模时间序列语料库进行预训练，从而捕捉了丰富的、通用的时序模式，这使得它具备了强大的零样本泛化能力。
相关文章
DeepSeek、LangGraph和Python融合LSTM、RF、XGBoost、LR多模型预测NFLX股票涨跌|附完整代码数据
原文链接：https://tecdat.cn/?p=44060
接下来，我们将通过实际案例，检验Lag-Llama在预测科技巨头股票收益率方面的表现。我们将从零样本预测开始，然后通过微调进行优化，并最终通过回测来评估其在真实交易中的价值。
阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。
2. 零样本预测实战
首先，我们在云端计算平台进行环境配置与模型部署。
# 定义一个函数，用于生成预测结果
def _obtain_forecasts(data, pred_len, n_samples=100):
# 加载预训练权重
checkpoint = torch.load("lag-llama.ckpt", map_location=torch.device("cuda:0"))
model_params = checkpoint["hyper_parameters"]["model_kwargs"]
# 初始化Lag-Llama估计器
estimator = LagLlamaEstimator(
ckpt_path="lag-llama.ckpt",
prediction_length=pred_len,
context_length=32, # 使用预训练时的上下文长度
input_size=model_params["input_size"],
n_layer=model_params["n_layer"],
n_embd_per_head=model_params["n_embd_per_head"],
n_head=model_params["n_head"],
scaling=model_params["scaling"],
time_feat=model_params["time_feat"],
batch_size=1,
num_parallel_samples=n_samples,
)
# ...... (此处省略了构建预测器、生成预测的完整代码，该部分涉及模型加载与预测流程的细节)
# 返回预测结果列表和实际时间序列列表
return forecasts, actual_series
# 执行零样本预测
forecasts, actuals = _obtain_forecasts(backtest_data, forecast_horizon, sample_size)
从上图可以看出，零样本预测下，模型对实际收益率的拟合程度较为一般。若将其转换为累积收益（即损益），偏差则更为明显。
阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。
3. 回测验证与微调优化
为了评估模型的真实交易价值，我们采用滚动窗口方法进行回测。在每个季度初，根据模型对下一季度收益率的预测来调整投资组合权重。具体规则为：若某资产预测累积收益为正，则买入；若为负，则卖空。最终将所有头寸的绝对值之和缩放至1。回测过程中考虑了交易佣金和卖空费用。
零样本策略的回测结果令人失望：
虽然该策略在部分下跌趋势中避免了损失，但在整体上涨趋势中却录得亏损。
这表明，直接应用预训练的Lag-Llama进行零样本金融预测，效果并不理想。因此，我们尝试对其进行微调，以适应金融数据的特性。
# 配置微调参数
finetune_estimator = LagLlamaEstimator(
ckpt_path="lag-llama.ckpt",
prediction_length=forecast_horizon,
context_length=32,
nonnegative_pred_samples=True, # 确保预测样本非负（对于收益率预测不适用，此处仅为示例）
aug_prob=0, # 关闭数据增强
lr=5e-4, # 设置学习率
input_size=model_params["input_size"],
n_layer=model_params["n_layer"],
n_embd_per_head=model_params["n_embd_per_head"],
n_head=model_params["n_head"],
time_feat=model_params["time_feat"],
batch_size=64,
num_parallel_samples=sample_size,
trainer_kwargs={"max_epochs": 50}, # 训练50个周期
)
# ...... (此处省略了模型训练的完整代码，该部分涉及数据加载、训练循环等细节)
# 对剩余数据进行预测
test_dataset = _prepare_dataset(return_df.iloc[252*5:])
forecasts_ft, actuals_ft = _obtain_forecasts_finetuned(test_dataset, forecast_horizon, sample_size, predictor=fine_tuned_predictor)
微调后，预测结果与实际收益率的拟合度显著提升。
对应的累积收益预测也更为准确。
阅读原文获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。
再次进行回测，策略表现焕然一新：
通过简单的微调，Lag-Llama模型在金融数据上的预测能力得到了大幅提升，其生成的交易策略也展现了更优的收益风险特征。
4. 结论与展望
通过本次实战探索，我们得出以下结论：即使是专为时间序列设计的基础模型Lag-Llama，在金融预测这一高度复杂的任务上也难以通过零样本方式直接奏效。然而，通过少量的特定领域数据进行微调，模型的性能可以得到质的飞跃，其预测结果能够用于构建有效的交易策略。
当然，这仅仅是开始。未来的优化方向包括：更精细的超参数搜索、考虑波动率结构的分段建模、结合强化学习进行数据清洗和去噪、以及策略层面的优化和交叉验证等。这为我们打开了通往更智能、更鲁棒的量化交易系统的大门。
注：本文不构成任何投资建议。文中所提及的任何具体投资机会均仅作为教学材料。投资始终伴随金融风险，读者在做出任何投资决策前，应自行进行充分调研或咨询持牌财务顾问。
