基于大语言模型的碳市场价格预测微调以及迁移学习

摘要

我们提出了一个统一的预测框架来准确预测欧盟排放交易计划（EU ETS）的价格，以及中国排放配额（CEA）的价格。我们的框架利用时间序列模型（TSM）进行初始预测，然后应用大语言模型（LLM）来优化预测结果。我们通过展示过去TSM预测与其对应的真实未来价格的示例对LLM进行引导，以使LLM能够通过思维链条来修正不准确的预测结果。LLM的上下文学习能力使其能够根据TSM的预测结果进行调整和优化。

为了进一步减少LLM在提示时的延迟和费用，我们创新地提出了一种“后续微调（Post-finetune）”方法，训练一个门控线性单元（GLU）模型来压缩LLM的上下文学习能力。这使得在推断时可以直接对TSM的输出进行微调，无需提示LLM。

实验结果显示，我们的方法能够在不同区域将TSM的预测结果提高10%至40%，并通过包含源区市场背景来预测目标区域，提高了10%至21%的迁移学习效果。值得注意的是，我们的GLU模型在某些情况下实现了与LLM提示相媲美甚至更好的性能。这证明了，我们的模型有效地结合了传统时间序列模型的短期预测能力和LLM通常关联的长期趋势预测能力。

研究背景

最近提出的碳中和提案旨在在未来20至30年内消除净碳排放。为了朝着这一目标调节经济活动，中国和欧盟等国家建立了碳市场，其中可以交易排放配额。工业制造商可以购买更多的配额或减少自身的排放，促进清洁能源的使用并鼓励创新。

准确预测碳价格可以帮助制造公司通过有效规划来最小化成本，同时也为政府提供有价值的决策基础，用于管理国内工业部门。预测碳市场的挑战在于新兴市场数据不足，以及非线性和波动性的存在，这使得传统的预测方法效果较差。

为了应对这一挑战，我们通过将基于机器学习的时间序列模型与人工智能领域中预先训练过的大型语言模型的最新进展相结合，来提高碳价格预测的准确率。

研究方法

1

数据集

我们采用了欧盟碳期货价格数据，包括来自先前研究的13个选择因素，如原油和天然气产量、欧洲国家的进出口情况，以及通货膨胀率和利率等。

类似地，我们自行收集了中国碳排放配额（CEA）数据，涵盖了中国的四个CEA市场：湖北（HB）、深圳（SZ）、上海（SH）、广东（GD）。我们每日收集每个CEA市场的收盘价、交易量和交易金额，并且收集了辅助的经济数据，包括中国ETF波动率指数（VXFXI）、中国大庆原油现货价格以及中国秦皇岛煤炭现货价格。

此外，我们还从中国股市收集了25个碳经济股票指数的数据，包括收盘价、交易量和交易金额。基于这些股票指数的数据，我们选择了最相关的指数来预测特定的CEA市场。

2

模型框架

我们的总体框架如下图所示。左上角的子图显示了典型的时间序列预测（TSM）方法，如Lasso和Autoformer。右上角的子图显示了使用大模型（LLM）进行价格提示预测的工作。底部的图展示了我们的方法，即首先使用Autoformer进行粗粒度预测，然后提示LLM来优化模型输出。进一步的，我们还设计了使用门控线性单元（GLU）对TSM输出进行微调，以替代LLM以实现高效推理。

3

时间序列模型预测

我们利用Autoformer[1]作为时间序列建模（TSM）的骨干神经网络，用于提供初步的碳价格预测。Autoformer主要包括两个组成部分：Auto-Correlation和 Series-Decomp。

Auto-Correlation模块能够通过计算不同时间延迟下的子序列相关性，并将其聚合成新的序列，从而捕捉历史价格和特征的周期依赖关系。

Series-Decomp模块可以将输入序列分离为趋势部分T和季节部分S。因此，这两部分相加得到未来的预测值Y，即Y ← S + T。

4

LLM预测细化

DP - Direct Prompting LLM Methodology( 基线 )

我们直接利用LLM来预测未来若干步的碳价格，而无需使用TSM。为此，我们用“Give you historical carbon price: [...], please predict the price for next 48 days.”来提示LLM。我们从LLM的响应中提取预测序列，并将这种方法称为DP。

CoT-RF - Joint Time-Series and Large Language Modeling( 我们的方法 )

与DP相比，COT-RF利用TSM生成初步预测，使用过去一段时间步长的真实价格作为参考。然后，我们利用LLM来优化未来时间步的这些预测。这种方法类似于链式思维（CoT）提示[2]。我们利用思维链提示来利用LLM的上下文学习能力，从有限的示例（过去的预测）推断并推广到新的场景（未来的预测）。

我们设计的 CoT Prompt 模板: “We give you some historical carbon prices [...] and AF’s predicted prices. Then I need you to improve AF’s predictions and give you the real prices and let you reflect on your predictions. Then we also give you AF’s predictions for next 48 days [...]. Please improve AF’s next 48 days prediction. "

FT - Efficient Low-Data Fine-tuning with Gated Linear Unit ( 我们的方法 )

前面的CoT-RF需要将Autoformer的预测结果输入LLM进行优化，可能导致通信延迟和计算成本高。此外，使用商业LLM如ChatGPT可能因为每次提示需要大量的token而昂贵。同时，上传敏感私密数据和专有特征到LLM提供者可能存在重大风险和法律问题。

为了减少计算成本和隐私问题，同时保持LLM的效果，我们引入了一种创新的Post-finetune方法。我们训练了一个附加的GLU（Gated Linear Unit）模型，以高效地用GPT优化结果微调Autoformer的输出。

受最近LLM嵌入微调[3]的启发，我们设计了一个具有"Input-Linear-Swish-Linear-Output"体系结构的两层GLU。Swish激活函数[4]被定义为：

因此，我们设计的具有可训练参数β1、β2、W1和W2（偏差省略）的GLU模型可以表述为：

我们通过GLU单元进行微调，学习将AF的原始预测转化为LLM优化后的预测。此后微调过程如下：

研究结果

我们针对两个数据集分别测评在各种评估指标下的性能，评估指标包括MSE和Accuracy。

我们使用均方误差（MSE）来衡量回归任务的表现，MSE值越低越好，计算平均所有未来30个预测步骤的结果。准确率（Accuracy）则评估第10、20和30天的预测价格在未来步骤中的相对位置，分为上涨、中性或下跌三类。这与历史18个步骤内观察到的平均价格进行比较。

EU-ETS数据集的结果在文中的Table 2展示。我们在分析中观察到以下趋势：GLU模型表现出最低的MSE，CoT-RF紧随其后。GLU和CoT-RF在预测趋势类别方面均表现出最高的67%的准确率。

我们在表3中展示了三个CEA区域的价格预测结果。我们以AF作为基线。我们观察到以下趋势：

首先，Lasso方法在比较中显示出显著更大的MSE，显示其在准确学习高度非线性CEA价格方面的困难。

其次，AF在MSE上表现优于DP，降低了21%到43%。这表明，相比于通用的LLM，AF在从长期序列中学习时间模式方面更为有效，这归功于其时间序列建模架构和多期学习能力。

第三，CoT-RF利用LLM对AF的预测进行优化，明显优于AF。结果表明，LLM具有上下文学习能力，能够从过去AF的错误中学习，并优化AF的未来预测。

最后，我们的GLU方法在湖北省和深圳市的MSE上接近CoT-RF的表现。GLU在短期预测（类似于AF）和长期预测（类似于CoT-RF）均表现出优越的性能。这些观察结果表明，后微调有效地继承了AF和CoT-RF的预测能力，包括短期和长期的预测能力。

同时，我们还进行了迁移学习的实验。我们在表4中显示了三个配对区域的迁移学习结果。例如，“SZ-GD”表示了将预测从SZ（源区）转移到GD（目标区）市场的结果。

我们观察到以下趋势：首先，CoT-RF在所有方法中始终表现最佳。其次，CoT-RF显著优于基准线AF。此外，我们的GLU也能够取得相当不错的结果。

以上观察显示，对于SZ-GD和SH-HB案例，源区域市场实际上提供了整个中国碳市场的一般趋势，可以作为额外信息有效地提升目标区域的预测精度，即使没有目标区域的任何训练数据。

总结

在这项研究中，我们引入了一个框架，将监督式时间序列建模（TSM）与LLM提示相结合，以提升CEA市场未来预测的准确性。通过将TSM预测与相关市场背景一起通过文本提示提供给LLM，我们有效地通过利用LLM固有的少样本学习能力来改进预测结果。此外，我们展示了LLM通过自我反思学习从过去的错误中并优化其预测能力的能力。

我们还确认了LLM能够从源市场中推断全球市场信息，从而预测目标市场的未来趋势，即使没有TSM数据的情况下也能实现。最后，我们创新地提出了一个“后续微调”过程，将LLM的优化能力整合到一个紧凑的GLU模型中。因此，我们能够减少提示使用商业大模型进行提示的成本，同时提升碳价格预测的精度。

引用：

[1] Wu, H., Xu, J., Wang, J., Long, M.: Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting. Advances in Neural Information Processing Systems 34, 22419–22430 (2021)

[2] Wei, J., et al.: Chain of thought prompting elicits reasoning in large language models.preprint arXiv:2201.11903 (2022)

[3]Pang, Tianqi, Kehui Tan, Yujun Yao, Xiangyang Liu, Fanlong Meng, Chenyou Fan, and Xiaofan Zhang. "REMED: Retrieval-Augmented Medical Document Query Responding with Embedding Fine-Tuning." IJCNN, 2024.

[4] Ramachandran, P., Zoph, B., Le, Q.V.: Searching for activation functions. arXiv preprintarXiv:1710.05941 (2017)