“Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow”

量化投资通过提取市场价格、经济指标和金融文本等数据源的量化特征来构建投资组合。本文聚焦于利用金融新闻进行股票回报预测，以帮助构建投资组合。

论文地址：https://arxiv.org/pdf/2407.18103

摘要

本文探讨了通过金融新闻流对大型语言模型（LLMs）进行微调以预测股票回报，强调回报预测在量化投资中的重要性。模型包括文本表示和预测模块，比较了编码器和解码器模型的表现。

实验结果显示：

• LLM的token级嵌入聚合表示能提升长短仓组合的回报预测性能。

• 在较大投资宇宙中，解码器模型表现更强；在小宇宙中无明显优劣。

• LLM的文本表示在组合构建中优于传统情感评分。

研究表明LLM微调在回报预测和组合构建中具有潜力。

简介

量化投资通过提取市场价格、经济指标和金融文本等数据源的量化特征来构建投资组合。近年来，得益于自然语言处理技术的发展，金融新闻文本数据在定量投资中的应用显著增加。大型语言模型（LLMs）在语言理解和生成任务中表现优越，且可通过微调适应投资相关应用。

本文聚焦于利用金融新闻进行股票回报预测，以帮助构建投资组合。传统的金融新闻应用方法涉及多步骤的特征提取和验证过程，耗时且需额外数据。LLMs生成的文本数值表示可直接用于预测任务，本文探索通过微调LLMs实现新闻到回报的直接预测。

本文贡献如下：

• 设计基于LLM的回报预测模型，包含文本表示和预测模块。

• 比较编码器（DeBERTa）和解码器（Mistral, Llama3）LLMs在预测中的表现差异。

• 提出两种方法将LLM生成的token表示整合到预测模块中：瓶颈和聚合表示。

• 在真实金融新闻和不同投资领域进行实验，评估预测误差及基于回报预测构建的投资组合的回测表现。

相关工作

之前有多项研究利用金融文本数据进行预测，包括情感分析和文本表示学习。LLMs（如BERT、GPT-3）为量化投资中的文本数据预测提供了新方法。LLMs通过预训练学习语言模式，使用提示技术和微调技术来适应特定任务。一些研究将LLMs作为特征提取器，进行金融情感分析和新闻因素提取。本文关注微调LLMs，直接建模金融新闻文本与数值回报之间的关系，并评估不同LLMs的文本表示效果。

通过LLM从金融新闻学习股票投资组合

问题建模

投资组合选择基于定量标准，从股票集合U中选取子集，定期更新。设定r s,t+ℓ为股票s在时间t的ℓ步前回报，新闻文本x s,i用于预测。在时间t，使用时间窗口W内的新闻文本{ x s,i } i ∈T s,<t进行回报预测。将新闻文本串联为序列X s,<t，并通过文本表示模块g(·)和预测模块f(·)构建回报预测模型。模型训练使用数据实例{(r s,t+ℓ , X s,<t )}，在测试时评估预测误差并进行股票选择。

长期投资组合选择预期上涨的股票，基于回报预测排名选取前K只股票。长短期投资组合同时选择预期上涨和下跌的股票，前K和后K股票均被纳入。

方法

LLMs分为三种类型：编码器（encoder-only）、解码器（decoder-only）和混合型（encoder-decoder），它们通过不同的预训练目标生成文本的高维向量表示。编码器LLMs使用掩码语言模型进行预训练，通过掩码某些令牌来预测缺失的令牌，表示包含左右上下文信息。解码器LLMs采用自回归的下一个令牌预测任务，表示基于已见令牌的信息。

Bottleneck表示通过在微调时压缩序列信息为单一向量，编码器LLMs的EOS令牌与掩码令牌一致，有助于有效总结序列特征。而解码器LLMs的最后令牌已自然总结整个序列，EOS令牌冗余。针对最后一个token的表示崩溃问题，提出了一种简单的替代Bottleneck表示的方法，即聚合所有token的表示，采用简单的平均方法。

对于编码器-only LLMs，使用聚合表示时，预训练和微调之间存在差异，因为每个token的表示基于上下文和自身，而非预训练中的mask token。对于解码器-only LLMs，平均所有表示可能导致对输入序列早期token的偏向，因为早期token在自回归设置中反复融入后续token的表示。实验使用了DeBERTa、Mistral-7B和Llama38B模型，损失函数为均方误差（MSE）。

实验

数据

数据来源于2003至2019年的公司级金融新闻，涵盖北美、欧洲和新兴市场的投资数据集。

设置

长期投资组合基于预测排名的第9个分位数构建，长短期投资组合则包括第9和第0分位数，所有股票均等权重。进行月度再平衡的回测，比较不同LLM的预测与基于情感的投资组合（FinBERT和FinVADER）。

评估指标

评估指标包括分位数RMSE、精度和收益，以及累计收益图和年化收益、夏普比率等性能统计。

结果

北美市场的结果显示，聚合表示模型在第9分位数的收益普遍高于Bottleneck模型，尽管RMSE可能较高。第0分位数的低收益对长短期组合有利，聚合模型在此分位数的表现不如Bottleneck模型，但整体长短期组合的表现有所改善。编码器和解码器LLM的比较显示，聚合表示在北美市场表现优于Bottleneck表示，欧洲和新兴市场的结果在附录中提供。

解码器模型Mistral和LLama在第9个分位数表现优异，而在第0个分位数表现较差，导致其在累积回报图中超越了长仓和长短仓组合。长仓组合在编码器和解码器LLM中表现相似，但长短仓组合中，DeBERTa的短仓拖累了整体表现，强调了有效选股的重要性。

所有基于预测的组合回报均高于市场平均水平。基于预测的组合在回报和夏普比率上优于传统情绪基础组合，且其回报曲线更平滑，短仓降低了组合波动性。预测模型更有效地捕捉文本信息，提升了未来股票表现的选股能力。

总结

本文探讨了利用金融新闻流进行回报预测，以优化量化投资组合，采用微调LLM直接建模新闻文本与股票未来回报的关系。

实验结果显示：

• LLM的token级嵌入的聚合表示能提升投资组合表现。

• 在较大投资范围内，基于解码器LLM的预测模型表现更强；在小范围内则无明显赢家。

• LLM文本表示的回报预测信号强于传统情绪评分。

未来研究可关注DeBERTa在大范围内表现不佳的原因及其在不同小范围内的表现差异，评估新提出的大型编码器LLM的效果。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】