Generalized Mean Absolute Directional Loss as a Solution to Overfitting and High Transaction Costs in Machine Learning Models Used in High-Frequency Algorithmic Investment Strategies
创建于 更新于
摘要
本报告提出了一种新型的机器学习损失函数GMADL,通过引入参数化的指数平滑函数,有效解决了传统MSE和MADL在高频算法交易策略中存在的过拟合和高交易成本问题。GMADL具备可微性和适应性,能够同时兼顾预测方向和实际收益幅度,提高策略在不同市场环境中的稳健性与盈利能力。报告结合BTC和原油等实证分析,验证了GMADL优于传统损失函数的性能表现,为高频交易模型优化提供了理论与实践支持 [page::0][page::1][page::2][page::3][page::4][page::5][page::6]。
速读内容
- 研究背景与动机:传统的误差函数(如MSE、MAE)未能反映算法交易策略的盈利目标,导致模型优化偏离实际投资绩效;文章提出基于方向正确性和实际收益加权的MADL损失函数,强调交易策略的收益优化而非单纯预测误差最小化 [page::0][page::1]。

- MADL不足与GMADL创新:MADL存在梯度不可微分点(sign和abs函数引入的不连续性),影响梯度优化效率,GMADL通过引入指数函数实现可微性,并设计了参数$a$和$b$以调节对预测方向敏感度及高收益事件的加权,适应不同交易场景与风险偏好 [page::2][page::3]。



- GMADL的核心公式为:
$$
\mathrm{GMADL}=\frac{1}{N}\sum{i=1}^{N}(-1)\times\left(\frac{1}{1+\exp(-a Ri \hat{R}i)}-0.5\right)\times |Ri|^b
$$
其中参数$a$控制函数在0附近的斜率,$b$控制对较大实际收益的奖励,令损失函数更契合高频交易策略对收益和风险的综合优化需求 [page::3]。
- GMADL适应性与扩展:参数设计允许其调节对高收益的敏感度和交易频率的惩罚,缓解因频繁交易引发的高交易成本问题,支持从日度到分钟级甚至逐笔数据的多层次交易策略开发 [page::4][page::5]。
- 未来工作方向包括:将交易成本模型直接纳入损失函数,结合夏普率和最大回撤等风险指标,实现多目标联合优化,动态调节$a$与$b$参数以适应市场状态变化,从而提升算法交易的稳定性和鲁棒性 [page::5][page::6]。
- 研究结论:GMADL较之传统损失函数,在种类多样的市场数据(如比特币和原油)和多种机器学习架构(包括LSTM、Transformer等)中均表现出更优的风险调整回报和稳定的学习性能,显著推动高频算法交易策略的实用化和效果提升 [page::6]。
深度阅读
研究报告详尽分析
报告题目: Generalized Mean Absolute Directional Loss as a Solution to Overfitting and High Transaction Costs in Machine Learning Models Used in High-Frequency Algorithmic Investment Strategies
作者: Jakub Michańków, Paweł Sakowski, Robert Ślepaczuk
机构: 华沙大学经济科学学院定量金融与机器学习系量化金融研究小组
发布时间: 2024年
主题领域: 高频算法交易策略中的机器学习模型损失函数改进
---
1. 元数据与概览
本报告聚焦机器学习模型在高频算法化投资策略(AIS)中的损失函数设计与优化,提出并验证了一种新的损失函数——通用平均绝对方向损失(Generalized Mean Absolute Directional Loss, GMADL)。该函数旨在解决现有标准损失函数(如均方误差MSE、均绝对误差MAE、以及之前提出的MADL)面临的两大核心痛点:
- 过拟合风险与模型泛化能力不足
- 高频交易中交易成本对策略有效性的侵蚀
文章核心论点认为GMADL在优化机器学习模型预测买卖信号时,效果优于传统损失函数,能更精准地反映策略盈利性能,同时其参数化设计可对优先交易频次进行调节,降低交易费用负面影响。论文提出GMADL具备良好的数值优化特性,支持高效梯度下降及多种预算环境下参数调优,适配不同数据频率和交易场景。[page::0,1]
---
2. 逐节深度解读
2.1 引言与文献综述
引言强调算法投资策略测试中存在的多方面瓶颈,包括训练/验证/测试期划分、资产类别选择、未来数据偏差等。最关键的是损失函数选择问题,影响超参数调优和模型估计的效果。作者指出以往文献多聚焦单一角度的实验,缺少全面统一的损失函数设计方案,导致策略表现不能达到利润最大化目标。文中提出研究假设(RH)即GMADL能更充分体现算法交易的关键目标——高效获得投资回报。[page::0,1]
对比传统损失函数(RMSE、MSE、MAE、MAPE)和分类准确率,文中引用多篇文献指出这些指标与实际投资回报关联性弱,常见度量不足以驱动盈利最优模型调参。国内外研究显示传统误差指标的优化常使模型关注点偏离真实收益方向,且可能引发过拟合。[page::1]
2.2 原始MADL函数及不足
MADL定义为:
$$
\mathrm{MADL}=\frac{1}{N}\sum{i=1}^N (-1) \times \mathrm{sign}(Ri \times \hat{R}i) \times |Ri|
$$
其中,$Ri$为真实回报,$\hat{R}i$为预测回报,函数关注预测与实际同方向时的绝对回报,忽略预测误差的数值大小,仅看方向正确与否对真实回报的贡献。MADL兼顾了预测方向和实际收益的结合,避免所有误差被等同处理的缺陷,直接返回预测策略的盈亏表现。作者指出MADL的缺陷主要在于:
- 非微分性质(sign和abs函数在0处分段)导致梯度优化不稳定,训练过程难以收敛、速度慢。
- 公式中无$\hat{R}i$幅度项,部分情况下对错误幅度不够敏感。
- 不支持高频数据下交易成本的考虑,无法有效限制过度交易。
论文提出需要在MADL框架中增加可微分结构和平滑参数,同时引入超参数调节交易行为,这是GMADL设计的动因。[page::1,2]
---
3. GMADL方法论及创新
3.1 GMADL函数定义
新提出的GMADL函数形式为:
$$
\mathrm{GMADL} = \frac{1}{N} \sum{i=1}^N (-1) \times \left( \frac{1}{1 + \exp(-a \times Ri \times \hat{R}i)} - 0.5 \right) \times |Ri|^{b}
$$
参数说明:
- $a$ 控制函数关于0点处的斜率,越大在0点附近函数变化越陡峭,调节函数对小误差的敏感度。
- $b$ 控制对大幅实际回报的奖励程度,帮助策略更偏好高回报区间,减少低收益交易的追求。
关键创新点在于指数平滑替代了sign函数,令函数在所有点均可微分,极大提升梯度优化的稳定性和效率。同时权重$|Ri|^b$实现对不同收益幅度的非线性重视,适配不同市场波动性和交易成本情景。[page::2,3]
3.2 GMADL属性及优势
GMADL兼顾预测方向和实际收益大小的重要性,使模型训练更聚焦能带来显著利润的正向预测,不同于传统均等误差处理。参数$a$、$b$调整实现高适配性,既支持稳定的长周期资产交易,也适合波动剧烈、需频繁止损止盈的高频环境。
总结GMADL赋予的优势有两点:
- 全局可微性,消除传统MADL中的梯度间断点,便于深度学习优化(如LSTM、Transformer)。
- 收益参数化奖励机制,令模型参数调节更灵敏符合投资实际,有效调控交易频率以抑制交易成本破坏策略性能。[page::3]
3.3 GMADL可微性解析
图2展示GMADL在$a=1000$和$b=1$时的三维曲面视图,曲线在$Ri=0$(实际收益为零点)附近平滑过渡,表现出斜率陡峭但连续无断点特性。此设计消除了符号函数引起的梯度不连续,是对传统MADL的重大改进。高$a$值意味着函数在接近零回报点对预测精度的改变更敏感,有助于捕捉高频数据常见的小盈亏的影响。
图2详细图示:

图中$x$轴对应实际回报$Ri$,$y$轴对应预测回报$\hat{R}_i$,$z$轴为GMADL值,显示了函数形状与预测误差处的响应情况。[page::4]
3.4 参数$b$对奖励机制的影响
图3与图4分别展示参数$b$取2和5时的曲面变化,随着$b$增大,函数对大幅回报的奖励效果加强,曲面在回报大幅正负方向表现出更突出曲率变化,意味着模型在训练时将更重视绝对值较大的交易区间,而对小额交易或频繁交易的激励弱化,有助于抑制过度交易,降低高频交易中交易成本的影响。
图3与图4:


此设计理论上可适配不同交易策略的特定需求,针对长期持仓或短线频繁交易灵活调整激励结构。[page::5]
3.5 未来改进方向
文章强调GMADL虽然已显著提升损失函数的实用性和准确度,但仍有优化空间:
- 直接纳入交易成本模型,惩罚交易频次过高的策略,减少微利交易带来的成本侵蚀。
- 与风险指标(如夏普率、最大回撤)结合,构筑多目标优化框架兼顾收益和风险。
- 基于市场行情动态或机器学习模型动态调整$a$, $b$参数,强化函数对市场状态自适应调整能力,提高应对风格切换的策略表现稳定性。
此类拓展将进一步增强GMADL在现实高频算法配置中的适应性和鲁棒性。[page::5]
---
4. 图表深度解读
| 图表编号 | 描述 | 数据特点与趋势 | 文本关联与结论支持 |
|----------|-----------------------------------|-------------------------------------------------------------|---------------------------------------------------------------|
| 图1 | MADL函数三视角三维可视化 | 展示MADL函数特征,曲面含有拐点和非连续梯度区域 | 说明MADL对预测方向的敏感性,但存在不可微分问题,优化难度大 |
| 图2 | GMADL在$a=1000, b=1$下三维视图 | 曲面平滑连续,0点斜率陡峭,强化了模型对边界误差的辨别能力 | 体现GMADL消除MADL不可微缺陷,实现平滑梯度,便于优化 |
| 图3 | GMADL在$a=1000, b=2$下三维视图 | 相较于$b=1$更突出高幅回报的权重,曲面侧重奖励大波动 | 通过调整参数$b$,实现模型对实际大回报的加权,支持交易决策 |
| 图4 | GMADL在$a=1000, b=5$下三维视图 | 极强强调大回报区,顶端与谷底曲率显著,弱化小幅波动影响 | 提示可强化策略关注关键利润机会,抑制过度交易行为,减少交易成本影响 |
图表系统性支持了文本中GMADL提升性能与稳定性论断,且通过参数调整呈现不同市场环境下的自适应能力。反映了GMADL具有极佳的视角与可控性,能够针对不同策略需求做量身打造。[page::2-5]
---
5. 估值分析
本报告主要集中于损失函数设计与优化技术,未涉及企业价值估值等传统财务估价模型,故此板块未体现。
---
6. 风险因素评估
报告虽未专设风险章节,但通过文本可梳理潜在风险点:
- 过度拟合与数据偏差风险: 标准损失函数导致模型关注点偏离真实投资绩效,GMADL通过契合投资结果出发减少此风险。
- 梯度消失/爆炸风险: MADL不可微,优化困难,GMADL平滑处理缓解该问题。
- 参数设定风险: 若参数a、b设定不当,可能导致对方向或幅度过度敏感,带来策略稳定性下降。需通过超参数搜索或者交易经验小心调节。
- 交易成本未完全内嵌风险: 当前GMADL尚未直接内嵌交易成本模型,如忽视可能仍产生过度交易。
报告指出未来版本将引入交易成本和风险指标综合考虑,部分风险存在但已预见与设计规划之内。[page::5,6]
---
7. 审慎视角与细微差别
- 参数灵敏度与普适性挑战: 虽然GMADL参数化设计带来灵活性,但参数调优复杂,有些市场和资产类别需要深刻理解才能避免参数误配风险。
- 未明示实证大规模测试结果: 当前本文以方法论、数学性质及部分案例比对为主,尚未详尽呈现大范围市场下GMADL与其他损失函数的直接比较绩效数据。实际表现和稳健性认证还需后续实验支持。
- 对非高频策略适配性的限制: 虽然强调了对高频交易的适用,但对于低频长线投资的有效性和优势未有详细讨论,适用范围需明确。
- 部分技术细节和数学推导略显简略: 比如参数a、b如何数值上选取的指导细节不足,未来可增加具体示例或调优流程保护实操性。
整体报告逻辑严谨,提出的GMADL构想创新且符合实务需求,但也显示其为持续发展中的新兴工具,有待更多实证验证与完善。
---
8. 结论性综合
本论文全面剖析了高频算法策略中机器学习模型的核心难点——损失函数设计,提出的新型损失函数GMADL在理论上和数值优化实践中均具显著优势。与传统误差指标和早期MADL相比,GMADL通过指数平滑解决了不可微分的数值问题,提高了训练稳定性与效率。添加的参数$a$和$b$不仅允许模型对回报方向和幅度给予合理权重,还为实际中交易成本的控制和策略交易频率的调节提供有效途径。
图表深度演示了GMADL的函数形态如何随参数变化,在充分反映显著收益的同时,有效抑制无效微利交易的诱因,促进策略稳健盈利。作者明确指出GMADL在高频数据下的广泛适用性及未来拓展方向,包括内置交易成本模型和结合风险调整指标。其研究成果为高频机器学习算法提供了有力的损失函数新选项,缩小了模型训练目标与实际投资回报之间的差距。
总体而言,报告立足前沿科研,创新提出了理论与实操兼顾的损失函数设计,预示未来算法交易策略优化的新趋势。它为金融科技领域学者和实务者提供了宝贵参考,但仍需进一步实证测试和多场景验证以确保广泛稳健应用。[page::6]
---
总结
- 作者创新设计解决了MADL中不可微分导致训练不稳定的缺陷,GMADL平滑函数稳定训练梯度。
- 参数化设计加强策略对高收益区间的关注,弱化低收益高频交易,降低交易成本侵蚀效应。
- 详尽图形演示功能曲面,辅助理解数学设计对策略表现影响。
- 结合最新机器学习架构,改进损失函数更贴合投资效益,减少过拟合。
- 研究潜在风险与限制,规划未来版本引入交易成本和风险度量。
此项工作具备金融机器学习领域中高频交易损失函数设计的标杆参考价值,对算法交易领域意义重大。[page::0-6]
---
参考文献
详见报告末页,涵盖机器学习算法投资策略、损失函数设计及实证研究领域多个权威来源,强化了研究的学理支持和背景。[page::6]
---
注:所有页码标识均严格对应原文分页,确保分析内容的溯源性和准确性。