AlphaGo Zero做了什么，可以在如此短暂的时间挑落AlphaGo？强化学习在金融领域的应用前景如何？
智能投资
黄耀东 弘量研究联合创始人兼量化研究主管，香港科技大学数学博士，专攻金融工程和投资组合理论，在Quantitative Finance、Journal of Economic Dynamics and Control、SIAM Journal on Financial Mathematics等顶尖期刊发表多篇论文。黄耀东曾在香港科技大学数学系访问并任教，现率领弘量研究博士团队，结合人工智能和金融工程技术开发智能投资策略（点此查看交易门对黄耀东团队的特写报道）。
短短3天的训练，100：0击败AlphaGo。这是谷歌DeepMind团队新一代围棋AI“AlphaGo Zero”交出的成绩单。
2016年3月击败李世石，惊世骇俗的表现让AlphaGo在围棋和AI界一战成名。随后AlphaGo以“Master”账号在网络快棋对战中挑落众多中日韩高手，豪取60胜0负。在Go Ratings网站的排名中，AlphaGo出道几个月就在世界围棋排行榜强势登顶，堪称BUG级别的存在。
AlphaGo Zero做了什么，可以在如此短暂的时间挑落AlphaGo？
2017年，谷歌DeepMind团队在Nature发文介绍了AlphaGo Zero的秘密武器，强化学习。和之前的Alpha Go版本相比，新版本不需要借助人类经验数据，完全依赖深度强化学习进行训练，40天就超越所有的前代版本。
AlphaGo Zero 学习3天后，打败AlphaGo；21天后，打败前代版本AlphaGo Master；40天后，全面超越所有前代版本。
AlphaGo使用传统的监督学习算法，首先要将大量人类对弈的棋谱作为输入，让AlphaGo从中学习。AlphaGo Zero采用的是无监督学习的强化学习算法，不再依赖棋谱输入，只需要基本的围棋规则，完全从零开始学习，彻底摆脱了人类想象力的限制。
AlphaGo Zero的成功让人们意识到，在缺乏大量标注数据的领域，强化学习有着巨大的想象空间。我们之前在一篇关于AlphaGo的文章曾提到，前沿的机器学习算法在投资领域有许多应用。强化学习的应用前景如何呢？
什么是强化学习？
强化学习（Reinforcement learning，RL）也叫增强学习，是指一类从与环境交互中不断学习问题以及解决问题的方法。强化学习是机器学习的一个重要分支，其与监督学习的不同在于，监督学习需要给定“正确”策略标签，而强化学习则只需要给出策略的（延迟）回报，通过调整策略来最大化期望回报。
强化学习算法适合于处理决策问题，通过多步恰当的决策来达到一个目标。
你大概也玩过超级马里奥。打好这款游戏需要在不同的情境状态（State）下做出加速前进、后退、向上跳、向下蹲等多个动作（Action）。游戏过程中，我们并不知道每一次操作最后的总得分，只有当前反馈（Reward），比如有没有吃到奖励金币。所以我们不停地玩游戏，不停地失败，尝试去总结好的通关策略。摸索这个通关策略的过程，就是强化学习。
除了简单的强化学习算法，强化学习还可以搭配其它机器学习算法，实现更强大的训练效果。
强化学习搭配深度神经网络（Deep Neural Network），可以增强算法处理复杂非线性问题的能力，提升算法的泛化能力。强化学习搭配循环网络，可以组成循环强化学习（Recurrent Reinforcement Learning），让算法像人脑一样保留“记忆”，并利用记忆信息去做出决策。而加入长短期记忆网络（Long Short Term Memory）的循环强化学习算法，更是能够实现长时间保留“记忆”。碰到历史信息对当下决策有重要影响的问题，这种方式非常有帮助。
强化学习已经在很多领域取得重要突破。VocallQ的对话系统通过和用户交互来学习，随着时间的推移逐步改进。正是因为使用了强化学习，VocallQ比目前大多依赖于决策树算法的聊天机器人能更好地适应环境变化。被Apple收购后，VocallQ被整合进新版Siri语音助手里，令Siri更加智能化。
而SalesForce使用深度强化学习开发的“文本摘要引擎”，可以根据原始文本的内容“总结”出摘要内容，极大地提升了企业文本挖掘的效率。
强化学习如何助你管理投资组合？
传统的量化投资策略，需要建立各种数学模型，利用金融数据找出市场规律并从中获利。这样的方法高度依赖模型的有效性。投资市场蕴藏着复杂的非线性关系，往往需要构建复杂繁琐的数学模型才能得到接近局部最优解的结果。
人工智能算法，特别是强化学习算法的引入，从另一个角度给出了解决问题的思路：不再依赖复杂的传统数学模型，而是利用相关算法对海量数据进行探索，从而可以超越人类积累的经验，有望更加接近真正的全局最优解。
强化学习算法中，算法与环境之间有三个重要的交互： 状态（State），动作（Action）和奖励（Reward）。要将强化学习算法应用到投资组合管理中，首先需要对这三个交互进行定义：
1状态
观测到的股票市场的状态，比如股票价格、成交量，一些相对价值因子和技术指标因子等。
2动作
对于投资组合，可以用组合中各类资产的权重变化作为动作。
3奖励
一段时间内的组合回报，或者风险调整回报。
有了这三个定义，便可以构建一个强化学习的算法，通过训练让其学会根据观测到的市场状态去调整组合权重，使期望回报最大化。
强化学习的实际应用
2017年10月18日，EquBot LLC、ETF Managers Group共同推出了全球第一只应用人工智能、机器学习进行投资的ETF：AI Powered Equity ETF (AIEQ.US)。AIEQ 将受益于当前经济环境、投资风向、全球和公司层面事件的投资标的筛选出来，并从中挑选出股价最有上升潜力的股票。感兴趣的读者，可以参考我们之前的一篇关于AIEQ的分析文章。
截至2018年7月3日，推出8个多月，AIEQ的资产管理规模已经超过1.3亿美元，录得投资收益11.38%，年化波动率为15.17%，最大回撤为9.75%。与之相比，同期标普500指数的收益为7.39%，年化波动率14.16%，最大回撤为10.10%。
EquBot的创始团队在彭博的访谈中提到，EquBot的量化模型利用了机器学习的技术，随着时间的推移，量化模型将不断根据此前输出结果的反馈进行学习，提升自身的表现。这正是强化学习算法的特点，随着运行时间变长，新的数据不断更新模型的参数，模型的表现也会越好。可以看到，AIEQ由初期的跑输大盘，到近期追近甚至赶超标普500指数，说明强化学习在投资领域的应用是有前景的。
强化学习在金融领域应用的难点
AIEQ的推出，让我们看到强化学习在投资领域应用的可能性。但具备“自学”能力的人工智能量化模型，是否能够长期跑赢大市，仍然存在争议，有待观察。要在金融投资领域应用强化学习，目前至少面临着下面几个难点：
1数据量不足虽然股票市场积累了大量的数据，但实际应用时往往觉得数据不够。市场有成千上万的公司，但能够长期存在的有长久历史数据的公司占比并不多。而因为市场和监管环境不断变化，历史久远的数据往往并不适用于当下市场。如果考虑交易数据之外的其它数据，比如财报数据等，一般公司一年才公布一两次数据，这对于要进行强化训练的模型来说是远远不足的。
2市场噪音
在投资领域，市场噪音是一个不可忽视的因素。股票的价格受到外界信息的冲击非常明显。这也是为什么很多利用神经网络算法去预测股票价格变动的尝试都不理想。如果不能很好地过滤掉或者处理这些市场噪音，训练出来的模型往往存在过拟合的问题，回测时表现良好，实盘中却损失惨重。
3非平稳数据
金融数据和其它应用强化学习情景的数据有一个很大的分别，便是数据非平稳（Non-stationary）。以图像识别为例，训练数据的性质一般是不随时间发生重大改变的。十年前一只小狗的照片，到今天给你看，你仍然会觉得它是一只小狗而不是一只猴子；但十年前一家公司的股票数据，对今天的投资参考价值往往已经很低了。强化学习已经被证明能够在图像识别领域获得很好的效果，但在投资领域尚无重大的突破，其中一个原因便在于数据非平稳。
4模型解释
强化学习习得的是一系列参数，这些参数如何和金融市场联系起来，这是模型是否具备鲁棒性（Robust）的关键。遗憾的是，强化学习出来的一般是提供策略输出的黑盒子，习得的参数较难获得合理的金融解释。
多看一眼
AIEQ人工智能ETF大揭秘
AlphaGo有“悟性”，新时代资产管理该下哪步棋？
不确定性内外夹击，我们怎么活下去？与四位宏观交易员掏掏心
评论 (0)