人工智能炒股这家量化私募耗资上亿建造了篮球场大的超级计算机

工欲善其事,必先利其器。对量化私募来说,利用好人工智能技术这柄利剑至关重要。

刚刚荣获“三年期金牛私募管理公司(相对价值策略)”、实现连续三年蝉联金牛的幻方量化已经搞出了篮球场大的超级计算机“萤火一号”。

据了解,幻方量化累计为“萤火一号”投资超亿元,投入近20位工程师历时2年自建完成。“萤火一号”超级计算机主要解决AI投资的两大难题:模型更大、更复杂——支持超大型神经网络训练,4个亿参数的模型训练只需84小时;数据量更大——其算力匹敌4万台个人电脑。

AI搞投资难

超算瞄准大模型

幻方量化CEO陆政哲表示,早在2016年幻方量化就开始研究人工智能技术,2017年开始运用,2019年全面应用,全部使用AI进行交易。用AI搞投资潜力非常大,但在交易中较难运用。“由于交易数据量大,又属于时间序列模型,AI投资的模型更复杂,计算量也更大,遇到了很多人工智能学科本身的基础问题。”

换而言之,用AI搞投资,有两大难点:一方面要创建机器学习模型,这个环节由于交易的数据量大、而且属于带时间序列的模型,因此学习模型更为复杂,光是建立模型就难度不小。另一方面,建立模型之后还需要大量的机器学习,因为数据量太大,对算力要求更高。

“对于量化交易而言,算力更强、能跑更大的模型肯定在策略方面会有提升”。陆政哲进一步指出,一般工业集群的机器间带宽在 1Gbps – 50Gbps 之间,适合很多小模型同时计算。而超算可以视为一台整体的计算机,可以解决更大的模型计算问题。也就是说,普通设备更多只能单独的运行,进行小模型和分散任务,而超算可以运行一个非常大的整体计算,合成一台机器来运作。这也是超算与计算机集群的差异。”

算力匹敌4万台PC

4亿参数模型训练只需84小时

据了解,幻方“萤火一号”超算占地面积相当于一个篮球场,功耗400KW,由一个存储集群和一个计算集群组成。存储集群提供每秒1.3亿次IO响应、4.1Tbps读写带宽以及1.2PB容量。计算集群搭载1100张高端显卡,每秒可以进行1.84亿亿次浮点运算(18.4PFLOPS, 32位精度),相当于4万台个人电脑算力。所有节点通过200Gbps Infiniband交换机进行互联。

来源:幻方量化

与传统AI集群相比,“萤火一号”支持超大型神经网络训练。幻方量化表示,传统AI集群的设计目标往往是支持多个小型模型同时进行训练,而“萤火一号”专门设计为训练一个超大规模的模型。一个4亿参数的大型经济分析模型,在幻方上一代高性能集群(4台DGX-2, 100G-IB互联)上训练需要2个月时间,而“萤火一号”仅需84小时。

陆政哲表示,“萤火一号”建好花了一个多亿,从机房改造、空调风道设置、机柜摆放、机器连线、通讯设备等都得精细的测算。也因此幻方量化成立了AI Lab,目的是探索AI前沿研究。

据了解,“萤火一号”已于今年3月正式投入运行,在满足幻方内部需求的同时,已陆续向部分科研院校的研究团队开放。上线以来,“萤火一号”的平均使用率超过90%。

开放设备使用只是一部分,未来输出技术才是更大的目标。陆政哲表示:“未来会输出技术,也不仅仅是量化交易层面的技术,而是更通用的场景方面,例如如何处理大规模时间序列模型做预测等。”

开一家投资公司原来需要这么多高科技!最后,中证君温馨提示,幻方量化AI Lab正在招聘工程师哦。

编辑:曹帅

➤重磅“5G消息”一日游!中移动称App将重新上线,RCS概念股应声而起

➤9万多元没缴,这只私募基金打新受限1年!注意,这些红线碰不得

➤资金想法很清楚!汽车零部件板块多股涨停,家电、通信、水泥股走强

➤【重磅榜单】私募基金“奥斯卡”奖揭晓!最牛私募基金经理都在这里!五年期金牛私募投资经理跑赢指数近130个百分点!

人工智能炒股这家量化私募耗资上亿建造了篮球场大的超级计算机

AI都能炒股了,以后就要拼谁的算法牛了

人工智能量化交易平台宣布获得数百万人民币融资。据悉,本轮融资将主要用于团队建设、产品开发和硬件设备投入。
是一家基于人工智能的量化投资公司,成立于2017年10月,主要将技术应用于量化投资领域,实现低风险高收益的投资回报。
中国私、公募基金规模呈大跨步发展,截止2018年2月底,中国私募基金规模已达12.01万亿元,公募资金规模已达12.64万亿,在控制风险的前提下,提高获得投资收益的效率,是公、私募投资最大需求,国外盛行的量化交易越来越被国内机构所接受。
在量化交易这个领域,目前已有不少项目:私人量化交易平台JoinQuant、RiceQuant以及优矿,为量化交易领域提供核心算法支持的众加,量化策略商城微量网、以量财富为代表的量化理财平台,以及为量化投资者提供智能交易和分析工具的名策数据。
量化交易策略的建立是量化交易的重要环节。目前主要方式有两种,一种是输入与这套逻辑相关联的因子,比如历史表现、公司财务数据、宏观经济数据、上下游供应商数据等众多参数,建立一套模型,以算出标的上涨或下跌的概率,并生成投资组合和调仓策略。随着近几年人工智能兴起,不少人开始选用机器学习等方式,输入众多因子,让AI自己生成策略。
创始人兼CEO庞表示,的做法则不同,是用神经管网络替代原来用逻辑和策略构建的数学模型,通过输入股票相关数据,利用训练不同结构的神经网络来实现机器自主的量化交易。想做量化交易界的Deepmind(研发阿尔法狗的团队),成为中国的基金。
目前,的首个产品A股机器人“狗”已上线,应用于国内二级市场的投资,产品已实盘测试8个月。数据显示,狗实盘业绩显著,在2017年11月A股普跌的情况下(中证1000跌幅超4%),狗依然实现了5.23%的收益,最大回撤控制在2.7%,并在2018年1月底上证指数大跌12%的情况下,智富狗做到了提前清盘避险,业绩明显优于大盘。
投资人黄表示:“人工智能是非常好的提高效率的方式,非常关注人工智能在各个领域的应用,我们认为以为代表的、基于神经网络的人工智能量化交易平台,能极大地提高大型的高频交易的效率。人的精力有限,一个再好的操盘手也不可能同时看2000支股票,但机器能轻易办到。”

人工智能炒股这家量化私募耗资上亿建造了篮球场大的超级计算机

人工智能可以用来炒股吗

说的神乎其神,人工智能能用来炒股吗?

人工智能在围棋、象棋、德扑等领域都已经取得了碾压式胜利,这已经是一个不争的事实。事实上AlphaGo这样的AI已经可以用于任何需要理解复杂模式、进行长期计划、并制定决策的领域。人们不禁想问,还有什么是人工智能不能克服的吗?譬如说,变幻莫测的A股?

对于这个问题,持各种观点的都不乏其人。探讨它实可以分为两个部分:1. 股市可以预测吗? 2、 假如可以预测,用机器学习的方法去预测可以吗?

先回答第一个问题:股市的涨跌可以预测吗?

如果将股市的价格变化看做一个随时间变化的序列,Price = Market (t), 我们往往会发现,不管是尝试用N个模型(线性,非线性, 概率)来进行逼近,即使是建立了符合股价变化的这样的模型,并且在有足够多的训练数据的情况下模拟出了股价,但是这些模型最多只能在特定的区间能做一些并不十分精准的预测。

首先是ReinforcementLearning, 这个算法基于马尔可夫性,从一个状态预测下一个状态,但是股价的涨跌具有强烈的马尔可夫性吗?也就是上一时刻的股价与下一个时刻的股价间有必然的联系吗?应该是不太大。这种基于N阶马尔可夫性的系统对于股价的分析很不利。而且假如只使用股价的历史数据进行模型的训练的话,准确度可以说几乎为0。

事实上影响股价的因素不仅仅是历史股价,还有更多的因素,公司的近况,股民对股票的态度,政策的影响等等。所以许多人从这方面进行入手,用人工智能提供的快速计算能力,使用合适的模型,来量化这些因素,例如, (政策X出台, 可能会对股价造成变化y元)。当你的模型将所有的因素全都考虑进来, 那么股价的预测就唾手可得了。股价 = f(政策因素, 公司情况,市场因素, 历史股价,上一年历史股价, 某个股民自杀的影响…)

然而这些因素到底有多少? 它们之间会如何影响,这才是问题的关键。在某些稳定的情况下,我们是可以做大概的预测的,但是有很多时候会不准确,这是因为,你的模型很难把所有的 因素都考虑进来。而且因素与因素间还会产生互相影响的情况下。股价的模型将会变得极其复杂。如下图:

一个因素与一个因素之间的互相影响是很可能被预测出来的,但是假如它们之间产生了相互的影响,这时候整个系统就变得几乎不可预测了。一个因素发生变化,会造成好几个因素的变化,最后这几个因素又会反作用回来使上一个因素直接或间接的发生变化,股价变化一下子就变得难以捉摸起来。一些微小的因素也可以通过这种系统无限的放大,最后给股市造成巨大的影响。

那么是不是预测股价是就是不可能的呢?

事实上人工智能远比我们想象的更强大。例如非常繁复的Bayesian reasoning,包括deep learning/deepreinforcement learning,它们都能表示复杂的hidden variables之间的关系。现在国内外也已经有许多公司在探索将人工智能应用于股市的可能性了。

但是这里所说的将人工智能技术应用于股市,大部分不是说让人工智能代替人去做决策,而是利用人工智能在数据处理和不受主观喜好影响上的优势,在投资决策中扮演一个“AI专家顾问系统”的角色,去辅助人类做出更明智的决策。

股市分析包括基本面分析与技术分析两大块,而人工智能技术在这两方面都能发挥作用:

1

基本面分析

简言之,就是读取各类财经资讯。面对网上海量又纷繁复杂的信息,只依靠人脑已经无法解决问题了。我们知道数据挖掘的三个V,(Volume数据大),(Velocity更新快),(Variety多样),在处理这样的海量数据时,计算机相比人脑具有不可比拟的优势。而深度学习在自然语言处理领域的应用,可以做到在海量的信息中做出自动摘要,提取出精华信息以帮助人类进行决策。

另外,股票价格在很大程度上是由买卖双方的力量对比决定的,是由每个股民对某支股票的情绪而决定的。如果大家都很看好一支股票,那么它就很可能会涨;反之会跌。还有一些特定事件会很明显地影响到股票价格,例如今年美国40年来首次开放原油出口后,国内能源版块不出意料下跌了。这也是为什么这么多股民会刷新闻,看动态来保持敏锐的嗅觉。可以看出,在预测股票这件事上,最重要的是信息,或者说是数据,从中挖掘股民的情绪。而情绪识别已经是人工智能所擅长的技术了。国外已经有很多这方面的研究,也有DataMinr这样的公司专注从社交媒体中提取有价值的金融信号。

如下图,美联社官推被黑(谣言奥巴马被袭击受伤),很快股市出现了大幅度下滑-上升(看13点左右)。虽然这个事件较为特殊,但是设想如果能够在第一时间得到类似消息,实际上就掌握了预测股市的主动权。

可以大胆想象,如果将情感分析与机器学习相结合,抓来海量的数据,去做情感分析,大概找出民众对于对某些股票持乐观还是悲观的情绪,那么至少可以将这一因素纳入模型学习范围中。现存的很多论文都是在情感分析上找寻很多办法去提高准确率。其他一些更简单的做法还有:(1)Google Trend。这个是很简单的办法:谷歌提供的搜索量数据,利用搜索量的变化来预测。(2)利用Twitter Volume(相关Twitter的发帖数量)

2. 技术分析

传统技术分析中的K线分析,什么“大阳星”、“小阴星”、“旭日东升”、“穿头破脚”,其实就是人脑的模式识别。受人脑信息处理能力的限制,这些识别出来的模式有以下缺点:(1)只是单条K线的、只是基于一个模糊的形状,似是而非的、没有确切的数字标准的;(2)基于有限的历史信息的。 而好的深度学习策略,可以突破人脑的限制,比如突破单一K线的限制,从更多的财经信号(其他股票、黄金、外汇等)中寻找规律;或是从一个更长时间段的历史信息中识别出规律。

总之,人工智能将提升我们处理信息的深度、广度。使用基于人工智能技术的“智能投顾”的人,将比不运用或是还在利用“人脑”进行基本面分析与技术分析的人占信息优势,从而也就更可能在股市中盈利。

人工智能在证券投资领域的兴起始于2007年。彼时,第一个纯人工智能的投资基金在美国纽约诞生,此后人工智能在证券投研领域的发展步入快车道; 事实上,在证券投资领域,人工智能早已经不是什么新鲜事,量化对冲基金经理遍布于北京金融街、上海陆家嘴。一般来说,公募基金或大型私募的量化投资部由两部分组成,一部分是投研团队,另一部分是IT团队,投研团队提出需求,IT团队做出算法交易的模块,解决基金经理们的需求。

“正常情况下,我每天的工作流程是早上起床后看一下(机器)生成的股票清单,再看看组合管理系统里每个策略配了多少权重,这些策略加起来的仓位又是多少,然后根据机器所给出的信号(卖出或买入)的各类数据(包括融资融券、投资者入场情况等),判断机器给出的信号有没有明显的错误。”一位量化对冲经理说,如果当天需要交易,他就会生成交易指令,再下单到交易系统,交易系统就会开始自动运作。

在传统的投研中,基金经理及研究员们对财务、交易、市场等数据进行建模,分析其显著特征,利用回归分析等传统机器学习算法作出交易策略,到了人工智能阶段,这些工作便交给了计算机。目前,一些私募基金已开始将量化对冲的三个子领域融入日常交易策略中,尝试获取收益,它们包括机器学习、自然语言处理与知识图谱。例如,作为全球最大的对冲基金,桥水联合(Bridgewater Asspcoates)使用的是一种基于历史数据与统计概率的交易算法,让系统能够自主学习市场变化并适应新的信息。

AlphaGo大胜李世石柯洁,引发全世界关注。投射到投研领域,则是以人工智能量化选股和人类基金经理之间的对决。已经证明的是,人工智能选股在规避市场波动下的非理性选择、回避非系统性风险、获取确定性收益方面等更胜一筹,波动率、最大回撤等指标也更低,表现更稳定。

然而,机器虽然动作比人快,但思维还是没人快。比如面对某个新出台的政策、市场热点,基金经理可以立即以此为主线采取行动。但是机器没那么快。这是人的优势。再譬如,机器一次只能做到一个阶段做一个策略,比如供给侧改革,只能想到煤炭、钢铁、有色金属里的股票,但是对基金经理,他就还能同时做价值投资或动量反转等策略。

整体来说,将整个股票投资决策过程全部交给机器,目前来说还属于少部分金融巨头企业才能做到的事情。

美国硅谷“感知力”技术公司让人工智能程序全程负责股票交易,与其他一些运用人工智能的投资公司不同,该公司交易部门只有两名员工负责监控机器,以确保出现不可控情形时可通过关机终止交易。据报道,“感知力”公司的人工智能投资系统可以通过经验学习实现“自主进化”。公司在全球拥有数千台同时运行的机器,其独特算法创造了数万亿被称为“基因”的虚拟交易者。系统利用历史数据模拟交易,目前可在几分钟内模拟1800天的交易量,经过测试,不好的“基因”被剔除,好的“基因”被保留。通过考验的好“基因”被用于真正的交易。公司员工只需设定好时间、回报率、风险指数等交易指标,剩下的一切都交由机器负责。

公司首席投资官杰夫·霍尔曼透露,目前机器在没有人为干预情况下掌握着大量股票,每天完成数以百计的交易,持仓期限为数日到几周。公司说机器的表现已超越他们设定的内部指标,但没有透露指标的具体内容。

随着人工智能技术的持续进步,人工智能投资成为被学术界和资本看好的领域。英国布里斯托尔大学教授克里斯蒂亚尼尼说,股票投资是十大最有可能被人工智能改变的行业之一。另一方面,也不是所有的投资商都信任机器,英国对冲基金曼氏金融首席科学家莱德福警告说,不应过度信任人工智能投资,该领域还远没有成熟。虽然有各种各样具有迷惑性的承诺,很多投资人的钱却有去无回。

未经允许不得转载:股市行情网 » 人工智能炒股这家量化私募耗资上亿建造了篮球场大的超级计算机

相关文章

评论 (0)