[交易所数据几秒出来]交易所数据协议

各大交易所用都有自己的金融数据交换协议。从国际上看,比如多的是FIX和FAST.但各交易所也可能跟据自身的需要,对在对FIX和FAST等协议基础上进行一定的改装和本地化。

比如上海证券交易所用了STEP/FIX/FAST协议 ;期货交易所用的比较多的FTD协议。深交所还使用了FIX协议和Binary协议。上交所STEP是在FIX协议的本地化;FTD是综合了多种协议的国内自主协议。

一、FIX - Financial Information eXchange protocol 金融信息交换协议

是适用于实时证券、金融电子交易的数据通信标准。它是把各类证券金融业务需求流程格式化,使之成为一个可用计

算机语言描述的功能流程,并在每个业务功能接口上统一交换格式。

2006年10月,FPL发布了FIX5.0。FIX5.0引入TI(the transport independence

)传输无关框架。TI将FIX会话层从应用层协议中分离出来。在TI框架下,应用层协议消息可以通过任意合适的传输技术进行传送,在这里,FIX会话层协议是FIX应用层消息的可选传输传输协议之一。两个协议层的版本标注将会有所不同,FIX

X.Y为FIX应用层协议版本;FIXT X.Y

为FIX会话层协议版本编号。(会话层定义了数据通信相关的协议,应用层定义了金融活动相关的业务数据结构。)

FIX协议存在2种语法格式。1 标记=值语法格式 2 FIXML语法格式

二、FAST - FIX Adapted For Streaming 面向流的信息交换协议

为了解决FIX协议传输市场数据存在的冗余度高,带宽需求大的问题,芝加哥商品交易所(CME)在2003年向FPL(FIX Protocol

Ltd)提交了一个解决方案,FPL在2004年成立了市场数据优化工作组(MDOWG),2005年MDOWG开始根据一些POC(Prove

of Concept)的结果进行协议标准制定,并与2006年初完成了FAST V1.0,2006年12月完成了FAST V1.1。

FAST的核心是一个压缩算法,将按照fix规范定义的数据经过压缩以后,可以在很大程度上降低发送、接收双方的带宽。

一、引言

FAST(FIX Adapted for Streaming, 适流FIX或面向流的FIX)

技术是指由FAST编/解码规范1.1、FAST会话协议SCP以及FAST扩展协议1.2等协议构成的FAST协议族所共同定义的一种面向消息流的压缩、编码和传输方法。其基本思想是利用消息流中先后传送的消息之间字段数据的逻辑联系来减少需要传送的数据内容,并针对不同字段类型进行高效的二进制编码以使实际传送的数据大小得到进一步降低。

FAST具备如下优点:

压缩率高: 对FIX、TXT、DBF等常用数据格式的压缩率可以达到70%以上,对XML格式的压缩则可达90%以上;

专门针对高速、低带宽地传输实时消息流所设计,时空开销小;

编、解码的处理速度高,一般只需要数个微秒就可完成对一条实时消息的处理;

由权威的FPL组织提出,是对行业事实标准FIX协议优化和改进的一种国际标准,代表着行业技术的一种发展趋势;

也适用于压缩文件等静态数据;

简单易懂,实现起来相对容易。

二、FAST技术起源与发展现状

近年来,国际资本市场得到快速发展,资本流动性增大,随之带来与日俱增的交易量。其中,程序化交易、算法交易、高频交易等计算机化交易模式已逐渐成为市场新宠,其交易量已占到欧美市场总交易量的一半以上从而超过传统的手工交易模式而成为主流。在亚洲等新兴市场,计算机化交易也呈现出快速增长的势头。相应地,与交易相关的消息的数量呈现出激增的态势—事实上,通信带宽、延迟方面的问题已成为近年来证券交易行业发展面临的最大技术挑战之一。

面对挑战,全球主要交易所和金融企业联盟组织FPL(FIX Protocol

Limited)在2004年专门成立了市场技术优化工作组(MDOWG),针对已成为行业事实标准的FIX协议进行优化和改进,力图使得FIX消息的传输更快、占用带宽更小、更适于低延迟地分发海量的市场数据。由此,MDOWG

于2005年首次提出了FIX协议的优化协议—FAST。

图1 表示相同数据内容时不同格式的数据尺寸比较(KB)

压缩率高、处理开销小、简单实用、应用面广,加之可以与FIX无缝连接等优点,使得FAST在推出之后很快被一些主要的证券或期货交易所、经纪商等业内单位所采用,应用到对实时要求高、带宽资源较为宝贵的行情、报单、成交等应用系统或场景中。事实上,以CME、NYSE、ARCA、BATS、SIAC、BOVESPA为代表的主要交易所,以及以ICAP为代表的大型证券经纪商都开始在各自的行情或股票交易指令等消息交换系统中采用了FAST。与此同时,更多的金融企业正计划采用或部分采用FAST来改进各自的相关信息交换系统。可以说,作为对FIX协议优化和改进而提出的一种国际性标准,FAST代表了行业内标准化、低延迟信息交换技术的一种发展趋势。

随着FAST技术影响力的提高和应用范围的逐渐扩大,各软件供应商、各应用单位都陆续开展了对FAST以及相关技术的研究,并开始研制自己的FAST协议引擎,以QuickFast、OpenFast为代表的一些基于Java或C++的FAST协议引擎被公开。

2009年在FAST1.1的基础上,FPL进一步推出了最新的FAST扩展协议1.2。FAST1.2在减少消息尺寸、降低延迟上作了进一步增强,使得协议效率得到了更进一步的提高。

三、FAST技术工作机制及相关概念解析

3.1 FAST协议层次

图2 FAST协议层次

从网络层次结构的角度而言,FAST通常工作在传输层协议和FIX层次之间。对于发送方,FAST协议层负责将FIX的应用消息和/或会话消息转化为二进制的FAST消息,然后调用FAST会话层,再由FAST会话层进一步调用传输层进行发送。接收方的情况与此相反。根据需要,在会话层和传输之间可调用其他压缩或加密方法对待发送的FAST消息进行进一步的处理。

FAST的兼容性很好,根据具体的网络特点和具体实现,FAST可以工作在不同的传输层协议之上,同时也可根据实际需求修改或替换FAST会话层,使得FAST的使用更贴合实际应用需求。值得注意的是,除了可以直接用于压缩FIX和我国的STEP等协议格式的实时消息,FAST也可用于对结构化的DBF、TXT等静态数据格式进行压缩编解码。

3.2 FAST工作框架

图3 FAST的工作框架

FAST编码方法通过两个层面上的处理降低数据流的大小:首先,通过域/字段编码的处理使得可以利用流中先后数据的相关性消除冗余数据。其次,对剩余数据进行传输编码,利用隐式标签,可自描述长度的停止位编码、二进制编码等手段来降低物理空间占用。

图4 FAST域/字段编码

FAST字段编码利用先后发送的消息间的字段数据的规律和相互联系来降低冗余度。为此,FAST定义了拷贝(copy)、差值(delta)、缺省(default)、递增(increment)、常值(constant)、换尾(tail)等逻辑运算符(operator)来对字段进行优化运算。

图5 FAST隐式标签

FAST隐式标签技术针对FIX/STEP消息的格式引入。FAST通过一种称为模版的控制结构规定了字段的顺序、结构,以及各字段的标签(tag),这使得对于tag=value的FIX/STEP基本字段格式,无需再对tag=部分进行传送。

图6 FAST停止位编码

进一步地,FAST传输编码利用停止位编码的方法将字段值编码为停止位编码实体(SBE),这使得字段的长度可自描述,省去对的字段分隔符的传送。

图7 FAST二进制编码

最后,在将剩余数据串行化为二进制编码的过程中,FAST传输编码按照数据类型将ASCII表示的整数等数字类型编码为二进制表示方式,提高了单位数据的有效信息量。

3.3 FAST模版

图8 FAST模式示例

如前所述,FAST的消息编码依据称为

模版的控制结构来进行。模版通过规定字段的顺序和结构、字段的逻辑运算、及其字段二进制编码的表示方式来控制对数据流的编码。字典是与模式相对应的一种有状态结构,由于FAST是一种消息上下文相关的技术,所以字典被用以保存前一个包含该字段的应用消息的该字段的应用值,也即字段的前值(previous

value)。字典对字段前值的维护有着十分重要的意义,因为前述对字段进行的优化运算均依赖于收发双方能够维护一致的前值和字段状态。如果采用TCP等可靠的传输层,则这种依赖不会造成问题,因为消息不会丢失。但是,如果使用UDP等不可靠的传输层,则需要特别考虑对数据包间的相互依赖性。

3.4 FAST会话

为确保FAST编解码双方模版状态的一致性,FPL推出了FAST SCP协议来支持模版交互和FAST会话。

图9 FAST会话过程示例

FAST会话工作在传输层之上,具体可采用TCP、UDP或其他协议作为传输层协议。FAST会话层定了Hello、Reset和Alert三个消息用来对FAST编码消息的传输进行控制。FAST会话发起方通过发送Hello消息来发起FAST会话。Hello消息中包含了发送者的名称和FAST的版本。对于每个不可分割的消息序列的传输过程,通常会以一个Reset消息,或任一个具有重置属性的模版的消息作为开始。在收到Reset消息的时候,解码器字典的前值将会被重置。

FAST会话可以以显式或者异常的两种方式结束。通常情况下,通过发送一个Alert消息来显式地结束一次FAST会话,以其他方式结束的情况的均为异常方式的结束。

3.5 FAST扩展协议1.2

在FAST最初推出的正式版本FAST1.1中,除字节向量外的协议数据类型均使用SBE来编码,其最小编码单位为字节。为达到更高的压缩率,FPL在最新的FAST扩展版本中增加了短整型、枚举、集合、布尔、位元组、时间戳等数据类型。其中,短整型用来描述那些表示范围占用空间不超过1个字节的字段,枚举和布尔类型均使用占最少比特的无符号整数来编码,位元组用来将这些最大占用空间不超过1字节的数据类型字段填充到同一个SBE中。扩展FAST对字段数据类型的增强使得编码可以达到比FAST1.1更优的压缩效果—甚至只需用一个字节就可以表示多个异构字段的数据。

四、FAST技术在上海证券交易所的应用

图10 上海证券交易所历年成交股数(百万)

上海证券交易所是国内最早开始证券行业技术标准化研究的单位之一。上交所最早于2001年就开始对于FIX协议的研究,并于2004年会同证监会、上海期货交易所、深交所,以及其他证券期货相关单位共同起草了中国第一个完全兼容FIX协议的证券交易数据交换标准—STEP。近几年国内资本市场加速增长,沪、深两市的成交量和行情数据不断创出新高,程序化交易等新型业务的需求初现端倪,市场参与方对更快的交易及行情的需求也加大,兼容FIX格式的STEP标准使用起来在速度和消息尺寸上都显得难以为继。因此,在FPL推出FAST后不久,上交所立刻开展了对FAST技术及应用的研究,并很快有了初步应用实例。上交所现有的Level-2行情系统就部分采用了FAST技术来优化实时消息的传输,在优化消息尺寸、节省带宽、降低行情延迟等方面都获得了良好的实际应用效果。

对于现有的公共行情(Level-1)系统,行情在发送过程中需要收齐所有产品的所有字段信息才进行发送,而且行情在发送路径中,需要经过多次落地为文件,这对传输延迟造成了较大影响。此外,在通过单向卫星这种高延迟、不可靠的介质传送行情文件时,如果文件分段丢失,则会引起文件分段或整个文件的重传,从而大大影响了行情发送的速度。为优化对公共行情的发送,上交所技术部门正在研发功能上完全兼容Level-1的FAST行情系统,FAST行情系统将全面采用FAST技术来升级公共行情的分发,行情不再通过文件而是通过更快速的实时消息,利用单向卫星、地面网络等多种网络同时进行发送,确保用户能够更快、更便捷地获得市场行情,行情延迟将仅为原来的十分之一。同时FAST行情的消息协议将采用标准的STEP/FAST的方式,使得行情系统更加开放、灵活,与国际通行的FIX标准实现无缝接轨。

未来,上交所还将研究FAST技术在公告、文件发送、报单、成交等信息传输以及证券数据压缩等方面的应用。 五、结论

FAST是由全球主要交易所和金融企业联盟组织FPL针对行业事实标准的FIX所提出的一种面向消息流的压缩、编码和传输方法,它具备如下优点:压缩率高,数据尺寸仅为DBF格式的约四分之一;专门针对高速、低带宽传输实时消息流所设计;面向国际化、标准化,可与FIX无缝连接,其应用逐渐成为一种趋势;编、解码的处理速度很快,为微秒级;规范简单易懂,实现容易;兼容性强,还可用于静态数据的压缩等。

FAST适用于对实时性、自动化要求较高或带宽资源较稀缺的金融、证券、新闻等行业应用,不仅可以用于实时行情,也可用于报单、成交、公告、文件、数据存档及备份等证券相关应用。

FAST技术进一步的研究方向包括:

模版的自动化生成方法;

利用GPU、FPGA等硬件加速技术来加速协议处理;

传输服务质量;进一步借鉴通用压缩方法改进压缩算法;可用性机制。

三、STEP - Security Trade Exchange Protocol 证券交易数据交换协议

Fix协议是一种国际通用的交易协议,它详细地定义了每种交易的交易处理流程,为了适应国际化,交易所一般都会支持fix协议,但是会做一些本地化,比如在中国的本地化fix,就是step协议。是国家金融行业标准,它是我国根据FIX协议4.4版本的基础上制定出来的,已成为事实上的证券数据标准,语法简单定义灵活易扩展,数据相对冗余。Fix协议的优势在于是key-value对,可以很方便地查看报文内容,以及扩展新字段,而且是国际通用的,适应力强,缺点是速度慢。

STEP协议是什么?

STEP: Securities Trading Exchange Protocol,是中国金融行业数据通信标准JR/T0022-2004,目前被深圳交易所采用,作为Leve II数据向信息服务商分发的数据的标准协议。本文讨论的内容是基于STEP 1.0.0。

STEP 1.0.0(SZ)支持的重传消息类型 目前STEP 1.0.0 协议支持4种重传的消息。包括证券信息消息StockInfo,逐笔委托消息Order,逐笔成交消息Trade,公告消息Bulletin,证券状态消息StockStatus。

不支持重传的消息包括:行情快照Snapshot消息和指数快照消息Index。

目前STEP1.0.0协议不提供数据的消息包括委托排名OrderRank消息,成交排名TradeRank消息。

四、Binary - 深交所自己定的二进制格式的协议

Binary协议顾名思义就是二进制协议,也是通讯的协议是二进制的,里面详细定义了各种报文的字段,编解码规则等。

在深交所的Binary协议中,所有的消息,都是有3部分组成:消息头,消息体和消息尾。消息头有8个字节,是两个整数 MsgType 和

BodyLen。MsgType 标识者这个消息的类型,BodyLen 则表示接下来的消息体有多少个字节,我们根据 BodyLen

将消息体读出来。剩下就是4个字节的 checksum 了。

五、期货交易数据交换协议(FTD)协议: 国内期货交易所在用,CTP就是使用这种协议。

《期货交易数据交换协议》是2005年3月24日实施的一项行业标准

技术归口:全国金融标准化技术委员会 ;批准发布部门:中国证券监督管理委员会 。

《期货交易数据交换协议》介绍

2005年06月20日 07:53

促进期货市场健康发展,提高市场运行质量,必须坚持和落实科学发展观,在加强市场基础性建设的同时,大力推进技术创新和技术进步。从2002年5月开始,中国证监会信息中心联合上海期货交易所、大连商品交易所和郑州商品交易所成立了期货交易数据交换协议标准化工作小组,专门研究和解决远程交易中数据交换问题,并且将研究结果固化成标准化的协议向期货市场和社会公布、共享。

《期货交易数据交换协议》(Futures Trading

DataExchangeProtocol,简称FTD)作为交易所与经纪公司之间交易信息交换的基础协议,其研制目的是为了在远程交易中向会员和投资者提供更好的服务,以确保远程交易安全、可靠和稳定运行,提高生产效率,同时提升期货业技术系统和计算机应用的水平。

FTD已经正式发布,国内三家期货交易所均承诺于2006年在其新交易系统中提供FTD接入接口。随着FTD的逐步推广使用,期货市场远程交易又获得了一个安全、可靠和稳定的运行保障。更为可喜的是,国内期货市场的标准化水平和技术系统的使用水平迎来了整体的提升。

一、交易与通信

期货交易所的功能简单而言是为期货交易的双方提供交易场所,通过公开竞价等方法确定成交价格,并且将价格信息发布给社会。只有交易所的会员才能直接参与交易所交易,一般而言会员是期货经纪公司,投资者须通过各自的期货经纪公司为代理进行买卖。因此,投资者与交易所会员、会员与交易所之间的通信成为期货交易的重点环节,通信内容主要包括:

*买卖指令的传送:投资者的买卖指令首先发送到会员,会员确认后发送给交易所,交易所进行合法性检查并再次确认。交易所的确认结果(OrderConfirmation)通过会员返回给下达指令的投资者。

*成交的确认:交易所将所有的买卖指令形成中央报单库(CentralOrderbook),一般按照价格优先、时间优先(PriceTime Priority)撮合成交,撮合结果(OrderExecution& TradeConfirmation)通过会员返回给买卖双方投资者。

*市场信息(MarketDataDissemination)的发布:交易所将中央报单库中买卖双方的价格意向和成交价格等市场信息(又称为行情信息)向社会发布,一般包括最好的买卖价格和数量、最新成交价和成交量、期货合约持仓数量等。

上述通信既可使用人工方式来完成,也可由计算机和网络通讯自动实现。事实上,1965年之前,包括交易所撮合在内的所有交易行为均以人工方式实现。但技术创新,特别是通讯技术的发展始终推动着包括期货市场在内的资本市场的发展。19世纪的美国曾经有200多家证券交易所,电报这一新式通讯工具的出现,导致美国国内交易所过剩,绝大多数的交易所在竞争中消失,形成了目前的NYSE、NASDAQ、费城、芝加哥等六家流动性较好的交易所;电话的发明更加缩短了投资者、会员和交易所之间的通讯时间,指令和信息的传递也更加便利。

1.公开喊价交易方式

无论是证券和期货,一百多年来宏伟的交易大厅一直是交易所的标志。穿着不同颜色的交易商,在交易大厅的八角型交易池(Pit)内根据所代理投资者的指令打手势买卖成交,交易所将成交和最好的买卖报价通过显示屏和电子系统向社会发布。上述交易方式被成为公开喊价(OpenOutcry)方式。公开喊价交易的根基在于交易大厅,核心在于交流和通信。传统的交易需要交易商之间进行目光、语言和手势的交易,因此在当时的技术条件下,必然被安置在一个固定场所?D?D?D交易大厅中。为防止过于拥挤导致秩序的混乱,出于管理的原因要求会员购买席位从而拥有交易权限甚至是控制权限。

公开喊价交易方式依赖于固定的交易大厅和交易过程中人员(包括会员和交易所的工作人员)参与。大厅总是有物理空间上的限制的,无论交易大厅有多大面积,其所能容纳的参与交易的人数和会员总是有限的。交易过程中的手工操作意味着显著的时间延迟和人为错误。

2.电子化交易方式

随着通讯技术和计算机技术的发展,在亚洲、欧洲一些主要的交易所逐步使用电子化交易系统。以欧洲为例,从20世纪90年代开始,主要形成了以三大系统为主,其他一些小系统为辅的局面,分别是欧洲期货交易所EUREX的EUREX系统;泛欧期货交易所(Euronext)和LIFFECONNECT系统;瑞典OM技术公司的CLICK交易平台。而在北美洲,由于传统和会员的抵制,电子化成果主要集中在投资者指令与交易所之间的传递(OrderRouting)以及市场信息发布方面,而撮合的主体主要使用公开喊价方式完成。即使如此,大部分的交易所仍然宣称自己的系统为电子化交易系统。

与公开喊价交易系统相比较,电子化交易系统主要消除了交易过程对交易大厅和手工配对的依赖。除了交易中不能实现面对面的目光和言语交流外,电子化交易系统几乎能完成交易大厅里的所有功能,而且其成本更低、效率更高、响应速度更快、容量更大。

二、国内现状

1.我国电子化交易和远程交易现状

我国期货市场从一开始就推行电子化交易,曾一度处于国际领先地位。由于竞争和业务发展的需要,我国期货市场充分利用后发优势,在1995年左右开始建设远程交易网络,大力发展远程交易。最为初始的模式为在异地城市设置远程交易大厅,通过租用卫星和地面专线接入到交易主机完成撮合。之后又将接入点设置在会员场所,会员在其办公室内就能够使用计算机实现报单功能,接收成交回报和交易行情。目前各期货交易所的远程交易发展迅速,经纪会员基本均开通了远程交易,以上海期货交易所为例,远程交易的成交量在2004年达到90%以上。远程交易和其接入网络已经成为交易所的生命线。

由于资金投入、业务研发和技术储备等种种原因,目前国内期货交易系统在标准化建设工作方面已经明显落后于世界先进水平。电子化交易系统是由交易所和会员的前、后台系统、远程交易接入网络和网上交易平台构成的一个巨大的计算机网络和分布式系统,通讯是各个系统之间的核心,系统必须使用同一语言才能够相互通信。受到业务、技术和当时认知条件的限制,电子化交易系统建设中缺乏统一的信息规范和标准,交易所、会员、系统建设商和软件开发商之间各自为政,导致不同系统之间难以进行数据通讯,产生了信息重复录入和不一致的现象。系统之间信息交换标准不兼容直接导致信息孤岛的存在。孤岛之间需要进行信息转换,但转换一方面增加了处理环节、降低了交易速度,另一方面可能隐藏着错误,极大影响系统安全、可靠和稳定运行,交易效率低下。

2.存在的问题

远程交易和场内交易大厅在通讯方面存在着巨大差异,包括:

*通讯质量:以太网的通讯质量明显高于卫星、DDN或者帧中继,一旦发生故障,其定位和恢复时间较长。

*通讯带宽:由于通讯带宽的巨大差异,原来场内传输大数据量的通讯延迟可以忽略不计,但远程交易系统必须考虑,而且这个通讯延迟可能会很大。

目前,各个期货交易所的远程电子化交易接口都是1995年场内交易大厅模式的远程翻版。虽然提供基本交易和市场信息发布功能,但通讯方面的差异导致远程交易在功能的扩充、性能、可靠性、安全性等方面,都有很大的不足,特别是在远程通讯和软件运行状态及故障的监测,故障后快速恢复存在明显的效率问题,具体表现在:

*远程交易系统的监控问题:缺乏行之有效的方法监控所有会员的远程交易系统是否安全、可靠运行,以便交易所和会员双方能够在故障发生的第一时间得到通知和解决。

*故障后快速恢复问题。排除故障后远程交易系统没有恢复工作或者恢复的速度慢,会员和交易所将可能承受到直接投资者的巨大压力,甚至是法律纠纷。

期货交易所在接口的升级上比较谨慎,造成目前的会员远程交易的诸多技术问题;这些问题阻碍了非现场交易方式的推广。随着计算机通讯网络的逐渐发展,会员向客户提供的业务层次的逐步提高,远程交易在整体交易中的比重不断上升,其重要程度也大为提高,技术上的矛盾越来越突出。

三、研制过程

我国期货市场自推行远程交易后就不断提出信息和技术标准化的需求。计算机2000年问题解决后,市场对标准化工作逐渐关注起来。通过多方面的各种技术交流方式,各交易所也陆续了解了其他先进交易所、特别是欧洲先进交易所的技术系统情况,包括Eurex系统、Euronext的NSC和Connect系统、OM的Click系统的主要架构和技术难点的解决方案。

随着对标准化工作重要性和必要性的了解和认识的不断深入,期货市场行业标准化的工作在2002年突然加速。2002年中国证监会承接了国家金融十五科技攻关标准化课题证券期货业信息化标准体系研究专题。

《期货交易数据交换协议》作为子专题也被纳入标准体系研究专题,由中国证监会信息中心、上海期货交易所、郑州商品交易所和大连商品交易所承接和研发。中国证监会信息中心和三家期货交易所的一线技术人员组成工作小组负责具体研发工作。这个标准的制定,为不同的期货交易所之间进行技术上的互连互通提供了良好基础。

从2002年5月成立标准化工作小组开始,原计划于2003年7月完成期货交易数据交换协议标准的报批和审核。实际执行中延期至2003年11月完成报批稿及其审核,基本按照计划完成。延期的主要原因是2003年上半年的非典疫情使行业内征求意见稿、送审稿等编写工作顺延。

从2002年5月份开始,标准化工作小组开始了标准制定的工作。主要过程包括:

2002年5月,标准化工作小组成立。

2002年6月,小组第一次会议,确定了标准化制定的总体原则,标准内容构成,各单位和成员的工作分配。

2002年7、8和9月,各单位和成员完成了各自分配的工作。

2002年10月,小组第二次会议,讨论了各个成员完成的工作。

2002年11月,标准各部分内容汇总,产生了《期货交易通讯协议》的第一稿草案。

2002年12月,小组第三次会议,对《期货交易通讯协议》的第一稿草案进行了进一步讨论,统一了在标准制定上的意见。

2003年1月,意见汇总和整理,产生了《期货交易通讯协议》第二稿草案。

2003年2月和3月,进行了数据字典的统一工作。

2003年3月,安排标准化工作小组人员参加了标准编制的培训。

2003年4月,按照标准编制的要求,修改了通讯协议标准,产生了《期货交易通讯协议》第三稿草案。

2003年7月,按照标准编制的要求,修改了通讯协议标准,产生了《期货交易通讯协议》行业内征求意见稿。

2003年10月,按照标准编制的要求,根据行业内返回的意见,修改了通讯协议标准,产生了《期货交易通讯协议》送审稿。

*2003年11月,按照标准编制的要求,根据全国金融标准化委员会的委员与专家的讨论和审核意见,将期货交易通讯协议改称为期货交易数据交换协议,并且将工作小组改称为期货交易数据交换协议标准化工作小组,修改了数据交换协议标准,产生了报批稿。

标准化工作小组的全体成员凭借其一线系统运作的丰富经验和交易业务知识,在完成本单位日常工作的同时兼职完成数据交换标准的制定工作。

《期货交易数据交换协议》编制完成并通过审批后,为延续标准的内容修订和业内研究及推广工作,全国证券标准化技术委员会成立了WG05小组(期货交易数据交换小组)。WG05小组成员基本由期货交易数据交换协议标准化工作小组成员组成。

四、解决的主要问题

《期货交易数据交换协议》抓住期货市场远程交易中技术问题的关键?D?D?D交易所和经纪公司之间的交易数据交换协议,主要研究期货的实时交易过程中的数据交换和通讯标准,包括相应的信息编码标准、信息传送标准和标准的业务处理流程。信息编码的标准负责将各种需要交换的信息编码成一个确定的格式,信息传送标准负责将这些信息通过网络进行传送,而标准业务处理流程将说明各个报文的标准的处理方法。通过规范交易所和会员之间的交易数据交换协议,并将解决上述问题的手段内置于协议中,一举解决这些矛盾,为我国期货市场的进一步发展和创新提供坚实的技术基础。

1.研制原则

《期货交易数据交换协议》研制过程中参考了许多现有的标准,并借鉴了国际很多成熟产品和系统的经验,包括:

GB/T 9387开放系统互连-基本参考模型;

GB/T 17142开放系统互连-系统管理;

FIX协议:参考了其报文组成,数据表示,上行/下行序列号分开管理,心跳机制、多播实现技术和安全性、可靠性及扩展机制;

*OM的CLICK和SAXESS系统:参考了信息分流管理,报文组成,数据表示,信息序列号,心跳机制和安全性、可靠性及扩展机制;

*法兰克福交易所XETRA系统:参考了通讯模式,信息分类,心跳机制和可靠性机制以及应用程序接口设计(ApplicationProgramInterface,API);

*欧洲期货交易所EUREX系统:参考了通讯模式,信息分类,心跳机制和可靠性机制以及应用程序接口设计;

*泛欧交易所LIFFE Connect系统:参考了通讯模式、可靠性机制和应用程序接口设计;

*泛欧交易所NSC VF系统:参考了信息分类及其实现方法。

为顺利完成标准的研制任务,经过标准化工作小组的全体讨论,确定了如下的四个设计原则:

*清晰化原则:标准应当能够清晰地说明交易所和会员之间的接口。对于能够确定的内容,应当清晰地阐述,对于由各个交易所自行确定的内容,也需要明确地说明,不能有含糊之处。

*成熟化原则:标准将充分考虑各个交易所共同的,已经成熟的业务模式和规则,并具有一定的扩展性,但是标准将不包含目前还处于探索阶段的一些新业务方面的内容,也不限制各个交易所的后台处理方式。

*引用标准原则:对于已经有国际标准和国内标准的内容,应当尽量沿用这些标准。标准应当只包含那些期货交易业务特有的内容。

*实用化原则:标准的制定必须充分考虑未来实现的可能性,在标准中要充分考虑交易系统主要的技术问题,包括安全性、可靠性、可扩展性、高性能、故障恢复机制等。保障基于标准的实现能够方便地达到各项业务和技术目标。

2.信息可靠送达的含义

FTD的核心是确保高效、有序、可靠地保证交易信息送达,并提供故障的动态监测功能。信息可靠送达既是FTD的研究关键,也是远程交易能够快速、可靠执行的基础。信息的可靠送达不仅要求信息保证从一方发送到另一方,而且要求该送达是有序的,也就是先生成的信息必须先到达,信息的可靠送达还隐含同步需求。因此信息的可靠送达要求通讯协议提供一种信息的有序、可靠的通讯模式。同时,为了保证数据的一致性和完整性,接收方(主要指会员系统)对每条接收的交易信息必须按照发生的时间顺序处理一次而且只有一次(onceandjustonce)。计算机故障总是难以避免的。在远程交易中,故障可能发生在会员端、通讯链路和交易所接入端,也可能是由硬件、软件和同步握手错误造成的。所以信息的可靠送达还要求能够主动监测到对方是否发生故障,以便在第一时间内采取应急措施和修复故障。故障修复后,要求双方能够以简单、快速的方式恢复到交易正常的状态。

因此,信息可靠送达在远程交易中可以表达成:

*在正常情况下交易所和会员能够准确地判断出目前的交易状态是否是正确的,状态正确是指双方收到的信息都无错序、无重复。

*在发生链路断线等故障后,交易所和会员都可以在较短的时间内监测到故障发生,并且此项判断不应当占据如CPU、内存、链路带宽等关键资源。

*故障恢复后,交易所和会员能够在尽量短的时间内自动同步交易数据和行情数据,从而恢复到正确状态。

3.解决的主要问题

《期货交易数据交换协议》研制过程中主要借鉴了国内外交易所系统(包括EUREX、LIFFECONNECT、OMCLICK和Euronext

NSC-VF系统)和《金融信息交换协议》(FinancialInformationeXchange,FIX)在信息交换方面的成果,分析了以上各系统的优缺点作为取长补短的基础,归纳了期货交易信息交换方面的需求,提出了远程交易信息交换方面的六个关键技术难点,并通过FTD协议及其体系架构给出了相应的解决方案。六个关键技术难点如下:

*信息分类问题。在现有交易指令执行、查询和市场行情发送的基础上,对各类信息交换需求进行分类,抽象出了网络连接、通讯模式和数据流之间的关系,通过信息分流思想对信息交换需求进行分类。

*如何确保交易信息的可靠送达。数据流内的每个报文由序列类别号和序列号来标识,由于同一个数据流中序列类别号唯一,而序列号加一连续是保证交易信息可靠送达的基础。

*如何动态监测会员端或者通讯链路的故障,并且监测本身不会对网络和系统造成过大的负载。

*如何确保FTD新协议能够在现有远程交易网络的链路上高效运行。

*如何确保交易行情的可靠送达,并且在断线重连后会员能够快速恢复交易行情的快照,如果需要,会员在断线重连后也可以获得所有的交易行情。

*如何保证FTD能够支持新的业务。

4.标准的主要内容

FTD标准文稿主要包括该数据交换协议的体系结构、报文格式、数据字典、运作机制和扩展方式等内容。

标准文稿中的第一、二章介绍了FTD的使用范围和相关术语解释。FTD适用于期货交易所系统和会员系统之间进行交易所需的数据交换和通讯协议。FTD经过兼容性扩展也可以适用于交易所内部、会员内部或者交易所之间的数据交换和通讯。

第三章介绍了FTD的体系结构。通过归纳信息交换的需求,抽象了通讯模式和数据流,将具体的网络连接与通讯模式相对隔离,引入了数据报文的序列类别和序列号概念,使用序列号的连续性确保信息的可靠送达。通讯模式定义了通讯双方之间协同工作的方式,就像一个硬币只有正反两面一样,交易所与会员之间的通信内容和方式可以归纳为三种通讯模式:

*对话通讯模式:由会员端主动发起的通讯请求。该请求被交易所端接收和处理,并给予响应。例如,交易指令接收、查询等。这种通讯模式与普通的客户/服务器模式相同。

*私有通讯模式:由交易所端主动,向某个特定的会员发出信息。例如成交回报、交易指令处理等。

*广播通讯模式:由交易所端主动,向市场和社会发出相同信息。例如交易行情、市场状态控制、市场公告等。

第四章是标准的主要内容,介绍了FTD的报文结构,包括报头、扩展报头和FTDC业务报文,并对期货交易中的主要业务运作机制和关键数据域和报文作了简要说明。FTD协议主要由两层构成:FTD封装协议和FTDC。其中FTDC代表期货交易数据交换内容(FuturesTradingData

ExchangeContentProtocol),用于结构化地表示交易指令、成交回报、交易行情等的业务数据部分,而FTD封装协议为FTDC提供数据封装、压缩、链路管理服务。

通过使用在空闲时段通信双方相互发送心跳信息,既保证了双方对对端故障的监测,对于网络资源和CPU资源的消耗又很少,解决方式妥善而实用。

由于报头结构紧凑,使用半结构化的数据域对业务数据进行编码,经过实证分析,结果表明FTD的效率与期货市场现有协议具有可比性、甚至是更优的。

按照综合分析交易行情的可靠送达和故障重连后快速恢复的需求,提出了交易行情的正常接收、快速恢复接收和完全恢复接收三种工作方式,保证了交易行情的快速和准确性。

第五章和第六章讲述了FTD提供的安全性和可靠性服务。

第七章主要介绍了FTD的两种扩展。由于FTD报头和FTDC报头设计合理,新业务的支持可以在兼容的扩展方式的基础上增加新的扩展报头标记、增加新报文和增加新数据域的方式完成。

FTD的发布实施仅仅是开始,更为繁重的具体实施工作摆在了眼前:标准宣传贯彻。宣传贯彻的执行力度是决定标准是切实发挥作用还是束之高阁的关键因素。WG05小组已经制定了初步的工作计划,主要内容有三点:

1.交易所和会员之间需建立长效协调机制,共同维护FTD标准的更新和修订。

2.标准的推广需要请会员和软件开发商配合和投入,开发FTD的软件实现,并且将其源代码开放给整个期货市场,供大家免费下载从而使全行业的成本降至最低。

3.为确保远程交易的可靠运行,应建立FTD标准的认证机制,只有符合接入规范并且通过测试的软件产品才能接入交易所参与交易。

五、后续工作

FTD的推广和应用将可能带来非常明显的效益,主要体现在:

*各个交易所采用统一的标准后,将会减少其新系统的开发成本,提高系统的可靠性;

*各个交易所采用统一的标准后,将会统一各个会员连接不同交易所时的软件,减少软件的复杂度,降低其开发成本;

*采用统一的标准,将减少由技术原因造成的市场风险因素。

在当前的形势下,数据交换协议的研究有着非常实际的意义。

首先,FTD有助于解决目前困扰交易所远程交易中信息交换和故障动态监测的问题。

其次,FTD为交易所升级现有系统,开展新一代电子化交易系统打下扎实的技术基础和实践储备。我们有足够的理由相信,FTD和现有的三所联网将构成我国期货市场技术系统方面的两大支柱。(证券标准化委员会秘书处)

TCP/UDP : 这个主要是传输层。交易用TCP;行情先进的是UDP组播,原先也有用TCP的。

发布于 2022-09-27 09:09:58
收藏
分享
海报
108
上一篇:[交易所数据几秒出来]交易所level1和level2行情数据介绍以及关于tick数据的说明 下一篇:[交易所数据几秒出来]交易所的行情,多久刷新一次?1秒?2秒?
目录