基于FPGA的PCIe设计

《基于FPGA的PCIe设计》由会员分享，可在线阅读，更多相关《基于FPGA的PCIe设计（17页珍藏版）》请在装配图网上搜索。

1、基于FＰＧA的PＣＩe设计 1. ＰCIｅ简介 1.1. ＰCIｅ基本架构 PCIｅ的优势以其复杂性为代价。PCIe是基于分组的串行连接合同,估计比PＣＩ并行总线复杂10倍以上。这种复杂性部分源于在千兆赫速率所规定的并行到串行的数据转换以及转向基于分组的实现。 ＰCＩｅ保持了PCI基于加载存储的基本架构,涉及对ＰCI-X增长的对分割事务的支持。此外,它引进了一系列底层信息传送要件来管理链接(如链路层流量控制)以模仿老式并行总线的边带线，且提供了更高水平的roｂuｓtness和功能。该规范定义了许多特性、能同步支持当今的需求和将来的扩展需要，且同步与PＣＩ保持了软件兼容。ＰCI Eｘpr

2、ess的先进特性涉及：积极电源管理;先进的错误报告；通过端对端循环冗余校验（ECRC)支持的端对端的可靠性;支持热插拔以及服务质量（ＱoＳ）流通类。 一种简化系统的拓扑构造涉及四个功能类型,根联合体根联合体(root　comｐlｅx）、互换器(sｗiｔch)、端点（ｍuｌｔiple Ｅndpoints）和桥(bridge)。 1. ROOT Cｏmpｌex:根联合体对整个ＰCＩe建构实行初始化并配备各链路。它一般把中央解决单元 (ＣPU)与其他三个功能中的一或多种——PCIe互换器、PCIe端点和ＰCIe到ＰCI桥——连接起来; 2. Endpoint：端点一般位于终端应用内，它负责

3、连接应用与系统内的PCIe网络。端点规定并完毕PCIe事务传播。一般来说，系统内的端点比任何其她类型的ＰCIe部件都要多； (1)Legaｃy Endpｏint； (２）PCI Eｘpｒｅsｓ Eｎdpｏint; (３)Rooｔ Complｅx　Iｎｔegraｔed Ｅｎdpｏint； 3. Swiｔcｈ:ＰCIｅ互换器把数据路由至下游多种PＣＩe端口,并分别从其中每个端口路由到上游唯一一种根联合体。ＰCＩe互换器也可以灵活地把数据从一种下游端口路由到另一种下游端口(点对点),它消除了老式ＰCI系统限制性的树状构造； 4. Ｒoｏｔ Coｍpleｘ Ｅｖｅnｔ Colleｃtor；

4、 5. PCI Expreｓｓ－PCＩ Bridge:桥用于连接PＣIe与系统内诸如PCＩ/ＰCI-X等其她PＣＩ总线原则,这样的系统同步采用上述各总线架构; 1.2. PCＩe合同规格 ＰCIｅ 规范对于设备的设计采用分层的构造，有事务层、数据链路层和物理层构成，各层有都分为发送和接受两功能块。 在设备的发送部分,一方面根据来自设备核和应用程序的信息,在事务层形成事务层包(TＬP),储存在发送缓冲器里,等待推向下层;在数据链路层,在ＴLＰ　包上再串接某些附加信息,这些信息是对方接受TLP包时进行错误检查要用到的；在物理层，对TLＰ 包进行编码,占用链路中的可用通道,从发送器发送

5、出去。事务层包(ＴＬＰ）,数据链路层包（DLLP)，物理层（PLP)产生于各自所在层,最后通过电或光等介质和另一方通讯。这其中数据链路层包（DLＬP),物理层（PLP)的包不需要关怀,在ＰCIe ＨIP核中封装好了。在 ＦPGA上做　ＰCIｅ的功能就是完毕事务层包（TＬP)的解决。 1.3. 解决层(Tｒaｎsａcｔioｎ　Lａyｅr) 解决层接受来自ＰCIｅ设备应用的数据，并将其封装为ＴＬP（Ｔrａnｓａｃｔｉoｎ Layer Packｅｔ)后,发向数据链路层。此外事务层还可以从数据链路层中接受数据报文,然后转发至ＰCIe设备的核心层。解决层在应用层和数据链路层之间,来产生和接受传

6、播层的包。解决层涉及:发送数据途径，配备空间和接受途径。 接受数据流程： 1）收到从数据链路层来的ＴLＰ； 2)配备空间用来拟定解决层的包与否对的； 3)在每个虚拟通道,解决层的包被存在接受ｂufｆｅr中一种特定的部分(由收发类型拟定:posted,non-postｅd,ｃomplｅtiｏｎ)； ４）解决层paｃket FIFO　块用来存储ｂuffｅr传播层包的地址； 发送数据流程： 1）ＭegａCore通过tｘ_crｅｄ［35:0]来给应用层提供信息； 2）应用层会祈求传播层给它包,此时应用层需要提供提供ＰＣＩ　Eｘpｒｅｓｓ传播字头在ｔx_desc[１27:0］中,已经数据

7、在ｔx＿ｄaｔa[6３:0]中; 3）Ｍegaｃｏre会确认sufｆｉicienｔ　flow ｃontroｌ crｅdiｔs,并拟定是相应还是延迟祈求； 4）解决层仲裁各虚拟通道，然后选择优先级高的数据给数据链路层; 1.3.1. 解决层构造 1.3.2. TLＰ报文 TLP有三部分构成，帧头、数据、摘要(或者称ECＲC)。ＴＬP 头标长3或者4个DＷＯRD，格式和内容随报文类型变化,如下图所示。 l Fmt［1:0］ – Fｏrmat ｏf ＴＬＰ– bits 6：5 of ｂytｅ 0; l Tｙpｅ[4:0] – Typｅ of ＴLP –　bits ４:0 of

8、ｂytｅ 0; l TC[2：0] – Traffiｃ Cｌass　 –　bｉｔs [６:４]　of ｂytｅ 1； l Aｔtr[１：０] – Ａｔｔribｕｔｅｓ – ｂiｔs ［５:４］　of bytｅ 2; l TＤ –　1b indicaｔes ｐreseｎｃe ｏf　TLP digesｔ in ｔhe foｒm of a siｎglｅ DW aｔ the enｄ oｆ ｔhe TLP　–　bｉt 7　of byte 2； l EP　– indicatｅs the TＬP is poisonｅｄ　 –　bit 6 oｆ bytｅ 2; l Ｌｅngｔh[9:0］ – Le

9、ｎgtｈ of　daｔa payload in ＤW　– bits 1:0 ｏf　byte 2 coｎcａteｎａted witｈ ｂｉts 7：０ of bｙｔe　３; 数据端为ＴLP 帧头定义下的数据段,如果该TLＰ　不携带数据，那该段为空。 Digesｔ段（可选）是基于头标、数据字段计算出来的CRC，成为ECRC，一般Dｉgｅsｔ 段由IP核填充。 1.3.3. Nｏn-poｓted ＆ Posteｄ 如果设备发起端发出一种Ｎon-Posted祈求，在一定期间后,接受端需要答复一种完毕包给发起端。如果发出的是Ｐosteｄ祈求,不需要答复完毕包给发起端。 n Posteｄ　Rｅｑ

10、uｅsts: Rｅquｅstｓ ｔhat do noｔ requirｅ a Compｌeｔion； n Nｏn-poｓｔed Requests:　A ｖａliｄ Requesｔer ID is required　ｔo pｒopｅｒｌy　route tｈｅ reｓultｉng　comｐletioｎs; 除了Memｏｒy Write和Messaｇe事务属于Posteｄ报文,其她事务报文都是Non-pｏsted报文，例如Memory　Read、ＩO和Configuratioｎ等报文。 1.4. 数据链路层（Data　Liｎk Layｅr) 1.4.1. 数据链路层构造 ■ Link

11、　ｍａnagemeｎt thｒｏuｇh the recepｔiｏｎ and tranｓmisｓiｏｎ of data linｋ ｌayeｒpackets, ｗhiｃh ａre　usｅｄ for　ｔhｅ ｆolｌｏｗinｇ　fuｎctiｏns: ■ Tｏ initiａlize and upｄatｅ floｗ　controｌ　ｃreditｓ fｏr each vｉrtual channeｌ； ■　Fｏr　ｐowｅr managｅｍeｎt oｆ data ｌｉnk layｅｒ pacｋet receｐtion ａｎd traｎsmiｓsiｏｎ； ■ Tｏ ｔｒansmit　and ｒｅceiv

12、e　ACK/ＮACK pacｋets; ■ Data　inteｇｒｉtｙ tｈrough geneｒation and cheｃｋing oｆ CRCs fｏｒ　tｒanｓactiｏn ｌａyｅｒ　paｃｋｅts and data link ｌayer packets; ■ Trａｎsactｉon ｌaｙｅr pacｋet reｔrａnsｍissiｏn in caｓｅ　ｏf NAK data ｌinｋ layeｒ ｐackｅt receｐtｉon ｕｓing the ｒetry bｕffer, Manaｇｅmeｎt of　the reｔry ｂｕffeｒ; ■ Liｎk retｒain

13、ing requｅsts ｉｎ ｃase ｏf error through ｔｈe LTSSM　of the physｉcal　ｌaｙer; 1.4.2. DＬLP报文 数据链路层保证来自发送端事务层的报文可以可靠、完整地发送到接受端的数据链路层。来自事务层的报文在通过数据链路层时,将被添加Sｅquenｃｅ Nuｍber前缀和CRC后缀。数据链路层使用AＣK/ＮＡK合同保证报文的可靠传递。 PCIe总线的数据链路层还定义了多种DLLP（Dａta Link Ｌayer　Packｅt)，DLLP产生于数据链路层，终结于数据链路层。值得注意的是,TLP与DLLP并不相似,DＬLP并不是由TLP

14、加上Sequｅnce Ｎumbｅｒ前缀和CRC后缀构成的。 1.5. 物理层(Physｉcal Layer) 物理层是PCＩｅ总线的最底层,将ＰCIｅ设备连接在一起。PCIｅ总线的物理电气特性决定了PCIｅ链路只能使用端到端的连接方式。PＣIｅ总线的物理层为PCIe设备间的数据通信提供传送介质，为数据传送提供可靠的物理环境。 物理层可以分割成2个子层：电气层和逻辑层。而有某些公司已经在电气层和逻辑层之间定义和采用了一种接口,这种接口称为PCI　Expresｓ物理接口（PIPＥ）。控制器物理层用于与PHY的接口,并用于管理许多可以发起链路构建数据包的功能。某些特殊序列用于建立物理链

15、路、进入和退出低功耗链路状态等。这些序列用于同步ＰCIe链路,并进行链路管理。值得注意的是ＰCＩｅ设备发送PLP与发送TLP的过程有所不同。 物理层的接受部分负责: n 通道映射、通道间去偏移，合用于由多条线路构成的链路。 n 数据解扰 n 数据包检测和解帧 n 检查特殊数据包序列,例如TS1、TS2、跳过和电气空闲。 物理层的发送部分负责: n 采用特殊符号插入来对数据包进行封帧,例如采用SＴD或SDＰ符号来标志数据包的开始，用ＥND符号来标志结尾。 n 数据加扰。 n 链路控制——初始化、带宽和线路反转（lane-rｅversａl)协商。 n 多条线路发送控制。 n

16、生成跳过序列来补偿链路两端的时钟PPＭ差别。 1.5.1. 物理层构造 ■　Ｉnitiaｌｉzｉng ｔhｅ lｉnk; ■ Sｃrａｍｂlｉnｇ ａnｄ descｒamblｉng and 8Ｂ／10B encoｄｉｎg and decodｉｎg oｆ 2.5　Ｇｂps （Ｇen1) or 5．0　Gbpｓ　(Gen２） pｅr lanｅ　8B/10Ｂ; ■　Seｒiａlｉｚｉng ａnd　dｅseｒiａlizｉng　datａ； The harｄ　ＩＰ　iｍｐleｍentation includeｓ　ｔhe ｆｏlｌowｉnｇ addｉｔｉonal fuｎｃtioｎalｉty

17、: ■　PIPＥ 2.0 Intｅｒface Gen1/Gen2： 8－bｉt@250/５０0 MＨz （ｆｉxｅd　wiｄth,　ｖarｉable cｌock); ■ Aｕto speed ｎegotiaｔion (Gｅn2); ■　Ｔrainｉng sequeｎce tｒansmiｓｓion ａnd ｄecoｄe; ■ Ｈarｄwaｒe autonomoｕs speed ｃontrol; ■ Aｕto lane reｖersａl; 1.5.2. ＬTSSM 物理层是PCＩe体系构造最重要，也是最难以实现的构成部分。ＰＣIe总线的物理层定义了LTSSM(Lｉnk Ｔｒaｉnin

18、ｇ　ａnd Ｓtaｔus　State　Ｍaｃhiｎｅ)状态机，在ＰCIe链路可以正常工作之前,需要对PCIe链路进行链路训练。ＰCＩｅ链路使用该状态机管理链路状态,并进行链路训练、链路恢复和电源管理。ＬTＳSM状态机涵盖了1１个状态，涉及Detecｔ，Pollinｇ，Cｏnfｉgｕratiｏｎ,Recｏvｅry，L0，L0s，L1， L2，Hot Reset,Lｏopbaｃk，Disaｂle。这1１个状态之间转换的逻辑，如下图所示， 这１１个状态大体可以分为4大类: (1) ＰＣIe链路训练有关。正常的PCＩe链路训练状态转换流程依次是，Ｄeｔｅｃｔ－>Pｏｌling->Ｃonfiｇｕ

19、ｒaｔion－>Ｌ0。L0是PCＩe链路可以正常工作的电源状态； (2) PCIe链路重新训练有关。这个状态也称为Ｒecｏｖｅry。Rｅcoｖery是一种非常重要的链路状态，进入这个状态的因素也诸多,例如电源状态的变化，PCIe链路速率的变化等; (3) 电源状态有关。PCIe总线的电源状态重要有两部分的内容： 1. 基于软件控制的PＣI-PM电源管理机制，是系统软件通过修改寄存器中的电源管理字段,使PCIe设备进入D状态：Ｄ0,D1,D2,D3； 2. 基于硬件控制的AＳPM(=Ａctive Statｅ　Power Ｍａnaｇemenｔ）电源管理机制,是基于硬件自主控制的链路电源管理

20、机制，只有在PCＩe设备处在D０状态是才可以启动AＳPM机制,此外,与ASPM有关的链路状态有L０s,L1(涉及L1.1和L1．2); (4) 其她有关，例如Ｈot Reｓet，　Ｌｉnk Dｉｓable,　Loopback等; 1.6. PCＩe　HIP设立 1.6.1. Haｒd IＰ模块构造 1.6.2. Syｓｔeｍ设立 1) Pcie ｃｏrｅ的类型：软核、硬核。 ２)　PHＹ　type： 选择用不同的器件来实现，可以看到下面支持lane的数量的不同。 3) Port type: Nａtiｖe Endpoint、Legacｙ Enｄpｏiｎt、Roｏt poinｔ。

21、 4)　Xcvｒ reｆ_clk:　设立recｌk的输入时钟，可以在手册中清晰看到，对于不同的器件，输入参照时钟的区别。 5） Appｌicaｔｉoｎ Ｉnteｒfaｃｅ： 用于指定ＰCI　Exｐresｓ中传播层和应用层的接口，如果用MegaWizard，建议采用Avaｌon－ST. ６) Application clock： 指定应用的接口时钟，在选择硬核和软核时有区别。 ７） Max rａｔｅ:　Gen1（２.5Gbpｓ）， Ｇen２(５．０Ｇｂｐs) 8) Ｔest out widｔh: 设立test_ｏut的宽度，对于不同的核和ｌaｎeｓ有不同的设立。 9） PCIe　re

22、config: 重配备硬核只读配备寄存器。 1.6.3. PCIe Ｒｅgister 对PCIe(PＣI)设备来说，CPU初始化会检测到FPGA有多少个BAR 空间,每个空间有多大，然后相应为这些BＡR　空间分派地址。对系统设备来说，它能“看”到FPGA的空间就是BAＲ　空间,只能访问这些BAR 空间。也就是说，CPU端通过PCＩe接口访问ＦPGA被局限在ＢAR空间内。在FＰGA　中，BAR空间的设立根据顾客逻辑设计的需求来定义大小。 1.6.4. Ｃapabiｌitiｅs Ｐａraｍetｅr １)　Tags suppoｒted: 设立支持nｏn-ｐosｔed报文祈求的t

23、ags数目。 Hａrd IP：32 ｏr 64 taｇs fｏｒ X1,X4和Ｘ8模式。 Sofｔ IP:4－256 for Ｘ1和X4模式，4-3２ foｒ X8模式。 2)　Imｐlement comｐleｔioｎ ｔｉｍｅｏｕｔ　ｄiｓable： 该选项只对Geｎ2的Roｏt　Port和Ｅndpoiｎｔ有效． ３） Cｏmｐletion Time out　rａｎge： 你可以选择AＢCＤ，分别相应不同的时间范畴。 ４)　Erｒor Repoｒtinｇ： 可以显示的错误信息。 5) MＳI　Ｃapabiliｔieｓ： 用来设立应用层祈求数量,将此值设立给消息控制寄存器。

24、ＳOＰC只支持1个MSI。 6)　link Capabilities： Ｌｉnk cｏmmon ｃｌock：与否用系统提供的一般参照时钟给PHY来做参照时钟,建议选用。 Ｄａｔａ　liｎk　layer ａctive ｒeｐortinｇ:只在root port有效 Link　ｐｏrt nuｍｂｅr: 将只读端口数目设立到liｎk Ｃapａbiｌitieｓ寄存器中。 7）　Sｌot　Capability: Tａbｌｅ　3-3中具体简介了Slot ｃapabｉliｔy寄存器中各个值相应的意义。该选项只对Rooｔ　Ｐoｒt有效。 8) MSＩ-X capabiliｔieｓ: 此中断只对

25、Ｈａrｄ ＩP的Eｎdpoint有效。 ＭSI－X Tablｅ siｚｅ：系统软件读这个地方来拟定MSI-Ｘ Tabｌe Ｓｉｚe,只读。 ＭＳI-X　Tabｌe Offset: 指向MSI－Ｘ　tablｅ的基地址,只读。 BAR Ｉｎdicatｏｒ： 用来将MＳI-Xtabｌｅ映射到memory空间,只读。 PCIe可以发出两种中断，一种是虚拟INTx信号线,一种是MＳI。 过去PＣI板卡发送中断通过拉低INTｘ（ＩNTA#，INTＢ＃，IＮTC#,INTD#）来申请中断，CPU检测到INＴx的中断,就跳转执行ＩNTx相应的中断驱动程序，驱动程序里需要操作板卡将INＴx拉回去,

26、否则就发生嵌套中断了。 ＭSI是基于消息机制的,CＰU启动后为FＰＧＡ分派一种或多种消息地址，FPGA发送中断只需要向相应的地址内发送消息即可。消息内容中涉及消息号，每个消息号相应在CPＵ端的某一地址。中断和其她包是分开的，中断发送是非常简朴的，并不需要用到ＰCIe Core的TX接口,只需要简朴操作几条信号线就可以实现PCIe核组织需要的中断包向外发送。 1.6.5. Ｂuｆfer　Setuｐ n Maxｉmum　pａｙloａｄ sｉｚe: 设立最大的有效载荷大小,对于不同的器件有不同的上限值； n Number of ｖirｔual cｈannels: 设立虚拟通道数; n Nｕｍbｅr ｏf low－pｒioｒitｙ ＶCs:设立虚拟通道在低优先级仲裁组的数量。该值只能不不小于或等于虚拟通道数； n Ｒｅtry　buffer size:设立重试Bufｆeｒ的深度,用来存储发送报文直到被确认； n Ｍaｘiｍum ｒetry　pacｋetｓ：　设立重试包的大小; 1.7. 其她接口信号 n ＬMI信号:该接口可以用来读写ＰＣI　Ｅxpress配备空间。 n Ａvalon-ST和Dｅscrｉpｔoｒ／Data是两种不同的接口。两种接口不存在掺杂的说法。固然部分信号是相似或相近的。