用于 PCI Express* 的 Intel® FPGA R-tile Avalon® Streaming IP用户指南

下载 PDF
ID 683501
日期 3/28/2022
Public

本文档可提供新的版本。客户应 单击此处 前往查看最新版本。

文档目录
文档目录 x
1. 有关R-tile Avalon® 流 Intel® FPGA IP用于PCI Express 2. IP架构和功能描述 3. 高级功能特性 4. 接口 5. 参数 6. 用于 PCI Express* 的 Intel® FPGA R-tile Avalon® Streaming IP用户指南存档 7. 用于PCI Express的Intel FPGA R-tile Avalon® Streaming IP用户指南文档修订历史 A. 配置空间寄存器 B. 根端口枚举 C. Endpoint模式下Address Translation Services（ATS）的实现 D. TLP Bypass模式下转发到用户应用的数据包
1. 有关R-tile Avalon® 流 Intel® FPGA IP用于PCI Express x
1.1. 概述 1.2. 功能特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 性能和资源利用率 1.6. IP核支持级别
1.1. 概述 x
1.1.1. 标准与和合规
2. IP架构和功能描述 x
2.1. 概述 2.2. Bias Temperature Instability (BTI)保护模式 2.3. PCIe硬核IP模式 2.4. PIPE Direct模式
2.3. PCIe硬核IP模式 x
2.3.1. 时钟 2.3.2. 复位 2.3.3. PCI Express协议堆栈
2.3.3. PCI Express协议堆栈 x
2.3.3.1. PMA/PCS 2.3.3.2. 数据链路层概述 2.3.3.3. 事务层概述
2.4. PIPE Direct模式 x
2.4.1. 时钟 2.4.2. 复位 2.4.3. PIPE层
3. 高级功能特性 x
3.1. PCIe端口分叉和PHY通道映射 3.2. 虚拟化支持 3.3. TLP Bypass模式
3.2. 虚拟化支持 x
3.2.1. SR-IOV支持 3.2.2. VirtIO支持
3.2.1. SR-IOV支持 x
3.2.1.1. SR-IOV支持的功能列表 3.2.1.2. 实现 3.2.1.3. VF到PF映射 3.2.1.4. 功能级复位（FLR）
3.2.1.2. 实现 x
3.2.1.2.1. VF Error Flag Interface（仅适用于x16/x8 Core）
3.2.2. VirtIO支持 x
3.2.2.1. VirtIO支持的功能清单 3.2.2.2. 概述 3.2.2.3. 参数 3.2.2.4. VirtIO PCI配置访问接口 3.2.2.5. 寄存器
3.2.2.5. 寄存器 x
3.2.2.5.1. VirtIO Common Configuration Capability寄存器（地址: 0x012） 3.2.2.5.2. VirtIO Common Configuration Capability寄存器（地址: 0x013） 3.2.2.5.3. VirtIO Common Configuration BAR Offset寄存器（地址: 0x014） 3.2.2.5.4. VirtIO Common Configuration Structure长度寄存器（地址：0x015） 3.2.2.5.5. VirtIO Notifications Capability寄存器（地址：0x016） 3.2.2.5.6. VirtIO Notifications BAR Indicator寄存器（地址：0x017） 3.2.2.5.7. VirtIO Notifications BAR Offset寄存器（地址：0x018） 3.2.2.5.8. VirtIO Notifications Structure长度寄存器（地址：0x019） 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier寄存器（地址：0x01A） 3.2.2.5.10. VirtIO ISR Status Capability寄存器（地址：0x02F） 3.2.2.5.11. VirtIO ISR Status BAR Indicator寄存器（地址：0x030） 3.2.2.5.12. VirtIO ISR Status BAR Offset寄存器（地址：0x031） 3.2.2.5.13. VirtIO ISR Status Structure长度寄存器（地址：0x032） 3.2.2.5.14. VirtIO Device Specific Capability寄存器（地址：0x033） 3.2.2.5.15. VirtIO Device Specific BAR Indicator寄存器（地址：0x034） 3.2.2.5.16. VirtIO Device Specific BAR Offset寄存器（地址：0x035） 3.2.2.5.17. VirtIO Device Specific Structure长度寄存器（地址：0x036） 3.2.2.5.18. VirtIO PCI Configuration Access Capability寄存器（Address: 0x037） 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator寄存器（地址：0x038） 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset寄存器（地址：0x039） 3.2.2.5.21. VirtIO PCI Configuration Access Structure长度寄存器（地址：0x03A） 3.2.2.5.22. VirtIO PCI Configuration Access Data寄存器（地址：0x03B）
3.3. TLP Bypass模式 x
3.3.1. 概述 3.3.2. TLP Bypass模式的寄存器设置 3.3.3. 硬IP重配置接口 3.3.4. Avalon® Streaming接口
3.3.2. TLP Bypass模式的寄存器设置 x
3.3.2.1. TLPBYPASS_ERR_EN（地址 0x1314） 3.3.2.2. TLPBYPASS_ERR_STATUS（地址 0x1310）
3.3.4. Avalon® Streaming接口 x
3.3.4.1. 配置TLP 3.3.4.2. 发送接口 3.3.4.3. 接收接口 3.3.4.4. 异常的TLP 3.3.4.5. ECRC
4. 接口 x
4.1. 概述 4.2. 时钟和复位 4.3. 串行数据接口 4.4. PCI Express模式 4.5. PIPE Direct模式
4.2. 时钟和复位 x
4.2.1. 时钟 4.2.2. 复位
4.4. PCI Express模式 x
4.4.1. Avalon® 流接口 4.4.2. 精确时间测量（PTM）接口（仅端点） 4.4.3. 中断接口 4.4.4. Hard IP重配置接口 4.4.5. Error接口 4.4.6. Completion Timeout接口 4.4.7. Configuration Intercept接口 4.4.8. 电源管理接口 4.4.9. Hard IP状态接口 4.4.10. Page Request Services (PRS)接口（仅Endpoint） 4.4.11. Function-Level Reset (FLR，功能层复位)接口（仅Endpoint） 4.4.12. SR-IOV VF Error Flag接口（仅Endpoint） 4.4.13. 通用VSEC接口
4.4.1. Avalon® 流接口 x
4.4.1.1. Avalon® 流RX和TX接口的TLP头和数据对齐 4.4.1.2. Credit控制 4.4.1.3. Avalon® Streaming RX接口 4.4.1.4. Avalon® Streaming TX接口 4.4.1.5. 标记分配
4.4.1.2. Credit控制 x
4.4.1.2.1. Credit接口 - 数据和头 4.4.1.2.2. Credit初始化 4.4.1.2.3. Credit更新/释放 4.4.1.2.4. RX流程控制接口 4.4.1.2.5. TX流量控制接口
4.4.1.4. Avalon® Streaming TX接口 x
4.4.1.4.1. Avalon® Streaming TX Interface tx_st_ready_o行为
4.4.1.5. 标记分配 x
4.4.1.5.1. Completion Buffer Size
4.4.3. 中断接口 x
4.4.3.1. Legacy中断 4.4.3.2. MSI 4.4.3.3. MSI-X
4.4.3.3. MSI-X x
4.4.3.3.1. 实现MSI-X中断
4.4.8. 电源管理接口 x
4.4.8.1. D3Hot Entry（进入） 4.4.8.2. D3Hot Exit（退出） 4.4.8.3. D3Cold Entry 4.4.8.4. D3Cold Exit
4.4.8.2. D3Hot Exit（退出） x
4.4.8.2.1. Host发起的D3Hot Exit 4.4.8.2.2. EP发起的D3Hot Exit
4.5. PIPE Direct模式 x
4.5.1. 数据信号 4.5.2. 消息通道 4.5.3. 偏移校正通道 4.5.4. PIPE Direct复位序列 4.5.5. PIPE Direct速率变化 4.5.6. PIPE Lane复位交错（Staggering） 4.5.7. PIPE Direct模式中未使用的Lane
4.5.1. 数据信号 x
4.5.1.1. 发送信号 4.5.1.2. 接收信号
4.5.3. 偏移校正通道 x
4.5.3.1. MAC to PHY (M2P)信号 4.5.3.2. PHY to MAC (P2M)信号
5. 参数 x
5.1. 顶层设置 5.2. 内核参数
5.2. 内核参数 x
5.2.1. Avalon参数 5.2.2. 基地址寄存器 5.2.3. PCI Express和PCI Capabilities参数
5.2.3. PCI Express和PCI Capabilities参数 x
5.2.3.1. 器件Capabilities 5.2.3.2. VirtIO参数 5.2.3.3. 链路Capabilities 5.2.3.4. Legacy中断管脚寄存器 5.2.3.5. MSI Capabilities 5.2.3.6. MSI-X Capabilities 5.2.3.7. 插槽Capabilities 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. 器件序列号Capability 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. 电源管理 5.2.3.14. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)寄存器 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) Capabilities 5.2.3.17. Precision Time Management (PTM)
C. Endpoint模式下Address Translation Services（ATS）的实现 x
C.1. 发送Translated/Untranslated请求 C.2. 从Endpoint (EP)向Root Complex (RC)发送Page Request Message C.3. 验证Requests/Completions无效
D. TLP Bypass模式下转发到用户应用的数据包 x
D.1. EP TLP Bypass模式（上游） D.2. RC TLP Bypass模式（下游）
1. 有关R-tile Avalon® 流 Intel® FPGA IP用于PCI Express
2. IP架构和功能描述
3. 高级功能特性
4. 接口
5. 参数
6. 用于 PCI Express* 的 Intel® FPGA R-tile Avalon® Streaming IP用户指南存档
7. 用于PCI Express的Intel FPGA R-tile Avalon® Streaming IP用户指南文档修订历史
A. 配置空间寄存器
B. 根端口枚举
C. Endpoint模式下Address Translation Services（ATS）的实现
D. TLP Bypass模式下转发到用户应用的数据包

4.4.1.5.1. Completion Buffer Size

R-tile Hard IP for PCIe针对每个PCIe核的头（header）和数据实现Completion (Cpl)缓冲区。Endpoint模式中，当Completion credit为infinite（无限）时，用户应用程序需要管理待处理请求的数量，以避免溢出和丢失Completions。

表 56.  Completion缓冲区大小
Completion缓冲区 R0/R1 Suffix OPNs R2/R3 Suffix OPNs
深度 宽度 深度 宽度
Port 0 Cpl header 572 N/A 1444 N/A
Port 0 Cpl data 2016 512 2016 512
Port 1 Cpl header 572 N/A 1144 N/A
Port 1 Cpl data 2016 256 2016 256
Port 2 Cpl header 286 N/A 572 N/A
Port 2 Cpl data 1730 128 2016 128
Port 3 Cpl header 286 N/A 572 N/A
Port 3 Cpl data 1730 128 2016 128

Application Layer应该在有足够completion缓冲区容量时发送请求。对于Memory Read请求，允许Completer（事务接收端）将针对单个Read Request的响应拆分成多个Completions，因而Application Layer需要计算最多可能返回的Completion数量。.

以下是基于Memory Read请求大小和Read Completion Boundary (RCB)配置所需要的Completion缓冲区容量的几个示例。

表 57.  Completion缓冲区容量示例
存储器读（Memory Read）请求示例 需要的Completion缓冲区容量
Port 0 Port 1 Port 2/3
Header Data Header Data Header Data
地址为1_0000h，且长度为C0h字节（十进制192）的Memory Read请求可以由RCB值为64字节的Root Complex，通过如下Completion组合（字节）的其中之一来完成：
  • 192
  • 128, 64
  • 64, 128
  • 64, 64, 64 → 最大completion数
3 3 3 6 3 12
地址为1_0000h，且长度为C0h字节（十进制192）的Memory Read请求可以由RCB值为128字节的Root Complex，通过如下Completion组合（字节）的其中之一来完成：
  • 192
  • 128, 64 → 最大completion数
2 3 2 6 2 12
地址为1_0020h且长度为100h字节（十进制 256）的Memory Read请求可以由RCB值为64的Root Complex通过以下Completions 组合（字节）其中一个来完成：
  • 256
  • 32, 224
  • 32, 64, 160
  • 32, 64, 64, 96
  • 32, 64, 64, 64, 32 → 最大completion数
  • 32, 64, 128, 32
  • 32, 128, 96
  • 32, 128, 64, 32
  • 96, 160
  • 96, 128, 32
  • 96, 64, 96
  • 96, 64, 64, 32
  • 160, 96
  • 160, 64, 32
  • 224, 32
 5 4 5 8 5 16

基于上述表格中的示例，以下应用逻辑追踪Completion缓冲区容量的建议流程和对R-tile IP for PCIe安排NP Request的图示中提供有关应用逻辑中追踪completion缓冲区容量的建议流程，并基于此，为R-Tile Intel FPGA IP for PCI Express安排Non-Posted (NP)请求。

出于说明目的，应用逻辑追踪Completion缓冲区容量的建议流程和对R-tile IP for PCIe安排NP Request 显示的是以Gen5x16 (Port 0)配置的R-Tile Intel FPGA IP for PCIe express中，Application逻辑请求192 Bytesde Memory Read，并且得到从链路伙伴的响应中得到192 Bytes的单个完成。

具体流程如下：
  1. 当dl_up信号从LOW变为HIGH，Application逻辑根据上述CPL缓冲大小表格（Completion Buffer Size）中罗列的情况初始化可用的completion缓冲区容量。
  2. 当有NP请求添加到Application逻辑的传输队列中时，Completion Tracking逻辑计算该请求所需要的completion缓冲区容量，同时要考虑可能接收的最大completion数。本示例中，它是3个64 Bytes的completion。（请参阅Completion缓冲区容量示例中表格提供的示例）。
  3. Completion Tracking逻辑对比可用的completion缓冲区容量查看需要的completion缓冲容量。
  4. 如果有足够可用的缓冲区容量，则Application逻辑安排Memory Read请求的传输。
    1. Completion Tracking逻辑更新可用的completion header缓冲区容量。
    2. Completion Tracking逻辑更新可用的completion数据缓冲区容量。
  5. R-Tile Intel FPGA IP for PCI Express向链路伙伴发送NP TLP。
  6. 该链路伙伴通过单个192B数据负载的Completion响应该MRd请求。
  7. 当其Rx Queue中的Application Layer接收到Completion数据包后，
    1. 该Completion Tracking逻辑更新可用的completion header缓冲区容量。
    2. Completion Tracking逻辑更新可用的completion数据缓冲区容量。
  8. Completion Tracking逻辑验证接收到的Completion是否已完全完成该原始NP请求。
    1. 如果已完成该请求，则Completion Tracking逻辑根据先前分配给该请求的未使用容量调整可用的completion缓冲区容量。
    2. 如果步骤8和步骤8a中有多个Completion，Completion Tracking Logic将相应地更新每个接收到的completion缓冲区容量。
图 29. 应用逻辑追踪Completion缓冲区容量的建议流程和对R-tile IP for PCIe安排NP Request

二级标题