用于 PCIe* 解决方案的 Intel® Stratix® 10 Avalon® -ST和Single Root I/O Virtualization (SR-IOV)接口用户指南

下载 PDF
ID 683111
日期 12/06/2017
Public
文档目录
文档目录 x
1. 介绍 2. 快速入门指南 3. 接口概述 4. 参数 5. 使用IP Core进行设计 6. 模块描述 7. 中断 8. 寄存器 9. 测试台和设计实例 10. 故障排查与观察链路 A. PCI Express核架构 B. TX信用调整示例代码 C. 文档修订历史
1. 介绍 x
1.1. 用于PCIe包含可选SR-IOV的Avalon-ST接口简介(Avalon-ST Interface with Optional SR-IOV for PCIe Introduction) 1.2. 特性 1.3. 发布信息 1.4. 器件系列支持 1.5. 建议的速度等级 1.6. 性能和资源利用 1.7. 收发器瓦片(Transceiver Tiles) 1.8. PCI Express IP Core封装布局 1.9. 通道可用性
2. 快速入门指南 x
2.1. 设计组件 2.2. 目录结构 2.3. 生成设计实例 2.4. 仿真设计实例 2.5. 编译设计实例并为器件编程 2.6. 安装Linux Kernel Driver 2.7. 运行设计实例应用程序
3. 接口概述 x
3.1. Avalon-ST RX接口 3.2. Avalon-ST TX接口 3.3. TX信用接口(TX Credit Interface) 3.4. TX和RX串行数据 3.5. 时钟 3.6. 功能级复位接口(Function-Level Reset (FLR) Interface) 3.7. SR-IOV的控制阴影接口(Control Shadow Interface for SR-IOV) 3.8. 配置扩展总线接口(Configuration Extension Bus Interface) 3.9. Hard IP重配置接口 3.10. 中断接口 3.11. 电源管理接口(Power Management Interface) 3.12. 复位(Reset) 3.13. 传输层配置接口 3.14. PLL重配置接口 3.15. PIPE接口(仅适用于仿真)
4. 参数 x
4.1. Stratix 10 Avalon-ST设置 4.2. 多功能和SR-IOV系统设置 4.3. 基地址寄存器(Base Address Register) 4.4. 器件标识寄存器(Device Identification Register) 4.5. TPH/ATS功能 4.6. PCI Express和PCI性能参数 4.7. 配置，调试和扩展选项 4.8. PHY特征(PHY Characteristics) 4.9. Intel® Stratix® 10实例设计
4.6. PCI Express和PCI性能参数 x
4.6.1. 器件性能(Device Capabilities) 4.6.2. 链路Capability 4.6.3. MSI和MSI-X性能 4.6.4. 插槽Capability 4.6.5. 电源管理 4.6.6. Vendor Specific Extended Capability (VSEC，供应商指定扩展性能)
5. 使用IP Core进行设计 x
5.1. 生成（Generation） 5.2. 仿真 5.3. IP核生成输出( Intel® Quartus® Prime Pro Edition) 5.4. 综合与实现 5.5. 所要求的IP Core 5.6. 通道布局和PLL使用
5.2. 仿真 x
5.2.1. 选择串行或PIPE仿真
5.4. 综合与实现 x
5.4.1. 时钟要求 5.4.2. 复位要求
5.5. 所要求的IP Core x
5.5.1. Hard Reset Controller 5.5.2. TX PLL
6. 模块描述 x
6.1. 接口 6.2. Application Layer报告的错误 6.3. 功耗管理 6.4. 传输排序(Transaction Ordering) 6.5. RX Buffer
6.1. 接口 x
6.1.1. Avalon-ST RX和TX接口的TLP Header和Data对齐 6.1.2. Avalon-ST 256-Bit RX接口 6.1.3. Avalon-ST 512-Bit RX接口 6.1.4. Avalon-ST 256-Bit TX接口 6.1.5. Avalon-ST 512-Bit TX接口 6.1.6. TX信用接口(TX Credit Interface) 6.1.7. 解释TX信用接口(Interpreting the TX Credit Interface) 6.1.8. 时钟 6.1.9. 更新流程控制计时器和信用释放(Update Flow Control Timer and Credit Release) 6.1.10. 复位(Resets) 6.1.11. 功能级复位接口(Function-Level Reset (FLR) Interface) 6.1.12. 中断 6.1.13. SR-IOV的控制阴影接口(Control Shadow Interface for SR-IOV) 6.1.14. 传输层配置空间接口(Transaction Layer Configuration Space Interface) 6.1.15. 配置扩展总线接口(Configuration Extension Bus Interface) 6.1.16. 硬核IP状态接口(Hard IP Status Interface) 6.1.17. 串行数据接口 6.1.18. PIPE接口 6.1.19. Hard IP重配置 6.1.20. 功耗管理接口(Power Management Interface) 6.1.21. 测试接口 6.1.22. PLL IP重配置 6.1.23. 消息处理(Message Handling)
6.1.2. Avalon-ST 256-Bit RX接口 x
6.1.2.1. Avalon-ST RX接口三双字和四双字TLP (Avalon-ST Interface Three- and Four-Dword TLP) 6.1.2.2. 256-Bit接口的Avalon-ST RX接口rx_st_ready置低 6.1.2.3. Avalon-ST RX接口rx_st_valid置低 6.1.2.4. Avalon-ST RX背对背传输(Avalon-ST RX Back-to-Back Transmission) 6.1.2.5. Avalon-ST RX接口单周期TLP
6.1.3. Avalon-ST 512-Bit RX接口 x
6.1.3.1. 使用512-Bit接口的PCIe TLP布局
6.1.4. Avalon-ST 256-Bit TX接口 x
6.1.4.1. Avalon-ST TX Three- and Four-Dword TLPs 6.1.4.2. Avalon-ST TX接口tx_st_ready置低 6.1.4.3. Avalon-ST TX背对背传输(Avalon-ST TX Back-to-Back Transmission)
6.1.12. 中断 x
6.1.12.1. MSI和传统中断
6.1.23. 消息处理(Message Handling) x
6.1.23.1. 端点接收到的消息(Endpoint Received Messages) 6.1.23.2. 端点传输的消息(Endpoint Transmitted Messages) 6.1.23.3. 根端口收到的消息(Root Port Received Messages) 6.1.23.4. 根端口发送的消息(Root Port Transmitted Messages)
6.2. Application Layer报告的错误 x
6.2.1. 错误处理(Error Handling)
6.3. 功耗管理 x
6.3.1. Endpoint D3 Entry 6.3.2. End Point D3退出 6.3.3. 从D3 hot退出 6.3.4. 从D3 cold退出 6.3.5. 活动状态功耗管理(Active State Power Management)
6.4. 传输排序(Transaction Ordering) x
6.4.1. TX TLP排序 6.4.2. RX TLP排序
6.5. RX Buffer x
6.5.1. 重试缓存(Retry Buffer) 6.5.2. 配置重试状态(Configuration Retry Status)
7. 中断 x
7.1. 端点的中断
7.1. 端点的中断 x
7.1.1. MSI和传统中断 7.1.2. MSI-X 7.1.3. 实现MSI-X中断 7.1.4. 传统中断
8. 寄存器 x
8.1. 配置空间寄存器
8.1. 配置空间寄存器 x
8.1.1. 寄存器访问定义 8.1.2. PCI配置头（header）寄存器 8.1.3. PCI Express性能结构 8.1.4. Intel定义的VSEC Capability头 8.1.5. 通用控制和状态寄存器(General Purpose Control and Status Register) 8.1.6. 不可纠正的内部错误状态寄存器 8.1.7. 不可纠正的内部错误掩码寄存器 8.1.8. 可纠正的内部错误状态寄存器 8.1.9. 可纠正的内部错误掩码寄存器 8.1.10. SR-IOV虚拟化扩展功能寄存器地址映射(SR-IOV Virtualization Extended Capabilities Registers Address Map)
8.1.4. Intel定义的VSEC Capability头 x
8.1.4.1. Intel定义的供应商特定Header 8.1.4.2. Intel Marker 8.1.4.3. JTAG Silicon ID 8.1.4.4. 用户可配置器件和电路板ID
8.1.10. SR-IOV虚拟化扩展功能寄存器地址映射(SR-IOV Virtualization Extended Capabilities Registers Address Map) x
8.1.10.1. ARI Enhanced Capability Header 8.1.10.2. SR-IOV增强性能寄存器(SR-IOV Enhanced Capability Registers) 8.1.10.3. 初始VF和总共VF寄存器(Initial VFs and Total VFs Registers) 8.1.10.4. VF Device ID Register 8.1.10.5. Page Size Registers 8.1.10.6. VF基地址寄存器(BARs) 0-5 (VF Base Address Registers (BARs) 0-5) 8.1.10.7. Secondary PCI Express Extended Capability Header 8.1.10.8. 通道状态寄存器(Lane Status Registers) 8.1.10.9. Transaction Processing Hints (TPH) Requester Enhanced Capability Header 8.1.10.10. TPH Requester Capability Register 8.1.10.11. TPH Requester Control Register 8.1.10.12. Address Translation Services ATS Enhanced Capability Header 8.1.10.13. ATS Capability Register and ATS Control Register
9. 测试台和设计实例 x
9.1. 端点测试台(Endpoint Testbench) 9.2. 测试驱动器模块(Test Driver Module) 9.3. 根端口BFM概述(Root Port BFM Overview) 9.4. BFM处理过程与函数
9.1. 端点测试台(Endpoint Testbench) x
9.1.1. SR-IOV的端点测试台
9.3. 根端口BFM概述(Root Port BFM Overview) x
9.3.1. BFM存储器映射 9.3.2. 配置空间总线和器件编号 9.3.3. 根端口和端点的配置(Configuration of Root Port and Endpoint ) 9.3.4. 发出读写传输到应用层
9.4. BFM处理过程与函数 x
9.4.1. ebfm_barwr处理过程 9.4.2. ebfm_barwr_imm过程(ebfm_barwr_imm Procedure) 9.4.3. ebfm_barrd_wait处理过程 9.4.4. ebfm_barrd_nowt处理过程 9.4.5. ebfm_cfgwr_imm_wait过程(ebfm_cfgwr_imm_wait Procedure) 9.4.6. ebfm_cfgwr_imm_nowt处理过程 9.4.7. ebfm_cfgrd_wait处理过程 9.4.8. ebfm_cfgrd_nowt处理过程 9.4.9. BFM配置过程 9.4.10. BFM共享存储器访问过程 9.4.11. BFM日志和消息过程 9.4.12. Verilog HDL格式化函数
9.4.9. BFM配置过程 x
9.4.9.1. ebfm_cfg_rp_ep规程 9.4.9.2. ebfm_cfg_decode_bar处理过程
9.4.10. BFM共享存储器访问过程 x
9.4.10.1. 共享存储器常量 9.4.10.2. shmem_write任务 9.4.10.3. shmem_read函数 9.4.10.4. shmem_display Verilog HDL函数 9.4.10.5. shmem_fill处理过程 9.4.10.6. shmem_chk_ok函数
9.4.11. BFM日志和消息过程 x
9.4.11.1. ebfm_display Verilog HDL函数 9.4.11.2. ebfm_log_stop_sim Verilog HDL函数 9.4.11.3. ebfm_log_set_suppressed_msg_mask任务 9.4.11.4. ebfm_log_set_stop_on_msg_mask Verilog HDL任务 9.4.11.5. ebfm_log_open Verilog HDL函数 9.4.11.6. ebfm_log_close Verilog HDL函数
9.4.12. Verilog HDL格式化函数 x
9.4.12.1. himage1 9.4.12.2. himage2 9.4.12.3. himage4 9.4.12.4. himage8 9.4.12.5. himage16 9.4.12.6. dimage1 9.4.12.7. dimage2 9.4.12.8. dimage3 9.4.12.9. dimage4 9.4.12.10. dimage5 9.4.12.11. dimage6 9.4.12.12. dimage7
10. 故障排查与观察链路 x
10.1. 故障排查 10.2. PCIe链路检查工具概述
10.1. 故障排查 x
10.1.1. Polling.Active状态后仿真进程失败 10.1.2. 硬件启动问题 10.1.3. 链路训练 10.1.4. 链路在L0状态挂起(Link Hangs in L0 State) 10.1.5. 使用第三方PCIe分析程序 10.1.6. BIOS枚举问题
10.2. PCIe链路检查工具概述 x
10.2.1. PCIe* Link Inspector硬件
10.2.1. PCIe* Link Inspector硬件 x
10.2.1.1. 使能 PCIe* Link Inspector 10.2.1.2. 运行 PCIe* Link Inspector 10.2.1.3. PCIe* Link Inspector LTSSM监控工具 10.2.1.4. 访问配置空间和收发器寄存器 10.2.1.5. 其他状态命令
10.2.1.3. PCIe* Link Inspector LTSSM监控工具 x
10.2.1.3.1. LTSSM监控寄存器 10.2.1.3.2. ltssm_save2file <file_name> 10.2.1.3.3. ltssm_debug_check 10.2.1.3.4. ltssm_display <num_states>
10.2.1.4. 访问配置空间和收发器寄存器 x
10.2.1.4.1. PCIe* Link Inspector命令 10.2.1.4.2. ADME PLL和通道命令 10.2.1.4.3. 寄存器地址映射
10.2.1.5. 其他状态命令 x
10.2.1.5.1. 显示PLL锁定和校准状态寄存器
A. PCI Express核架构 x
A.1. 传输层(Transaction Layer) A.2. 数据链路层(Data Link Layer) A.3. 物理层(Physical Layer)
C. 文档修订历史 x
C.1. 用于 PCI Express* 解决方案的 Intel® Stratix® 10 Avalon® -ST和Single-Root I/O Virtualization (SR-IOV)接口用户指南的文档修订历史
1. 介绍
2. 快速入门指南
3. 接口概述
4. 参数
5. 使用IP Core进行设计
6. 模块描述
7. 中断
8. 寄存器
9. 测试台和设计实例
10. 故障排查与观察链路
A. PCI Express核架构
B. TX信用调整示例代码
C. 文档修订历史

9.3.3. 根端口和端点的配置(Configuration of Root Port and Endpoint )

在发出传输(transaction)到Endpoint之前,必须配置Root Port和Endpoint Configuration Space寄存器。

ebfm_cfg_rp_ep执行下面步骤来初始化Configuration Space：

  1. 设置Root Port Configuration Space以使Root Port在PCI Express链路上发送传输(transaction)。
  2. 按如下设置Root Port 和Endpoint PCI Express Capability Device Control寄存器：
    1. 在Root Port以及Endpoint中禁用Error Reporting 。BFM不具备错误处理能力。
    2. 在Root Port以及Endpoint中使能Relaxed Ordering。
    3. 对Endpoint使能Extended Tags，如果Endpoint具备此功能。
    4. 在Root Port以及Endpoint中禁用Phantom Functions，Aux Power PM和No Snoop。
    5. 将Max Payload Size设置成Endpoint支持的值，因为Root Port支持最大有效负载。
    6. 将Root Port Max Read Request Size设置成4 KB，因为实例Endpoint设计支持将读取拆分成所需任意数量的completion。
    7. 将Endpoint Max Read Request Size设置成等于Max Payload Size的值，因为Root Port不支持将读请求拆分成多个completion。
  3. 对所有的Endpoint BAR寄存器分配值。下面的算法用于分配BAR地址。
    1. 从刚高于I/O空间中的BFM共享存储器的结束地址开始，从最小值到最大值分配I/O BAR，如果需要，在整个32-bit I/O空间继续分配。
    2. 从刚高于存储器空间中的BFM共享存储器的结束地址开始，从最小值到最大值分配32-bit非预可取(non-prefetchable)的存储器BAR，如果需要，在整个32-bit I/O空间继续分配。
    3. ebfm_cfg_rp_ep的addr_map_4GB_limit输入的值控制32-bit和64-bit预可取的存储器BARS的分配。addr_map_4GB_limit的默认值0。

      如果ebfm_cfg_rp_ep的addr_map_4GB_limit输入的值设置为0，那么ebfm_cfg_rp_ep过程(procedure)从 32-bit存储空间的顶层开始，从最大值到最小值分配32-bit预可取的存储器BAR，并且按需要继续分配到最后32-bit非预可取BAR的结束地址。

      然而，如果addr_map_4GB_limit输入设置成1，那么地址映射被限制为4 GB。ebfm_cfg_rp_ep从最大值到最小值分配32-bit和64-bit预可取的存储器BAR，并且按需要继续分配到最后32-bit非预可取BAR的结束地址。

    4. 如果ebfm_cfg_rp_ep的addr_map_4GB_limit输入值设置为0，那么ebfm_cfg_rp_ep过程(procedure)从整个64-bit存储空间中4 GB地址分配存储器(超越4 GB限制)，从最小值到最大值分配64-bit预可取存储器BAR。

      如果ebfm_cfg_rp_ep的addr_map_4 GB_limit输入值设置为1，那么ebfm_cfg_rp_ep过程(procedure)从4 GB地址分配存储器开始，从最大值到最小值分配32-bit和64-bit预可取的存储器BAR，并且根据需要将低于4 GB地址降到32-bit非预可取BAR的结束地址。

      以上算法不能用于一些非常大的(1 GB或以上)32-bit BAR。虽然可以对所有的BAR分配地址，但可能需要更复杂的算法有效地分配这些地址。然而在实际的系统中，这样的配置是无用的。如果过程(procedure)不能分配BAR，那么它会显示一条错误信息并停止仿真。

  4. 根据以上BAR分配，ebfm_cfg_rp_ep过程(procedure)分配Root Port Configuration Space地址窗口以包含有效的BAR地址范围。
  5. ebfm_cfg_rp_ep过程(procedure)使能Endpoint PCIe* 控制寄存器中的主传输，存储器地址解码和I/O地址解码。

ebfm_cfg_rp_ep过程(procedure)也在BFM共享存储器中建立bar_table数据结构，此数据结构列出所有端点BAR的大小和分配地址。BFM共享存储器中的该区域是写保护的。因此，任何对此区域的应用逻辑写访问都会导致致命的仿真错误。

BFM过程(procedure)调用生成完整的 PCIe* 地址，用于BAR的特定偏移的读取和写入请求。此过程允许访问Endpoint应用逻辑的测试台代码使用BAR中的偏移，并避免跟踪分配给BAR的特定地址。下表显示了如何使用这些偏移。

表 84.  BAR表结构

Offset (字节)

说明

+0

BAR0中的PCI Express地址

+4

BAR1中的PCI Express地址

+8

BAR2中的PCI Express地址

+12

BAR3中的PCI Express地址

+16

BAR4中的PCI Express地址

+20

BAR5中的PCI Express地址

+24

Expansion ROM BAR中的PCI Express地址

+28

保留

+32

用全部1写入后的BAR0读回值(用于计算大小)

+36

用全部1写入后的BAR1读回值

+40

用全部1写入后的BAR2读回值

+44

用全部1写入后的BAR3读回值

+48

用全部1写入后的BAR4读回值

+52

用全部1写入后的BAR5读回值

+56

用全部1写入后的Expansion ROM BAR读回值

+60

保留

配置例行程序不配置任何高级PCI Express功能，例如AER功能。

Besides the ebfm_cfg_rp_ep procedure in altpcietb_bfm_rp_gen3_x8.sv, routines to read and write Endpoint Configuration Space registers directly are available in the Verilog HDL include file. After the ebfm_cfg_rp_ep procedure runs the PCI Express I/O and Memory Spaces have the layout shown in the following three figures. The memory space layout depends on the value of the addr_map_4GB_limit input parameter. The following figure shows the resulting memory space map when the addr_map_4GB_limit is 1.

图 73. 存储器空间布局—4 GB限制

下图显示了addr_map_4GB_limit为0时的存储器空间映射。

图 74. 存储器空间布局—无限制

下图显示了I/O地址空间。

图 75. I/O地址空间
二级标题