多佇列網卡是一種技術,最初是用來解決網路IO QoS (quality of service)問題的,後來隨著網路IO的頻寬的不斷提升,單核心CPU不能完全處滿足網路卡的需求,透過多隊列網卡驅動的支持,將各個隊列透過中斷綁定到不同的核上,以滿足網卡的需求。
常見的有Intel的82575、82576,Boardcom的57711等,下面以公司的伺服器使用較多的Intel 82575網卡為例,分析一下多隊列網卡的硬體的實現以及linux核心軟體的支持。
圖1.1是Intel 82575硬體邏輯圖,有四個硬體佇列。當收到訊息時,透過hash包頭的SIP、Sport、DIP、Dport四元組,將一條流總是收到相同的佇列。同時觸發與該佇列綁定的中斷。
圖1.1 82575硬體邏輯圖
RSS(Receive Side Scaling)是一種能夠在多處理器系統下使接收封包在多個CPU之間高效分發的網路卡驅動技術。
網卡對接收到的封包進行解析,取得IP位址、協定和連接埠五元組資訊
網路卡透過設定的HASH函數根據五元組資訊計算出HASH值,也可以根據二、三或四元組進行計算。
取HASH值的低幾位(這個具體網卡可能不同)作為RETA(redirection table)的索引
根據RETA中存儲的值分發到對應的CPU
下圖描述了完整的處理流程:
基於RSS技術程式可以透過硬體在多個CPU之間來分發數據流,並且可以透過對RETA的修改來實現動態的負載平衡。
DPDK支援設定靜態hash值和設定RETA。 不過DPDK中RSS是基於連接埠的,並根據連接埠的接收佇列進行封包分發的。 例如我們在一個連接埠上配置了3個接收佇列(0,1,2)並開啟了RSS,那麼中就是這樣的:
{0,1,2,0,1,2,0 .........}
運行在不同CPU的應用程式就從不同的接收佇列接收報文,這樣就達到了報文分發的效果。
在DPDK中透過設定rte_eth_conf
中的mq_mode
欄位來開啟RSS功能,rx_mode.mq_mode = ETH_MQ_RX_RSS
。
當RSS功能開啟後,封包對應的rte_pktmbuf
中就會存有RSS計算的hash值,可以透過pktmbuf.hash.rss
來存取。 這個值可以直接用在後續封包處理過程中而不需要重新計算hash值,如快速轉發,標識封包流等。
RETA是運行時可配置的,這樣應用程式就可以動態改變CPU對應的接收佇列,從而動態調節封包分發。 具體透過PMD模組的驅動進行配置,例如ixgbe_dev_rss_reta_update
和ixgbe_dev_rss_reta_query
。
以上是網路卡多隊列技術與RSS功能的詳細介紹的詳細內容。更多資訊請關注PHP中文網其他相關文章!