xdp_rxq 2785 drivers/net/ethernet/broadcom/bnxt/bnxt.c if (xdp_rxq_info_is_reg(&rxr->xdp_rxq)) xdp_rxq 2786 drivers/net/ethernet/broadcom/bnxt/bnxt.c xdp_rxq_info_unreg(&rxr->xdp_rxq); xdp_rxq 2842 drivers/net/ethernet/broadcom/bnxt/bnxt.c rc = xdp_rxq_info_reg(&rxr->xdp_rxq, bp->dev, i); xdp_rxq 2846 drivers/net/ethernet/broadcom/bnxt/bnxt.c rc = xdp_rxq_info_reg_mem_model(&rxr->xdp_rxq, xdp_rxq 2850 drivers/net/ethernet/broadcom/bnxt/bnxt.c xdp_rxq_info_unreg(&rxr->xdp_rxq); xdp_rxq 898 drivers/net/ethernet/broadcom/bnxt/bnxt.h struct xdp_rxq_info xdp_rxq; xdp_rxq 140 drivers/net/ethernet/broadcom/bnxt/bnxt_xdp.c xdp.rxq = &rxr->xdp_rxq; xdp_rxq 555 drivers/net/ethernet/cavium/thunder/nicvf_main.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 759 drivers/net/ethernet/cavium/thunder/nicvf_queues.c xdp_rxq_info_unreg(&rq->xdp_rxq); xdp_rxq 773 drivers/net/ethernet/cavium/thunder/nicvf_queues.c WARN_ON(xdp_rxq_info_reg(&rq->xdp_rxq, nic->netdev, qidx) < 0); xdp_rxq 252 drivers/net/ethernet/cavium/thunder/nicvf_queues.h struct xdp_rxq_info xdp_rxq; xdp_rxq 299 drivers/net/ethernet/freescale/dpaa2/dpaa2-eth.c xdp.rxq = &ch->xdp_rxq; xdp_rxq 2711 drivers/net/ethernet/freescale/dpaa2/dpaa2-eth.c err = xdp_rxq_info_reg(&fq->channel->xdp_rxq, priv->net_dev, xdp_rxq 2718 drivers/net/ethernet/freescale/dpaa2/dpaa2-eth.c err = xdp_rxq_info_reg_mem_model(&fq->channel->xdp_rxq, xdp_rxq 340 drivers/net/ethernet/freescale/dpaa2/dpaa2-eth.h struct xdp_rxq_info xdp_rxq; xdp_rxq 2067 drivers/net/ethernet/intel/i40e/i40e_ethtool.c memset(&rx_rings[i].xdp_rxq, 0, sizeof(rx_rings[i].xdp_rxq)); xdp_rxq 3261 drivers/net/ethernet/intel/i40e/i40e_main.c xdp_rxq_info_unreg_mem_model(&ring->xdp_rxq); xdp_rxq 3273 drivers/net/ethernet/intel/i40e/i40e_main.c ret = xdp_rxq_info_reg_mem_model(&ring->xdp_rxq, xdp_rxq 3285 drivers/net/ethernet/intel/i40e/i40e_main.c ret = xdp_rxq_info_reg_mem_model(&ring->xdp_rxq, xdp_rxq 1412 drivers/net/ethernet/intel/i40e/i40e_txrx.c xdp_rxq_info_unreg(&rx_ring->xdp_rxq); xdp_rxq 1463 drivers/net/ethernet/intel/i40e/i40e_txrx.c err = xdp_rxq_info_reg(&rx_ring->xdp_rxq, rx_ring->netdev, xdp_rxq 2338 drivers/net/ethernet/intel/i40e/i40e_txrx.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 420 drivers/net/ethernet/intel/i40e/i40e_txrx.h struct xdp_rxq_info xdp_rxq; xdp_rxq 539 drivers/net/ethernet/intel/i40e/i40e_xsk.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 352 drivers/net/ethernet/intel/ixgbe/ixgbe.h struct xdp_rxq_info xdp_rxq; xdp_rxq 1145 drivers/net/ethernet/intel/ixgbe/ixgbe_ethtool.c memset(&temp_ring[i].xdp_rxq, 0, xdp_rxq 1146 drivers/net/ethernet/intel/ixgbe/ixgbe_ethtool.c sizeof(temp_ring[i].xdp_rxq)); xdp_rxq 2291 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 4074 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c xdp_rxq_info_unreg_mem_model(&ring->xdp_rxq); xdp_rxq 4078 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c WARN_ON(xdp_rxq_info_reg_mem_model(&ring->xdp_rxq, xdp_rxq 4083 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c WARN_ON(xdp_rxq_info_reg_mem_model(&ring->xdp_rxq, xdp_rxq 6575 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c if (xdp_rxq_info_reg(&rx_ring->xdp_rxq, adapter->netdev, xdp_rxq 6676 drivers/net/ethernet/intel/ixgbe/ixgbe_main.c xdp_rxq_info_unreg(&rx_ring->xdp_rxq); xdp_rxq 439 drivers/net/ethernet/intel/ixgbe/ixgbe_xsk.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 339 drivers/net/ethernet/intel/ixgbevf/ethtool.c memset(&rx_ring[i].xdp_rxq, 0, xdp_rxq 340 drivers/net/ethernet/intel/ixgbevf/ethtool.c sizeof(rx_ring[i].xdp_rxq)); xdp_rxq 115 drivers/net/ethernet/intel/ixgbevf/ixgbevf.h struct xdp_rxq_info xdp_rxq; xdp_rxq 1126 drivers/net/ethernet/intel/ixgbevf/ixgbevf_main.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 3484 drivers/net/ethernet/intel/ixgbevf/ixgbevf_main.c if (xdp_rxq_info_reg(&rx_ring->xdp_rxq, adapter->netdev, xdp_rxq 3539 drivers/net/ethernet/intel/ixgbevf/ixgbevf_main.c xdp_rxq_info_unreg(&rx_ring->xdp_rxq); xdp_rxq 286 drivers/net/ethernet/mellanox/mlx4/en_rx.c if (xdp_rxq_info_reg(&ring->xdp_rxq, priv->dev, queue_index) < 0) xdp_rxq 318 drivers/net/ethernet/mellanox/mlx4/en_rx.c xdp_rxq_info_unreg(&ring->xdp_rxq); xdp_rxq 442 drivers/net/ethernet/mellanox/mlx4/en_rx.c xdp_rxq_info_unreg(&ring->xdp_rxq); xdp_rxq 685 drivers/net/ethernet/mellanox/mlx4/en_rx.c xdp.rxq = &ring->xdp_rxq; xdp_rxq 362 drivers/net/ethernet/mellanox/mlx4/mlx4_en.h struct xdp_rxq_info xdp_rxq; xdp_rxq 699 drivers/net/ethernet/mellanox/mlx5/core/en.h struct xdp_rxq_info xdp_rxq; xdp_rxq 139 drivers/net/ethernet/mellanox/mlx5/core/en/xdp.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 421 drivers/net/ethernet/mellanox/mlx5/core/en_main.c err = xdp_rxq_info_reg(&rq->xdp_rxq, rq->netdev, rq_xdp_ix); xdp_rxq 543 drivers/net/ethernet/mellanox/mlx5/core/en_main.c err = xdp_rxq_info_reg_mem_model(&rq->xdp_rxq, xdp_rxq 566 drivers/net/ethernet/mellanox/mlx5/core/en_main.c err = xdp_rxq_info_reg_mem_model(&rq->xdp_rxq, xdp_rxq 634 drivers/net/ethernet/mellanox/mlx5/core/en_main.c xdp_rxq_info_unreg(&rq->xdp_rxq); xdp_rxq 669 drivers/net/ethernet/mellanox/mlx5/core/en_main.c xdp_rxq_info_unreg(&rq->xdp_rxq); xdp_rxq 3133 drivers/net/ethernet/mellanox/mlx5/core/en_main.c xdp_rxq_info_unused(&rq->xdp_rxq); xdp_rxq 346 drivers/net/ethernet/netronome/nfp/nfp_net.h struct xdp_rxq_info xdp_rxq; xdp_rxq 1818 drivers/net/ethernet/netronome/nfp/nfp_net_common.c xdp.rxq = &rx_ring->xdp_rxq; xdp_rxq 2503 drivers/net/ethernet/netronome/nfp/nfp_net_common.c xdp_rxq_info_unreg(&rx_ring->xdp_rxq); xdp_rxq 2530 drivers/net/ethernet/netronome/nfp/nfp_net_common.c err = xdp_rxq_info_reg(&rx_ring->xdp_rxq, dp->netdev, xdp_rxq 376 drivers/net/ethernet/qlogic/qede/qede.h struct xdp_rxq_info xdp_rxq; xdp_rxq 1068 drivers/net/ethernet/qlogic/qede/qede_fp.c xdp.rxq = &rxq->xdp_rxq; xdp_rxq 852 drivers/net/ethernet/qlogic/qede/qede_main.c if (fp->rxq && xdp_rxq_info_is_reg(&fp->rxq->xdp_rxq)) xdp_rxq 853 drivers/net/ethernet/qlogic/qede/qede_main.c xdp_rxq_info_unreg(&fp->rxq->xdp_rxq); xdp_rxq 1680 drivers/net/ethernet/qlogic/qede/qede_main.c WARN_ON(xdp_rxq_info_reg(&fp->rxq->xdp_rxq, edev->ndev, xdp_rxq 286 drivers/net/ethernet/socionext/netsec.c struct xdp_rxq_info xdp_rxq; xdp_rxq 997 drivers/net/ethernet/socionext/netsec.c xdp.rxq = &dring->xdp_rxq; xdp_rxq 1204 drivers/net/ethernet/socionext/netsec.c if (xdp_rxq_info_is_reg(&dring->xdp_rxq)) xdp_rxq 1205 drivers/net/ethernet/socionext/netsec.c xdp_rxq_info_unreg(&dring->xdp_rxq); xdp_rxq 1292 drivers/net/ethernet/socionext/netsec.c err = xdp_rxq_info_reg(&dring->xdp_rxq, priv->ndev, 0); xdp_rxq 1296 drivers/net/ethernet/socionext/netsec.c err = xdp_rxq_info_reg_mem_model(&dring->xdp_rxq, MEM_TYPE_PAGE_POOL, xdp_rxq 583 drivers/net/ethernet/ti/cpsw.c rxq = &priv->xdp_rxq[ch]; xdp_rxq 598 drivers/net/ethernet/ti/cpsw.c struct xdp_rxq_info *rxq = &priv->xdp_rxq[ch]; xdp_rxq 736 drivers/net/ethernet/ti/cpsw.c xdp.rxq = &priv->xdp_rxq[ch]; xdp_rxq 366 drivers/net/ethernet/ti/cpsw_priv.h struct xdp_rxq_info xdp_rxq[CPSW_MAX_QUEUES]; xdp_rxq 178 drivers/net/tun.c struct xdp_rxq_info xdp_rxq; xdp_rxq 726 drivers/net/tun.c xdp_rxq_info_unreg(&tfile->xdp_rxq); xdp_rxq 774 drivers/net/tun.c xdp_rxq_info_unreg(&tfile->xdp_rxq); xdp_rxq 780 drivers/net/tun.c xdp_rxq_info_unreg(&tfile->xdp_rxq); xdp_rxq 837 drivers/net/tun.c WARN_ON(!xdp_rxq_info_is_reg(&tfile->xdp_rxq)); xdp_rxq 839 drivers/net/tun.c if (tfile->xdp_rxq.queue_index != tfile->queue_index) xdp_rxq 840 drivers/net/tun.c tfile->xdp_rxq.queue_index = tfile->queue_index; xdp_rxq 843 drivers/net/tun.c err = xdp_rxq_info_reg(&tfile->xdp_rxq, xdp_rxq 847 drivers/net/tun.c err = xdp_rxq_info_reg_mem_model(&tfile->xdp_rxq, xdp_rxq 850 drivers/net/tun.c xdp_rxq_info_unreg(&tfile->xdp_rxq); xdp_rxq 1710 drivers/net/tun.c xdp.rxq = &tfile->xdp_rxq; xdp_rxq 2452 drivers/net/tun.c xdp->rxq = &tfile->xdp_rxq; xdp_rxq 58 drivers/net/veth.c struct xdp_rxq_info xdp_rxq; xdp_rxq 530 drivers/net/veth.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 658 drivers/net/veth.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 854 drivers/net/veth.c if (!xdp_rxq_info_is_reg(&priv->rq[0].xdp_rxq)) { xdp_rxq 858 drivers/net/veth.c err = xdp_rxq_info_reg(&rq->xdp_rxq, dev, i); xdp_rxq 862 drivers/net/veth.c err = xdp_rxq_info_reg_mem_model(&rq->xdp_rxq, xdp_rxq 869 drivers/net/veth.c rq->xdp_mem = rq->xdp_rxq.mem; xdp_rxq 882 drivers/net/veth.c xdp_rxq_info_unreg(&priv->rq[i].xdp_rxq); xdp_rxq 885 drivers/net/veth.c xdp_rxq_info_unreg(&priv->rq[i].xdp_rxq); xdp_rxq 901 drivers/net/veth.c rq->xdp_rxq.mem = rq->xdp_mem; xdp_rxq 902 drivers/net/veth.c xdp_rxq_info_unreg(&rq->xdp_rxq); xdp_rxq 162 drivers/net/virtio_net.c struct xdp_rxq_info xdp_rxq; xdp_rxq 688 drivers/net/virtio_net.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 844 drivers/net/virtio_net.c xdp.rxq = &rq->xdp_rxq; xdp_rxq 1462 drivers/net/virtio_net.c err = xdp_rxq_info_reg(&vi->rq[i].xdp_rxq, dev, i); xdp_rxq 1466 drivers/net/virtio_net.c err = xdp_rxq_info_reg_mem_model(&vi->rq[i].xdp_rxq, xdp_rxq 1469 drivers/net/virtio_net.c xdp_rxq_info_unreg(&vi->rq[i].xdp_rxq); xdp_rxq 1810 drivers/net/virtio_net.c xdp_rxq_info_unreg(&vi->rq[i].xdp_rxq); xdp_rxq 745 include/linux/netdevice.h struct xdp_rxq_info xdp_rxq; xdp_rxq 147 include/net/xdp.h int xdp_rxq_info_reg(struct xdp_rxq_info *xdp_rxq, xdp_rxq 149 include/net/xdp.h void xdp_rxq_info_unreg(struct xdp_rxq_info *xdp_rxq); xdp_rxq 150 include/net/xdp.h void xdp_rxq_info_unused(struct xdp_rxq_info *xdp_rxq); xdp_rxq 151 include/net/xdp.h bool xdp_rxq_info_is_reg(struct xdp_rxq_info *xdp_rxq); xdp_rxq 152 include/net/xdp.h int xdp_rxq_info_reg_mem_model(struct xdp_rxq_info *xdp_rxq, xdp_rxq 154 include/net/xdp.h void xdp_rxq_info_unreg_mem_model(struct xdp_rxq_info *xdp_rxq); xdp_rxq 366 net/bpf/test_run.c xdp.rxq = &rxqueue->xdp_rxq; xdp_rxq 4282 net/core/dev.c xdp->rxq = &rxqueue->xdp_rxq; xdp_rxq 8865 net/core/dev.c err = xdp_rxq_info_reg(&rx[i].xdp_rxq, dev, i); xdp_rxq 8874 net/core/dev.c xdp_rxq_info_unreg(&rx[i].xdp_rxq); xdp_rxq 8889 net/core/dev.c xdp_rxq_info_unreg(&dev->_rx[i].xdp_rxq); xdp_rxq 137 net/core/xdp.c void xdp_rxq_info_unreg_mem_model(struct xdp_rxq_info *xdp_rxq) xdp_rxq 140 net/core/xdp.c int id = xdp_rxq->mem.id; xdp_rxq 142 net/core/xdp.c if (xdp_rxq->reg_state != REG_STATE_REGISTERED) { xdp_rxq 150 net/core/xdp.c if (xdp_rxq->mem.type == MEM_TYPE_ZERO_COPY) xdp_rxq 153 net/core/xdp.c if (xdp_rxq->mem.type == MEM_TYPE_PAGE_POOL) { xdp_rxq 162 net/core/xdp.c void xdp_rxq_info_unreg(struct xdp_rxq_info *xdp_rxq) xdp_rxq 165 net/core/xdp.c if (xdp_rxq->reg_state == REG_STATE_UNUSED) xdp_rxq 168 net/core/xdp.c WARN(!(xdp_rxq->reg_state == REG_STATE_REGISTERED), "Driver BUG"); xdp_rxq 170 net/core/xdp.c xdp_rxq_info_unreg_mem_model(xdp_rxq); xdp_rxq 172 net/core/xdp.c xdp_rxq->reg_state = REG_STATE_UNREGISTERED; xdp_rxq 173 net/core/xdp.c xdp_rxq->dev = NULL; xdp_rxq 176 net/core/xdp.c xdp_rxq->mem.id = 0; xdp_rxq 177 net/core/xdp.c xdp_rxq->mem.type = 0; xdp_rxq 181 net/core/xdp.c static void xdp_rxq_info_init(struct xdp_rxq_info *xdp_rxq) xdp_rxq 183 net/core/xdp.c memset(xdp_rxq, 0, sizeof(*xdp_rxq)); xdp_rxq 187 net/core/xdp.c int xdp_rxq_info_reg(struct xdp_rxq_info *xdp_rxq, xdp_rxq 190 net/core/xdp.c if (xdp_rxq->reg_state == REG_STATE_UNUSED) { xdp_rxq 195 net/core/xdp.c if (xdp_rxq->reg_state == REG_STATE_REGISTERED) { xdp_rxq 197 net/core/xdp.c xdp_rxq_info_unreg(xdp_rxq); xdp_rxq 206 net/core/xdp.c xdp_rxq_info_init(xdp_rxq); xdp_rxq 207 net/core/xdp.c xdp_rxq->dev = dev; xdp_rxq 208 net/core/xdp.c xdp_rxq->queue_index = queue_index; xdp_rxq 210 net/core/xdp.c xdp_rxq->reg_state = REG_STATE_REGISTERED; xdp_rxq 215 net/core/xdp.c void xdp_rxq_info_unused(struct xdp_rxq_info *xdp_rxq) xdp_rxq 217 net/core/xdp.c xdp_rxq->reg_state = REG_STATE_UNUSED; xdp_rxq 221 net/core/xdp.c bool xdp_rxq_info_is_reg(struct xdp_rxq_info *xdp_rxq) xdp_rxq 223 net/core/xdp.c return (xdp_rxq->reg_state == REG_STATE_REGISTERED); xdp_rxq 289 net/core/xdp.c int xdp_rxq_info_reg_mem_model(struct xdp_rxq_info *xdp_rxq, xdp_rxq 297 net/core/xdp.c if (xdp_rxq->reg_state != REG_STATE_REGISTERED) { xdp_rxq 305 net/core/xdp.c xdp_rxq->mem.type = type; xdp_rxq 334 net/core/xdp.c xdp_rxq->mem.id = id; xdp_rxq 335 net/core/xdp.c xdp_alloc->mem = xdp_rxq->mem; xdp_rxq 341 net/core/xdp.c ida_simple_remove(&mem_id_pool, xdp_rxq->mem.id); xdp_rxq 342 net/core/xdp.c xdp_rxq->mem.id = 0; xdp_rxq 352 net/core/xdp.c trace_mem_connect(xdp_alloc, xdp_rxq);