178 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_inc_wr_ptr()  local
179 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_inc_wr_ptr()
209 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_check_wrptr()  local
210 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_check_wrptr()
237 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_restock()  local
238 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_restock()
287 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_alloc_page()  local
288 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_alloc_page()
295 	if (trans_pcie->rx_page_order > 0)  in iwl_pcie_rx_alloc_page()
299 	page = alloc_pages(gfp_mask, trans_pcie->rx_page_order);  in iwl_pcie_rx_alloc_page()
303 				       trans_pcie->rx_page_order);  in iwl_pcie_rx_alloc_page()
330 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_alloc_rbs()  local
331 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_alloc_rbs()
352 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
365 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rxq_alloc_rbs()
372 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
391 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_free_rbs()  local
392 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_free_rbs()
401 			       PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rxq_free_rbs()
403 		__free_pages(rxq->pool[i].page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_free_rbs()
431 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_allocator()  local
432 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_allocator()
473 					PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_allocator()
477 				__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rx_allocator()
524 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_allocator_get()  local
525 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_allocator_get()
555 	struct iwl_trans_pcie *trans_pcie =  in iwl_pcie_rx_allocator_work()  local
558 	iwl_pcie_rx_allocator(trans_pcie->trans);  in iwl_pcie_rx_allocator_work()
563 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_alloc()  local
564 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_alloc()
565 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_alloc()
568 	memset(&trans_pcie->rxq, 0, sizeof(trans_pcie->rxq));  in iwl_pcie_rx_alloc()
601 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_hw_init()  local
605 	if (trans_pcie->rx_buf_size_8k)  in iwl_pcie_rx_hw_init()
682 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_free_rba()  local
683 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_free_rba()
692 			       PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_free_rba()
694 		__free_pages(rba->pool[i].page, trans_pcie->rx_page_order);  in iwl_pcie_rx_free_rba()
701 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_init()  local
702 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_init()
703 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_init()
753 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_free()  local
754 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_free()
755 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_free()
803 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_reuse_rbd()  local
804 	struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_reuse_rbd()
837 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle_rb()  local
838 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_handle_rb()
839 	struct iwl_txq *txq = &trans_pcie->txq[trans_pcie->cmd_queue];  in iwl_pcie_rx_handle_rb()
841 	int max_len = PAGE_SIZE << trans_pcie->rx_page_order;  in iwl_pcie_rx_handle_rb()
856 			._rx_page_order = trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
870 			     get_cmd_string(trans_pcie, pkt->hdr.cmd),  in iwl_pcie_rx_handle_rb()
888 			for (i = 0; i < trans_pcie->n_no_reclaim_cmds; i++) {  in iwl_pcie_rx_handle_rb()
889 				if (trans_pcie->no_reclaim_cmds[i] ==  in iwl_pcie_rx_handle_rb()
901 		iwl_op_mode_rx(trans->op_mode, &trans_pcie->napi, &rxcb);  in iwl_pcie_rx_handle_rb()
930 		__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
940 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
948 			__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
964 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle()  local
965 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_handle()
998 			struct iwl_rb_allocator *rba = &trans_pcie->rba;  in iwl_pcie_rx_handle()
1070 	if (trans_pcie->napi.poll)  in iwl_pcie_rx_handle()
1071 		napi_gro_flush(&trans_pcie->napi, false);  in iwl_pcie_rx_handle()
1079 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handle_error()  local
1091 		wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
1105 		del_timer(&trans_pcie->txq[i].stuck_timer);  in iwl_pcie_irq_handle_error()
1108 	wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
1141 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_int_cause_ict()  local
1151 	read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
1152 	trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
1163 				trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
1164 		trans_pcie->ict_tbl[trans_pcie->ict_index] = 0;  in iwl_pcie_int_cause_ict()
1165 		trans_pcie->ict_index =  in iwl_pcie_int_cause_ict()
1166 			((trans_pcie->ict_index + 1) & (ICT_COUNT - 1));  in iwl_pcie_int_cause_ict()
1168 		read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
1169 		trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index,  in iwl_pcie_int_cause_ict()
1194 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handler()  local
1195 	struct isr_statistics *isr_stats = &trans_pcie->isr_stats;  in iwl_pcie_irq_handler()
1201 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1206 	if (likely(trans_pcie->use_ict))  in iwl_pcie_irq_handler()
1214 			      inta, trans_pcie->inta_mask,  in iwl_pcie_irq_handler()
1217 		if (inta & (~trans_pcie->inta_mask))  in iwl_pcie_irq_handler()
1220 				      inta & (~trans_pcie->inta_mask));  in iwl_pcie_irq_handler()
1223 	inta &= trans_pcie->inta_mask;  in iwl_pcie_irq_handler()
1238 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1249 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1264 	iwl_write32(trans, CSR_INT, inta | ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
1270 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1315 		mutex_lock(&trans_pcie->mutex);  in iwl_pcie_irq_handler()
1317 		mutex_unlock(&trans_pcie->mutex);  in iwl_pcie_irq_handler()
1324 			wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handler()
1415 		trans_pcie->ucode_write_complete = true;  in iwl_pcie_irq_handler()
1416 		wake_up(&trans_pcie->ucode_write_waitq);  in iwl_pcie_irq_handler()
1424 	if (inta & ~(trans_pcie->inta_mask)) {  in iwl_pcie_irq_handler()
1426 			 inta & ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
1451 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_free_ict()  local
1453 	if (trans_pcie->ict_tbl) {  in iwl_pcie_free_ict()
1455 				  trans_pcie->ict_tbl,  in iwl_pcie_free_ict()
1456 				  trans_pcie->ict_tbl_dma);  in iwl_pcie_free_ict()
1457 		trans_pcie->ict_tbl = NULL;  in iwl_pcie_free_ict()
1458 		trans_pcie->ict_tbl_dma = 0;  in iwl_pcie_free_ict()
1469 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_alloc_ict()  local
1471 	trans_pcie->ict_tbl =  in iwl_pcie_alloc_ict()
1473 				   &trans_pcie->ict_tbl_dma,  in iwl_pcie_alloc_ict()
1475 	if (!trans_pcie->ict_tbl)  in iwl_pcie_alloc_ict()
1479 	if (WARN_ON(trans_pcie->ict_tbl_dma & (ICT_SIZE - 1))) {  in iwl_pcie_alloc_ict()
1485 		      (unsigned long long)trans_pcie->ict_tbl_dma,  in iwl_pcie_alloc_ict()
1486 		      trans_pcie->ict_tbl);  in iwl_pcie_alloc_ict()
1496 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_reset_ict()  local
1499 	if (!trans_pcie->ict_tbl)  in iwl_pcie_reset_ict()
1502 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1505 	memset(trans_pcie->ict_tbl, 0, ICT_SIZE);  in iwl_pcie_reset_ict()
1507 	val = trans_pcie->ict_tbl_dma >> ICT_SHIFT;  in iwl_pcie_reset_ict()
1516 	trans_pcie->use_ict = true;  in iwl_pcie_reset_ict()
1517 	trans_pcie->ict_index = 0;  in iwl_pcie_reset_ict()
1518 	iwl_write32(trans, CSR_INT, trans_pcie->inta_mask);  in iwl_pcie_reset_ict()
1520 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1526 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_disable_ict()  local
1528 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()
1529 	trans_pcie->use_ict = false;  in iwl_pcie_disable_ict()
1530 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()