151 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_inc_wr_ptr()  local
152 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_inc_wr_ptr()
182 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_check_wrptr()  local
183 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_check_wrptr()
210 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_restock()  local
211 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_restock()
246 		schedule_work(&trans_pcie->rx_replenish);  in iwl_pcie_rxq_restock()
268 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_alloc_rbs()  local
269 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_alloc_rbs()
285 		if (trans_pcie->rx_page_order > 0)  in iwl_pcie_rxq_alloc_rbs()
289 		page = alloc_pages(gfp_mask, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
294 					   trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
313 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
326 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rxq_alloc_rbs()
333 			__free_pages(page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_alloc_rbs()
352 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rxq_free_rbs()  local
353 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rxq_free_rbs()
362 			       PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rxq_free_rbs()
364 		__free_pages(rxq->pool[i].page, trans_pcie->rx_page_order);  in iwl_pcie_rxq_free_rbs()
386 	struct iwl_trans_pcie *trans_pcie =  in iwl_pcie_rx_replenish_work()  local
389 	iwl_pcie_rx_replenish(trans_pcie->trans, GFP_KERNEL);  in iwl_pcie_rx_replenish_work()
394 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_alloc()  local
395 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_alloc()
398 	memset(&trans_pcie->rxq, 0, sizeof(trans_pcie->rxq));  in iwl_pcie_rx_alloc()
430 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_hw_init()  local
434 	if (trans_pcie->rx_buf_size_8k)  in iwl_pcie_rx_hw_init()
497 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_init()  local
498 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_init()
509 	INIT_WORK(&trans_pcie->rx_replenish, iwl_pcie_rx_replenish_work);  in iwl_pcie_rx_init()
538 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_free()  local
539 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_free()
548 	cancel_work_sync(&trans_pcie->rx_replenish);  in iwl_pcie_rx_free()
572 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle_rb()  local
573 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_handle_rb()
574 	struct iwl_txq *txq = &trans_pcie->txq[trans_pcie->cmd_queue];  in iwl_pcie_rx_handle_rb()
576 	int max_len = PAGE_SIZE << trans_pcie->rx_page_order;  in iwl_pcie_rx_handle_rb()
592 			._rx_page_order = trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
606 			     get_cmd_string(trans_pcie, pkt->hdr.cmd),  in iwl_pcie_rx_handle_rb()
624 			for (i = 0; i < trans_pcie->n_no_reclaim_cmds; i++) {  in iwl_pcie_rx_handle_rb()
625 				if (trans_pcie->no_reclaim_cmds[i] ==  in iwl_pcie_rx_handle_rb()
671 		__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
681 				     PAGE_SIZE << trans_pcie->rx_page_order,  in iwl_pcie_rx_handle_rb()
689 			__free_pages(rxb->page, trans_pcie->rx_page_order);  in iwl_pcie_rx_handle_rb()
705 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_rx_handle()  local
706 	struct iwl_rxq *rxq = &trans_pcie->rxq;  in iwl_pcie_rx_handle()
765 	if (trans_pcie->napi.poll)  in iwl_pcie_rx_handle()
766 		napi_gro_flush(&trans_pcie->napi, false);  in iwl_pcie_rx_handle()
774 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handle_error()  local
784 		wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
798 	wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handle_error()
831 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_int_cause_ict()  local
841 	read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
842 	trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
853 				trans_pcie->ict_index, read);  in iwl_pcie_int_cause_ict()
854 		trans_pcie->ict_tbl[trans_pcie->ict_index] = 0;  in iwl_pcie_int_cause_ict()
855 		trans_pcie->ict_index =  in iwl_pcie_int_cause_ict()
856 			((trans_pcie->ict_index + 1) & (ICT_COUNT - 1));  in iwl_pcie_int_cause_ict()
858 		read = le32_to_cpu(trans_pcie->ict_tbl[trans_pcie->ict_index]);  in iwl_pcie_int_cause_ict()
859 		trace_iwlwifi_dev_ict_read(trans->dev, trans_pcie->ict_index,  in iwl_pcie_int_cause_ict()
884 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_irq_handler()  local
885 	struct isr_statistics *isr_stats = &trans_pcie->isr_stats;  in iwl_pcie_irq_handler()
891 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
896 	if (likely(trans_pcie->use_ict))  in iwl_pcie_irq_handler()
904 			      inta, trans_pcie->inta_mask,  in iwl_pcie_irq_handler()
907 		if (inta & (~trans_pcie->inta_mask))  in iwl_pcie_irq_handler()
910 				      inta & (~trans_pcie->inta_mask));  in iwl_pcie_irq_handler()
913 	inta &= trans_pcie->inta_mask;  in iwl_pcie_irq_handler()
928 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
939 		spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
954 	iwl_write32(trans, CSR_INT, inta | ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
960 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_irq_handler()
1012 			wake_up(&trans_pcie->wait_command_queue);  in iwl_pcie_irq_handler()
1103 		trans_pcie->ucode_write_complete = true;  in iwl_pcie_irq_handler()
1104 		wake_up(&trans_pcie->ucode_write_waitq);  in iwl_pcie_irq_handler()
1112 	if (inta & ~(trans_pcie->inta_mask)) {  in iwl_pcie_irq_handler()
1114 			 inta & ~trans_pcie->inta_mask);  in iwl_pcie_irq_handler()
1139 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_free_ict()  local
1141 	if (trans_pcie->ict_tbl) {  in iwl_pcie_free_ict()
1143 				  trans_pcie->ict_tbl,  in iwl_pcie_free_ict()
1144 				  trans_pcie->ict_tbl_dma);  in iwl_pcie_free_ict()
1145 		trans_pcie->ict_tbl = NULL;  in iwl_pcie_free_ict()
1146 		trans_pcie->ict_tbl_dma = 0;  in iwl_pcie_free_ict()
1157 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_alloc_ict()  local
1159 	trans_pcie->ict_tbl =  in iwl_pcie_alloc_ict()
1161 				   &trans_pcie->ict_tbl_dma,  in iwl_pcie_alloc_ict()
1163 	if (!trans_pcie->ict_tbl)  in iwl_pcie_alloc_ict()
1167 	if (WARN_ON(trans_pcie->ict_tbl_dma & (ICT_SIZE - 1))) {  in iwl_pcie_alloc_ict()
1173 		      (unsigned long long)trans_pcie->ict_tbl_dma,  in iwl_pcie_alloc_ict()
1174 		      trans_pcie->ict_tbl);  in iwl_pcie_alloc_ict()
1184 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_reset_ict()  local
1187 	if (!trans_pcie->ict_tbl)  in iwl_pcie_reset_ict()
1190 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1193 	memset(trans_pcie->ict_tbl, 0, ICT_SIZE);  in iwl_pcie_reset_ict()
1195 	val = trans_pcie->ict_tbl_dma >> ICT_SHIFT;  in iwl_pcie_reset_ict()
1203 	trans_pcie->use_ict = true;  in iwl_pcie_reset_ict()
1204 	trans_pcie->ict_index = 0;  in iwl_pcie_reset_ict()
1205 	iwl_write32(trans, CSR_INT, trans_pcie->inta_mask);  in iwl_pcie_reset_ict()
1207 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_reset_ict()
1213 	struct iwl_trans_pcie *trans_pcie = IWL_TRANS_GET_PCIE_TRANS(trans);  in iwl_pcie_disable_ict()  local
1215 	spin_lock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()
1216 	trans_pcie->use_ict = false;  in iwl_pcie_disable_ict()
1217 	spin_unlock(&trans_pcie->irq_lock);  in iwl_pcie_disable_ict()