41 	uint64_t u64;  member
110 	pcie_addr.u64 = 0;  in cvmx_pcie_get_io_base_address()
117 	return pcie_addr.u64;  in cvmx_pcie_get_io_base_address()
144 	pcie_addr.u64 = 0;  in cvmx_pcie_get_mem_base_address()
149 	return pcie_addr.u64;  in cvmx_pcie_get_mem_base_address()
178 		pescx_cfg_rd.u64 = 0;  in cvmx_pcie_cfgx_read()
180 		cvmx_write_csr(CVMX_PESCX_CFG_RD(pcie_port), pescx_cfg_rd.u64);  in cvmx_pcie_cfgx_read()
181 		pescx_cfg_rd.u64 = cvmx_read_csr(CVMX_PESCX_CFG_RD(pcie_port));  in cvmx_pcie_cfgx_read()
185 		pemx_cfg_rd.u64 = 0;  in cvmx_pcie_cfgx_read()
187 		cvmx_write_csr(CVMX_PEMX_CFG_RD(pcie_port), pemx_cfg_rd.u64);  in cvmx_pcie_cfgx_read()
188 		pemx_cfg_rd.u64 = cvmx_read_csr(CVMX_PEMX_CFG_RD(pcie_port));  in cvmx_pcie_cfgx_read()
206 		pescx_cfg_wr.u64 = 0;  in cvmx_pcie_cfgx_write()
209 		cvmx_write_csr(CVMX_PESCX_CFG_WR(pcie_port), pescx_cfg_wr.u64);  in cvmx_pcie_cfgx_write()
212 		pemx_cfg_wr.u64 = 0;  in cvmx_pcie_cfgx_write()
215 		cvmx_write_csr(CVMX_PEMX_CFG_WR(pcie_port), pemx_cfg_wr.u64);  in cvmx_pcie_cfgx_write()
241 	pcie_addr.u64 = 0;  in __cvmx_pcie_build_config_addr()
253 	return pcie_addr.u64;  in __cvmx_pcie_build_config_addr()
438 		npei_ctl_status2.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_CTL_STATUS2);  in __cvmx_pcie_rc_initialize_config_space()
448 		cvmx_write_csr(CVMX_PEXP_NPEI_CTL_STATUS2, npei_ctl_status2.u64);  in __cvmx_pcie_rc_initialize_config_space()
458 		prt_cfg.u64 = cvmx_read_csr(CVMX_DPI_SLI_PRTX_CFG(pcie_port));  in __cvmx_pcie_rc_initialize_config_space()
463 		cvmx_write_csr(CVMX_DPI_SLI_PRTX_CFG(pcie_port), prt_cfg.u64);  in __cvmx_pcie_rc_initialize_config_space()
465 		sli_s2m_portx_ctl.u64 = cvmx_read_csr(CVMX_PEXP_SLI_S2M_PORTX_CTL(pcie_port));  in __cvmx_pcie_rc_initialize_config_space()
467 		cvmx_write_csr(CVMX_PEXP_SLI_S2M_PORTX_CTL(pcie_port), sli_s2m_portx_ctl.u64);  in __cvmx_pcie_rc_initialize_config_space()
596 	pescx_ctl_status.u64 = cvmx_read_csr(CVMX_PESCX_CTL_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_link_gen1()
620 		cvmx_write_csr(CVMX_PESCX_CTL_STATUS(pcie_port), pescx_ctl_status.u64);  in __cvmx_pcie_rc_initialize_link_gen1()
624 	pescx_ctl_status.u64 = cvmx_read_csr(CVMX_PESCX_CTL_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_link_gen1()
626 	cvmx_write_csr(CVMX_PESCX_CTL_STATUS(pcie_port), pescx_ctl_status.u64);  in __cvmx_pcie_rc_initialize_link_gen1()
697 	u64 addr_swizzle;  in __cvmx_pcie_rc_initialize_gen1()
714 	npei_ctl_status.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_CTL_STATUS);  in __cvmx_pcie_rc_initialize_gen1()
725 		npei_dbg_data.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_DBG_DATA);  in __cvmx_pcie_rc_initialize_gen1()
747 	cvmx_write_csr(CVMX_PEXP_NPEI_CTL_STATUS, npei_ctl_status.u64);  in __cvmx_pcie_rc_initialize_gen1()
759 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen1()
769 				cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
770 				ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen1()
772 				cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
776 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen1()
778 			cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
779 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen1()
781 			cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
790 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen1()
792 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen1()
802 				cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
804 				cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
809 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen1()
811 			cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
813 			ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen1()
815 			cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen1()
832 		pescx_ctl_status2.u64 = cvmx_read_csr(CVMX_PESCX_CTL_STATUS2(pcie_port));  in __cvmx_pcie_rc_initialize_gen1()
834 		cvmx_write_csr(CVMX_PESCX_CTL_STATUS2(pcie_port), pescx_ctl_status2.u64);  in __cvmx_pcie_rc_initialize_gen1()
850 	pescx_ctl_status2.u64 = cvmx_read_csr(CVMX_PESCX_CTL_STATUS2(pcie_port));  in __cvmx_pcie_rc_initialize_gen1()
861 	pescx_bist_status2.u64 = cvmx_read_csr(CVMX_PESCX_BIST_STATUS2(pcie_port));  in __cvmx_pcie_rc_initialize_gen1()
862 	if (pescx_bist_status2.u64) {  in __cvmx_pcie_rc_initialize_gen1()
869 	pescx_bist_status.u64 = cvmx_read_csr(CVMX_PESCX_BIST_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_gen1()
870 	if (pescx_bist_status.u64)  in __cvmx_pcie_rc_initialize_gen1()
872 			     pcie_port, CAST64(pescx_bist_status.u64));  in __cvmx_pcie_rc_initialize_gen1()
885 	npei_mem_access_ctl.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_MEM_ACCESS_CTL);  in __cvmx_pcie_rc_initialize_gen1()
888 	cvmx_write_csr(CVMX_PEXP_NPEI_MEM_ACCESS_CTL, npei_mem_access_ctl.u64);  in __cvmx_pcie_rc_initialize_gen1()
891 	mem_access_subid.u64 = 0;  in __cvmx_pcie_rc_initialize_gen1()
907 		cvmx_write_csr(CVMX_PEXP_NPEI_MEM_ACCESS_SUBIDX(i), mem_access_subid.u64);  in __cvmx_pcie_rc_initialize_gen1()
968 		npei_ctl_port.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_CTL_PORT1);  in __cvmx_pcie_rc_initialize_gen1()
976 		cvmx_write_csr(CVMX_PEXP_NPEI_CTL_PORT1, npei_ctl_port.u64);  in __cvmx_pcie_rc_initialize_gen1()
979 		npei_ctl_port.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_CTL_PORT0);  in __cvmx_pcie_rc_initialize_gen1()
987 		cvmx_write_csr(CVMX_PEXP_NPEI_CTL_PORT0, npei_ctl_port.u64);  in __cvmx_pcie_rc_initialize_gen1()
1034 			dbg_data.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_DBG_DATA);  in __cvmx_pcie_rc_initialize_gen1()
1038 			dbg_data.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_DBG_DATA);  in __cvmx_pcie_rc_initialize_gen1()
1048 		dbg_data.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_DBG_DATA);  in __cvmx_pcie_rc_initialize_gen1()
1099 	pem_ctl_status.u64 = cvmx_read_csr(CVMX_PEMX_CTL_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_link_gen2()
1101 	cvmx_write_csr(CVMX_PEMX_CTL_STATUS(pcie_port), pem_ctl_status.u64);  in __cvmx_pcie_rc_initialize_link_gen2()
1175 			qlmx_cfg.u64 = cvmx_read_csr(CVMX_MIO_QLMX_CFG(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1205 			sriox_status_reg.u64 = cvmx_read_csr(CVMX_SRIOX_STATUS_REG(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1233 	mio_rst_ctl.u64 = cvmx_read_csr(CVMX_MIO_RST_CTLX(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1243 			ciu_qlm.u64 = cvmx_read_csr(CVMX_CIU_QLM1);  in __cvmx_pcie_rc_initialize_gen2()
1247 			cvmx_write_csr(CVMX_CIU_QLM1, ciu_qlm.u64);  in __cvmx_pcie_rc_initialize_gen2()
1250 			ciu_qlm.u64 = cvmx_read_csr(CVMX_CIU_QLM0);  in __cvmx_pcie_rc_initialize_gen2()
1254 			cvmx_write_csr(CVMX_CIU_QLM0, ciu_qlm.u64);  in __cvmx_pcie_rc_initialize_gen2()
1259 		ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen2()
1261 		ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen2()
1271 			cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen2()
1273 			cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen2()
1278 		ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST1);  in __cvmx_pcie_rc_initialize_gen2()
1280 		cvmx_write_csr(CVMX_CIU_SOFT_PRST1, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen2()
1282 		ciu_soft_prst.u64 = cvmx_read_csr(CVMX_CIU_SOFT_PRST);  in __cvmx_pcie_rc_initialize_gen2()
1284 		cvmx_write_csr(CVMX_CIU_SOFT_PRST, ciu_soft_prst.u64);  in __cvmx_pcie_rc_initialize_gen2()
1301 	pemx_bist_status.u64 = cvmx_read_csr(CVMX_PEMX_BIST_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1302 	if (pemx_bist_status.u64)  in __cvmx_pcie_rc_initialize_gen2()
1303 		pr_notice("PCIe: BIST FAILED for port %d (0x%016llx)\n", pcie_port, CAST64(pemx_bist_status.u64));  in __cvmx_pcie_rc_initialize_gen2()
1304 	pemx_bist_status2.u64 = cvmx_read_csr(CVMX_PEMX_BIST_STATUS2(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1307 		pemx_bist_status2.u64 &= ~0x3full;  in __cvmx_pcie_rc_initialize_gen2()
1308 	if (pemx_bist_status2.u64)  in __cvmx_pcie_rc_initialize_gen2()
1309 …pr_notice("PCIe: BIST2 FAILED for port %d (0x%016llx)\n", pcie_port, CAST64(pemx_bist_status2.u64)…  in __cvmx_pcie_rc_initialize_gen2()
1337 	sli_mem_access_ctl.u64 = cvmx_read_csr(CVMX_PEXP_SLI_MEM_ACCESS_CTL);  in __cvmx_pcie_rc_initialize_gen2()
1340 	cvmx_write_csr(CVMX_PEXP_SLI_MEM_ACCESS_CTL, sli_mem_access_ctl.u64);  in __cvmx_pcie_rc_initialize_gen2()
1343 	mem_access_subid.u64 = 0;  in __cvmx_pcie_rc_initialize_gen2()
1361 		cvmx_write_csr(CVMX_PEXP_SLI_MEM_ACCESS_SUBIDX(i), mem_access_subid.u64);  in __cvmx_pcie_rc_initialize_gen2()
1394 	pemx_bar_ctl.u64 = cvmx_read_csr(CVMX_PEMX_BAR_CTL(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1399 	cvmx_write_csr(CVMX_PEMX_BAR_CTL(pcie_port), pemx_bar_ctl.u64);  in __cvmx_pcie_rc_initialize_gen2()
1400 	sli_ctl_portx.u64 = cvmx_read_csr(CVMX_PEXP_SLI_CTL_PORTX(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1405 	cvmx_write_csr(CVMX_PEXP_SLI_CTL_PORTX(pcie_port), sli_ctl_portx.u64);  in __cvmx_pcie_rc_initialize_gen2()
1410 	bar1_index.u64 = 0;  in __cvmx_pcie_rc_initialize_gen2()
1417 		cvmx_write_csr(CVMX_PEMX_BAR1_INDEXX(i, pcie_port), bar1_index.u64);  in __cvmx_pcie_rc_initialize_gen2()
1426 	pemx_ctl_status.u64 = cvmx_read_csr(CVMX_PEMX_CTL_STATUS(pcie_port));  in __cvmx_pcie_rc_initialize_gen2()
1428 	cvmx_write_csr(CVMX_PEMX_CTL_STATUS(pcie_port), pemx_ctl_status.u64);  in __cvmx_pcie_rc_initialize_gen2()
1509 	pemx_ctl.u64 = cvmx_read_csr(CVMX_PEMX_CTL_STATUS(1));  in set_cfg_read_retry()
1511 	cvmx_write_csr(CVMX_PEMX_CTL_STATUS(1), pemx_ctl.u64);  in set_cfg_read_retry()
1520 	pemx_ctl.u64 = cvmx_read_csr(CVMX_PEMX_CTL_STATUS(1));  in disable_cfg_read_retry()
1523 	cvmx_write_csr(CVMX_PEMX_CTL_STATUS(1), pemx_ctl.u64);  in disable_cfg_read_retry()
1530 	pemx_int_sum.u64 = cvmx_read_csr(CVMX_PEMX_INT_SUM(1));  in is_cfg_retry()
1552 	cvmmemctl_save.u64 = 0;  in octeon_pcie_read_config()
1661 		cvmmemctl_save.u64 = __read_64bit_c0_register($11, 7);  in octeon_pcie_read_config()
1662 		cvmmemctl.u64 = cvmmemctl_save.u64;  in octeon_pcie_read_config()
1664 		__write_64bit_c0_register($11, 7, cvmmemctl.u64);  in octeon_pcie_read_config()
1708 		write_c0_cvmmemctl(cvmmemctl_save.u64);  in octeon_pcie_read_config()
1909 		npei_ctl_status.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_CTL_STATUS);  in octeon_pcie_setup()
1914 		mio_rst_ctl.u64 = cvmx_read_csr(CVMX_MIO_RST_CTLX(0));  in octeon_pcie_setup()
1924 			sriox_status_reg.u64 = cvmx_read_csr(CVMX_SRIOX_STATUS_REG(0));  in octeon_pcie_setup()
1982 			dbg_data.u64 = cvmx_read_csr(CVMX_PEXP_NPEI_DBG_DATA);  in octeon_pcie_setup()
1988 		mio_rst_ctl.u64 = cvmx_read_csr(CVMX_MIO_RST_CTLX(1));  in octeon_pcie_setup()
1997 			sriox_status_reg.u64 = cvmx_read_csr(CVMX_SRIOX_STATUS_REG(1));  in octeon_pcie_setup()
2071 			sli_ctl_portx.u64 = cvmx_read_csr(CVMX_PEXP_SLI_CTL_PORTX(port));  in octeon_pcie_setup()
2076 			cvmx_write_csr(CVMX_PEXP_SLI_CTL_PORTX(port), sli_ctl_portx.u64);  in octeon_pcie_setup()
2078 			sli_ctl_portx.u64 = cvmx_read_csr(CVMX_PEXP_SLI_CTL_PORTX(!port));  in octeon_pcie_setup()
2083 			cvmx_write_csr(CVMX_PEXP_SLI_CTL_PORTX(!port), sli_ctl_portx.u64);  in octeon_pcie_setup()