112 static inline void dw_pcie_readl_rc(struct pcie_port *pp, u32 reg, u32 *val)  in dw_pcie_readl_rc()  argument
114 	if (pp->ops->readl_rc)  in dw_pcie_readl_rc()
115 		pp->ops->readl_rc(pp, pp->dbi_base + reg, val);  in dw_pcie_readl_rc()
117 		*val = readl(pp->dbi_base + reg);  in dw_pcie_readl_rc()
120 static inline void dw_pcie_writel_rc(struct pcie_port *pp, u32 val, u32 reg)  in dw_pcie_writel_rc()  argument
122 	if (pp->ops->writel_rc)  in dw_pcie_writel_rc()
123 		pp->ops->writel_rc(pp, val, pp->dbi_base + reg);  in dw_pcie_writel_rc()
125 		writel(val, pp->dbi_base + reg);  in dw_pcie_writel_rc()
128 static int dw_pcie_rd_own_conf(struct pcie_port *pp, int where, int size,  in dw_pcie_rd_own_conf()  argument
133 	if (pp->ops->rd_own_conf)  in dw_pcie_rd_own_conf()
134 		ret = pp->ops->rd_own_conf(pp, where, size, val);  in dw_pcie_rd_own_conf()
136 		ret = dw_pcie_cfg_read(pp->dbi_base + where, size, val);  in dw_pcie_rd_own_conf()
141 static int dw_pcie_wr_own_conf(struct pcie_port *pp, int where, int size,  in dw_pcie_wr_own_conf()  argument
146 	if (pp->ops->wr_own_conf)  in dw_pcie_wr_own_conf()
147 		ret = pp->ops->wr_own_conf(pp, where, size, val);  in dw_pcie_wr_own_conf()
149 		ret = dw_pcie_cfg_write(pp->dbi_base + where, size, val);  in dw_pcie_wr_own_conf()
154 static void dw_pcie_prog_outbound_atu(struct pcie_port *pp, int index,  in dw_pcie_prog_outbound_atu()  argument
157 	dw_pcie_writel_rc(pp, PCIE_ATU_REGION_OUTBOUND | index,  in dw_pcie_prog_outbound_atu()
159 	dw_pcie_writel_rc(pp, lower_32_bits(cpu_addr), PCIE_ATU_LOWER_BASE);  in dw_pcie_prog_outbound_atu()
160 	dw_pcie_writel_rc(pp, upper_32_bits(cpu_addr), PCIE_ATU_UPPER_BASE);  in dw_pcie_prog_outbound_atu()
161 	dw_pcie_writel_rc(pp, lower_32_bits(cpu_addr + size - 1),  in dw_pcie_prog_outbound_atu()
163 	dw_pcie_writel_rc(pp, lower_32_bits(pci_addr), PCIE_ATU_LOWER_TARGET);  in dw_pcie_prog_outbound_atu()
164 	dw_pcie_writel_rc(pp, upper_32_bits(pci_addr), PCIE_ATU_UPPER_TARGET);  in dw_pcie_prog_outbound_atu()
165 	dw_pcie_writel_rc(pp, type, PCIE_ATU_CR1);  in dw_pcie_prog_outbound_atu()
166 	dw_pcie_writel_rc(pp, PCIE_ATU_ENABLE, PCIE_ATU_CR2);  in dw_pcie_prog_outbound_atu()
178 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)  in dw_handle_msi_irq()  argument
185 		dw_pcie_rd_own_conf(pp, PCIE_MSI_INTR0_STATUS + i * 12, 4,  in dw_handle_msi_irq()
191 				irq = irq_find_mapping(pp->irq_domain,  in dw_handle_msi_irq()
193 				dw_pcie_wr_own_conf(pp,  in dw_handle_msi_irq()
205 void dw_pcie_msi_init(struct pcie_port *pp)  in dw_pcie_msi_init()  argument
209 	pp->msi_data = __get_free_pages(GFP_KERNEL, 0);  in dw_pcie_msi_init()
210 	msi_target = virt_to_phys((void *)pp->msi_data);  in dw_pcie_msi_init()
213 	dw_pcie_wr_own_conf(pp, PCIE_MSI_ADDR_LO, 4,  in dw_pcie_msi_init()
215 	dw_pcie_wr_own_conf(pp, PCIE_MSI_ADDR_HI, 4,  in dw_pcie_msi_init()
219 static void dw_pcie_msi_clear_irq(struct pcie_port *pp, int irq)  in dw_pcie_msi_clear_irq()  argument
225 	dw_pcie_rd_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, &val);  in dw_pcie_msi_clear_irq()
227 	dw_pcie_wr_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, val);  in dw_pcie_msi_clear_irq()
230 static void clear_irq_range(struct pcie_port *pp, unsigned int irq_base,  in clear_irq_range()  argument
238 		if (pp->ops->msi_clear_irq)  in clear_irq_range()
239 			pp->ops->msi_clear_irq(pp, pos + i);  in clear_irq_range()
241 			dw_pcie_msi_clear_irq(pp, pos + i);  in clear_irq_range()
244 	bitmap_release_region(pp->msi_irq_in_use, pos, order_base_2(nvec));  in clear_irq_range()
247 static void dw_pcie_msi_set_irq(struct pcie_port *pp, int irq)  in dw_pcie_msi_set_irq()  argument
253 	dw_pcie_rd_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, &val);  in dw_pcie_msi_set_irq()
255 	dw_pcie_wr_own_conf(pp, PCIE_MSI_INTR0_ENABLE + res, 4, val);  in dw_pcie_msi_set_irq()
261 	struct pcie_port *pp = (struct pcie_port *) msi_desc_to_pci_sysdata(desc);  in assign_irq()  local
263 	pos0 = bitmap_find_free_region(pp->msi_irq_in_use, MAX_MSI_IRQS,  in assign_irq()
268 	irq = irq_find_mapping(pp->irq_domain, pos0);  in assign_irq()
281 			clear_irq_range(pp, irq, i, pos0);  in assign_irq()
285 		if (pp->ops->msi_set_irq)  in assign_irq()
286 			pp->ops->msi_set_irq(pp, pos0 + i);  in assign_irq()
288 			dw_pcie_msi_set_irq(pp, pos0 + i);  in assign_irq()
302 static void dw_msi_setup_msg(struct pcie_port *pp, unsigned int irq, u32 pos)  in dw_msi_setup_msg()  argument
307 	if (pp->ops->get_msi_addr)  in dw_msi_setup_msg()
308 		msi_target = pp->ops->get_msi_addr(pp);  in dw_msi_setup_msg()
310 		msi_target = virt_to_phys((void *)pp->msi_data);  in dw_msi_setup_msg()
315 	if (pp->ops->get_msi_data)  in dw_msi_setup_msg()
316 		msg.data = pp->ops->get_msi_data(pp, pos);  in dw_msi_setup_msg()
327 	struct pcie_port *pp = pdev->bus->sysdata;  in dw_msi_setup_irq()  local
336 	dw_msi_setup_msg(pp, irq, pos);  in dw_msi_setup_irq()
347 	struct pcie_port *pp = pdev->bus->sysdata;  in dw_msi_setup_irqs()  local
360 	dw_msi_setup_msg(pp, irq, pos);  in dw_msi_setup_irqs()
372 	struct pcie_port *pp = (struct pcie_port *) msi_desc_to_pci_sysdata(msi);  in dw_msi_teardown_irq()  local
374 	clear_irq_range(pp, irq, 1, data->hwirq);  in dw_msi_teardown_irq()
383 int dw_pcie_link_up(struct pcie_port *pp)  in dw_pcie_link_up()  argument
385 	if (pp->ops->link_up)  in dw_pcie_link_up()
386 		return pp->ops->link_up(pp);  in dw_pcie_link_up()
404 int dw_pcie_host_init(struct pcie_port *pp)  in dw_pcie_host_init()  argument
406 	struct device_node *np = pp->dev->of_node;  in dw_pcie_host_init()
407 	struct platform_device *pdev = to_platform_device(pp->dev);  in dw_pcie_host_init()
417 		pp->cfg0_size = resource_size(cfg_res)/2;  in dw_pcie_host_init()
418 		pp->cfg1_size = resource_size(cfg_res)/2;  in dw_pcie_host_init()
419 		pp->cfg0_base = cfg_res->start;  in dw_pcie_host_init()
420 		pp->cfg1_base = cfg_res->start + pp->cfg0_size;  in dw_pcie_host_init()
421 	} else if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
422 		dev_err(pp->dev, "missing *config* reg space\n");  in dw_pcie_host_init()
425 	ret = of_pci_get_host_bridge_resources(np, 0, 0xff, &res, &pp->io_base);  in dw_pcie_host_init()
433 			pp->io = win->res;  in dw_pcie_host_init()
434 			pp->io->name = "I/O";  in dw_pcie_host_init()
435 			pp->io_size = resource_size(pp->io);  in dw_pcie_host_init()
436 			pp->io_bus_addr = pp->io->start - win->offset;  in dw_pcie_host_init()
437 			ret = pci_remap_iospace(pp->io, pp->io_base);  in dw_pcie_host_init()
439 				dev_warn(pp->dev, "error %d: failed to map resource %pR\n",  in dw_pcie_host_init()
440 					 ret, pp->io);  in dw_pcie_host_init()
445 			pp->mem = win->res;  in dw_pcie_host_init()
446 			pp->mem->name = "MEM";  in dw_pcie_host_init()
447 			pp->mem_size = resource_size(pp->mem);  in dw_pcie_host_init()
448 			pp->mem_bus_addr = pp->mem->start - win->offset;  in dw_pcie_host_init()
451 			pp->cfg = win->res;  in dw_pcie_host_init()
452 			pp->cfg0_size = resource_size(pp->cfg)/2;  in dw_pcie_host_init()
453 			pp->cfg1_size = resource_size(pp->cfg)/2;  in dw_pcie_host_init()
454 			pp->cfg0_base = pp->cfg->start;  in dw_pcie_host_init()
455 			pp->cfg1_base = pp->cfg->start + pp->cfg0_size;  in dw_pcie_host_init()
458 			pp->busn = win->res;  in dw_pcie_host_init()
465 	if (!pp->dbi_base) {  in dw_pcie_host_init()
466 		pp->dbi_base = devm_ioremap(pp->dev, pp->cfg->start,  in dw_pcie_host_init()
467 					resource_size(pp->cfg));  in dw_pcie_host_init()
468 		if (!pp->dbi_base) {  in dw_pcie_host_init()
469 			dev_err(pp->dev, "error with ioremap\n");  in dw_pcie_host_init()
474 	pp->mem_base = pp->mem->start;  in dw_pcie_host_init()
476 	if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
477 		pp->va_cfg0_base = devm_ioremap(pp->dev, pp->cfg0_base,  in dw_pcie_host_init()
478 						pp->cfg0_size);  in dw_pcie_host_init()
479 		if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
480 			dev_err(pp->dev, "error with ioremap in function\n");  in dw_pcie_host_init()
485 	if (!pp->va_cfg1_base) {  in dw_pcie_host_init()
486 		pp->va_cfg1_base = devm_ioremap(pp->dev, pp->cfg1_base,  in dw_pcie_host_init()
487 						pp->cfg1_size);  in dw_pcie_host_init()
488 		if (!pp->va_cfg1_base) {  in dw_pcie_host_init()
489 			dev_err(pp->dev, "error with ioremap\n");  in dw_pcie_host_init()
494 	ret = of_property_read_u32(np, "num-lanes", &pp->lanes);  in dw_pcie_host_init()
496 		pp->lanes = 0;  in dw_pcie_host_init()
499 		if (!pp->ops->msi_host_init) {  in dw_pcie_host_init()
500 			pp->irq_domain = irq_domain_add_linear(pp->dev->of_node,  in dw_pcie_host_init()
503 			if (!pp->irq_domain) {  in dw_pcie_host_init()
504 				dev_err(pp->dev, "irq domain init failed\n");  in dw_pcie_host_init()
509 				irq_create_mapping(pp->irq_domain, i);  in dw_pcie_host_init()
511 			ret = pp->ops->msi_host_init(pp, &dw_pcie_msi_chip);  in dw_pcie_host_init()
517 	if (pp->ops->host_init)  in dw_pcie_host_init()
518 		pp->ops->host_init(pp);  in dw_pcie_host_init()
520 	if (!pp->ops->rd_other_conf)  in dw_pcie_host_init()
521 		dw_pcie_prog_outbound_atu(pp, PCIE_ATU_REGION_INDEX1,  in dw_pcie_host_init()
522 					  PCIE_ATU_TYPE_MEM, pp->mem_base,  in dw_pcie_host_init()
523 					  pp->mem_bus_addr, pp->mem_size);  in dw_pcie_host_init()
525 	dw_pcie_wr_own_conf(pp, PCI_BASE_ADDRESS_0, 4, 0);  in dw_pcie_host_init()
528 	dw_pcie_wr_own_conf(pp, PCI_CLASS_DEVICE, 2, PCI_CLASS_BRIDGE_PCI);  in dw_pcie_host_init()
530 	dw_pcie_rd_own_conf(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, 4, &val);  in dw_pcie_host_init()
532 	dw_pcie_wr_own_conf(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, 4, val);  in dw_pcie_host_init()
534 	pp->root_bus_nr = pp->busn->start;  in dw_pcie_host_init()
536 		bus = pci_scan_root_bus_msi(pp->dev, pp->root_bus_nr,  in dw_pcie_host_init()
537 					    &dw_pcie_ops, pp, &res,  in dw_pcie_host_init()
539 		dw_pcie_msi_chip.dev = pp->dev;  in dw_pcie_host_init()
541 		bus = pci_scan_root_bus(pp->dev, pp->root_bus_nr, &dw_pcie_ops,  in dw_pcie_host_init()
542 					pp, &res);  in dw_pcie_host_init()
546 	if (pp->ops->scan_bus)  in dw_pcie_host_init()
547 		pp->ops->scan_bus(pp);  in dw_pcie_host_init()
566 static int dw_pcie_rd_other_conf(struct pcie_port *pp, struct pci_bus *bus,  in dw_pcie_rd_other_conf()  argument
577 	if (bus->parent->number == pp->root_bus_nr) {  in dw_pcie_rd_other_conf()
579 		cpu_addr = pp->cfg0_base;  in dw_pcie_rd_other_conf()
580 		cfg_size = pp->cfg0_size;  in dw_pcie_rd_other_conf()
581 		va_cfg_base = pp->va_cfg0_base;  in dw_pcie_rd_other_conf()
584 		cpu_addr = pp->cfg1_base;  in dw_pcie_rd_other_conf()
585 		cfg_size = pp->cfg1_size;  in dw_pcie_rd_other_conf()
586 		va_cfg_base = pp->va_cfg1_base;  in dw_pcie_rd_other_conf()
589 	dw_pcie_prog_outbound_atu(pp, PCIE_ATU_REGION_INDEX0,  in dw_pcie_rd_other_conf()
593 	dw_pcie_prog_outbound_atu(pp, PCIE_ATU_REGION_INDEX0,  in dw_pcie_rd_other_conf()
594 				  PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_rd_other_conf()
595 				  pp->io_bus_addr, pp->io_size);  in dw_pcie_rd_other_conf()
600 static int dw_pcie_wr_other_conf(struct pcie_port *pp, struct pci_bus *bus,  in dw_pcie_wr_other_conf()  argument
611 	if (bus->parent->number == pp->root_bus_nr) {  in dw_pcie_wr_other_conf()
613 		cpu_addr = pp->cfg0_base;  in dw_pcie_wr_other_conf()
614 		cfg_size = pp->cfg0_size;  in dw_pcie_wr_other_conf()
615 		va_cfg_base = pp->va_cfg0_base;  in dw_pcie_wr_other_conf()
618 		cpu_addr = pp->cfg1_base;  in dw_pcie_wr_other_conf()
619 		cfg_size = pp->cfg1_size;  in dw_pcie_wr_other_conf()
620 		va_cfg_base = pp->va_cfg1_base;  in dw_pcie_wr_other_conf()
623 	dw_pcie_prog_outbound_atu(pp, PCIE_ATU_REGION_INDEX0,  in dw_pcie_wr_other_conf()
627 	dw_pcie_prog_outbound_atu(pp, PCIE_ATU_REGION_INDEX0,  in dw_pcie_wr_other_conf()
628 				  PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_wr_other_conf()
629 				  pp->io_bus_addr, pp->io_size);  in dw_pcie_wr_other_conf()
634 static int dw_pcie_valid_config(struct pcie_port *pp,  in dw_pcie_valid_config()  argument
638 	if (bus->number != pp->root_bus_nr) {  in dw_pcie_valid_config()
639 		if (!dw_pcie_link_up(pp))  in dw_pcie_valid_config()
644 	if (bus->number == pp->root_bus_nr && dev > 0)  in dw_pcie_valid_config()
651 	if (bus->primary == pp->root_bus_nr && dev > 0)  in dw_pcie_valid_config()
660 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_rd_conf()  local
663 	if (dw_pcie_valid_config(pp, bus, PCI_SLOT(devfn)) == 0) {  in dw_pcie_rd_conf()
668 	if (bus->number != pp->root_bus_nr)  in dw_pcie_rd_conf()
669 		if (pp->ops->rd_other_conf)  in dw_pcie_rd_conf()
670 			ret = pp->ops->rd_other_conf(pp, bus, devfn,  in dw_pcie_rd_conf()
673 			ret = dw_pcie_rd_other_conf(pp, bus, devfn,  in dw_pcie_rd_conf()
676 		ret = dw_pcie_rd_own_conf(pp, where, size, val);  in dw_pcie_rd_conf()
684 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_wr_conf()  local
687 	if (dw_pcie_valid_config(pp, bus, PCI_SLOT(devfn)) == 0)  in dw_pcie_wr_conf()
690 	if (bus->number != pp->root_bus_nr)  in dw_pcie_wr_conf()
691 		if (pp->ops->wr_other_conf)  in dw_pcie_wr_conf()
692 			ret = pp->ops->wr_other_conf(pp, bus, devfn,  in dw_pcie_wr_conf()
695 			ret = dw_pcie_wr_other_conf(pp, bus, devfn,  in dw_pcie_wr_conf()
698 		ret = dw_pcie_wr_own_conf(pp, where, size, val);  in dw_pcie_wr_conf()
708 void dw_pcie_setup_rc(struct pcie_port *pp)  in dw_pcie_setup_rc()  argument
715 	dw_pcie_readl_rc(pp, PCIE_PORT_LINK_CONTROL, &val);  in dw_pcie_setup_rc()
717 	switch (pp->lanes) {  in dw_pcie_setup_rc()
731 		dev_err(pp->dev, "num-lanes %u: invalid value\n", pp->lanes);  in dw_pcie_setup_rc()
734 	dw_pcie_writel_rc(pp, val, PCIE_PORT_LINK_CONTROL);  in dw_pcie_setup_rc()
737 	dw_pcie_readl_rc(pp, PCIE_LINK_WIDTH_SPEED_CONTROL, &val);  in dw_pcie_setup_rc()
739 	switch (pp->lanes) {  in dw_pcie_setup_rc()
753 	dw_pcie_writel_rc(pp, val, PCIE_LINK_WIDTH_SPEED_CONTROL);  in dw_pcie_setup_rc()
756 	dw_pcie_writel_rc(pp, 0x00000004, PCI_BASE_ADDRESS_0);  in dw_pcie_setup_rc()
757 	dw_pcie_writel_rc(pp, 0x00000000, PCI_BASE_ADDRESS_1);  in dw_pcie_setup_rc()
760 	dw_pcie_readl_rc(pp, PCI_INTERRUPT_LINE, &val);  in dw_pcie_setup_rc()
763 	dw_pcie_writel_rc(pp, val, PCI_INTERRUPT_LINE);  in dw_pcie_setup_rc()
766 	dw_pcie_readl_rc(pp, PCI_PRIMARY_BUS, &val);  in dw_pcie_setup_rc()
769 	dw_pcie_writel_rc(pp, val, PCI_PRIMARY_BUS);  in dw_pcie_setup_rc()
772 	membase = ((u32)pp->mem_base & 0xfff00000) >> 16;  in dw_pcie_setup_rc()
773 	memlimit = (pp->mem_size + (u32)pp->mem_base) & 0xfff00000;  in dw_pcie_setup_rc()
775 	dw_pcie_writel_rc(pp, val, PCI_MEMORY_BASE);  in dw_pcie_setup_rc()
778 	dw_pcie_readl_rc(pp, PCI_COMMAND, &val);  in dw_pcie_setup_rc()
782 	dw_pcie_writel_rc(pp, val, PCI_COMMAND);  in dw_pcie_setup_rc()