494 					   const struct Qdisc *sch)  in qdisc_calculate_pkt_len()  argument
497 	struct qdisc_size_table *stab = rcu_dereference_bh(sch->stab);  in qdisc_calculate_pkt_len()
504 static inline int qdisc_enqueue(struct sk_buff *skb, struct Qdisc *sch)  in qdisc_enqueue()  argument
506 	qdisc_calculate_pkt_len(skb, sch);  in qdisc_enqueue()
507 	return sch->enqueue(skb, sch);  in qdisc_enqueue()
530 static inline void qdisc_bstats_cpu_update(struct Qdisc *sch,  in qdisc_bstats_cpu_update()  argument
533 	bstats_cpu_update(this_cpu_ptr(sch->cpu_bstats), skb);  in qdisc_bstats_cpu_update()
536 static inline void qdisc_bstats_update(struct Qdisc *sch,  in qdisc_bstats_update()  argument
539 	bstats_update(&sch->bstats, skb);  in qdisc_bstats_update()
542 static inline void qdisc_qstats_backlog_dec(struct Qdisc *sch,  in qdisc_qstats_backlog_dec()  argument
545 	sch->qstats.backlog -= qdisc_pkt_len(skb);  in qdisc_qstats_backlog_dec()
548 static inline void qdisc_qstats_backlog_inc(struct Qdisc *sch,  in qdisc_qstats_backlog_inc()  argument
551 	sch->qstats.backlog += qdisc_pkt_len(skb);  in qdisc_qstats_backlog_inc()
554 static inline void __qdisc_qstats_drop(struct Qdisc *sch, int count)  in __qdisc_qstats_drop()  argument
556 	sch->qstats.drops += count;  in __qdisc_qstats_drop()
569 static inline void qdisc_qstats_drop(struct Qdisc *sch)  in qdisc_qstats_drop()  argument
571 	qstats_drop_inc(&sch->qstats);  in qdisc_qstats_drop()
574 static inline void qdisc_qstats_cpu_drop(struct Qdisc *sch)  in qdisc_qstats_cpu_drop()  argument
576 	qstats_drop_inc(this_cpu_ptr(sch->cpu_qstats));  in qdisc_qstats_cpu_drop()
579 static inline void qdisc_qstats_overlimit(struct Qdisc *sch)  in qdisc_qstats_overlimit()  argument
581 	sch->qstats.overlimits++;  in qdisc_qstats_overlimit()
584 static inline int __qdisc_enqueue_tail(struct sk_buff *skb, struct Qdisc *sch,  in __qdisc_enqueue_tail()  argument
588 	qdisc_qstats_backlog_inc(sch, skb);  in __qdisc_enqueue_tail()
593 static inline int qdisc_enqueue_tail(struct sk_buff *skb, struct Qdisc *sch)  in qdisc_enqueue_tail()  argument
595 	return __qdisc_enqueue_tail(skb, sch, &sch->q);  in qdisc_enqueue_tail()
598 static inline struct sk_buff *__qdisc_dequeue_head(struct Qdisc *sch,  in __qdisc_dequeue_head()  argument
604 		qdisc_qstats_backlog_dec(sch, skb);  in __qdisc_dequeue_head()
605 		qdisc_bstats_update(sch, skb);  in __qdisc_dequeue_head()
611 static inline struct sk_buff *qdisc_dequeue_head(struct Qdisc *sch)  in qdisc_dequeue_head()  argument
613 	return __qdisc_dequeue_head(sch, &sch->q);  in qdisc_dequeue_head()
616 static inline unsigned int __qdisc_queue_drop_head(struct Qdisc *sch,  in __qdisc_queue_drop_head()  argument
623 		qdisc_qstats_backlog_dec(sch, skb);  in __qdisc_queue_drop_head()
631 static inline unsigned int qdisc_queue_drop_head(struct Qdisc *sch)  in qdisc_queue_drop_head()  argument
633 	return __qdisc_queue_drop_head(sch, &sch->q);  in qdisc_queue_drop_head()
636 static inline struct sk_buff *__qdisc_dequeue_tail(struct Qdisc *sch,  in __qdisc_dequeue_tail()  argument
642 		qdisc_qstats_backlog_dec(sch, skb);  in __qdisc_dequeue_tail()
647 static inline struct sk_buff *qdisc_dequeue_tail(struct Qdisc *sch)  in qdisc_dequeue_tail()  argument
649 	return __qdisc_dequeue_tail(sch, &sch->q);  in qdisc_dequeue_tail()
652 static inline struct sk_buff *qdisc_peek_head(struct Qdisc *sch)  in qdisc_peek_head()  argument
654 	return skb_peek(&sch->q);  in qdisc_peek_head()
658 static inline struct sk_buff *qdisc_peek_dequeued(struct Qdisc *sch)  in qdisc_peek_dequeued()  argument
661 	if (!sch->gso_skb) {  in qdisc_peek_dequeued()
662 		sch->gso_skb = sch->dequeue(sch);  in qdisc_peek_dequeued()
663 		if (sch->gso_skb)  in qdisc_peek_dequeued()
665 			sch->q.qlen++;  in qdisc_peek_dequeued()
668 	return sch->gso_skb;  in qdisc_peek_dequeued()
672 static inline struct sk_buff *qdisc_dequeue_peeked(struct Qdisc *sch)  in qdisc_dequeue_peeked()  argument
674 	struct sk_buff *skb = sch->gso_skb;  in qdisc_dequeue_peeked()
677 		sch->gso_skb = NULL;  in qdisc_dequeue_peeked()
678 		sch->q.qlen--;  in qdisc_dequeue_peeked()
680 		skb = sch->dequeue(sch);  in qdisc_dequeue_peeked()
686 static inline void __qdisc_reset_queue(struct Qdisc *sch,  in __qdisc_reset_queue()  argument
696 static inline void qdisc_reset_queue(struct Qdisc *sch)  in qdisc_reset_queue()  argument
698 	__qdisc_reset_queue(sch, &sch->q);  in qdisc_reset_queue()
699 	sch->qstats.backlog = 0;  in qdisc_reset_queue()
702 static inline struct Qdisc *qdisc_replace(struct Qdisc *sch, struct Qdisc *new,  in qdisc_replace()  argument
707 	sch_tree_lock(sch);  in qdisc_replace()
714 	sch_tree_unlock(sch);  in qdisc_replace()
719 static inline unsigned int __qdisc_queue_drop(struct Qdisc *sch,  in __qdisc_queue_drop()  argument
722 	struct sk_buff *skb = __qdisc_dequeue_tail(sch, list);  in __qdisc_queue_drop()
733 static inline unsigned int qdisc_queue_drop(struct Qdisc *sch)  in qdisc_queue_drop()  argument
735 	return __qdisc_queue_drop(sch, &sch->q);  in qdisc_queue_drop()
738 static inline int qdisc_drop(struct sk_buff *skb, struct Qdisc *sch)  in qdisc_drop()  argument
741 	qdisc_qstats_drop(sch);  in qdisc_drop()
746 static inline int qdisc_reshape_fail(struct sk_buff *skb, struct Qdisc *sch)  in qdisc_reshape_fail()  argument
748 	qdisc_qstats_drop(sch);  in qdisc_reshape_fail()
751 	if (sch->reshape_fail == NULL || sch->reshape_fail(skb, sch))  in qdisc_reshape_fail()