453 	struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_cleanup_task()  local
460 	spin_lock_bh(&tcp_task->queue2pool);  in iscsi_tcp_cleanup_task()
462 	while (kfifo_out(&tcp_task->r2tqueue, (void*)&r2t, sizeof(void*))) {  in iscsi_tcp_cleanup_task()
463 		kfifo_in(&tcp_task->r2tpool.queue, (void*)&r2t,  in iscsi_tcp_cleanup_task()
468 	r2t = tcp_task->r2t;  in iscsi_tcp_cleanup_task()
470 		kfifo_in(&tcp_task->r2tpool.queue, (void*)&r2t,  in iscsi_tcp_cleanup_task()
472 		tcp_task->r2t = NULL;  in iscsi_tcp_cleanup_task()
474 	spin_unlock_bh(&tcp_task->queue2pool);  in iscsi_tcp_cleanup_task()
486 	struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_data_in()  local
501 	if (tcp_task->exp_datasn != datasn) {  in iscsi_tcp_data_in()
503 			      "\n", tcp_task->exp_datasn, datasn);  in iscsi_tcp_data_in()
507 	tcp_task->exp_datasn++;  in iscsi_tcp_data_in()
509 	tcp_task->data_offset = be32_to_cpu(rhdr->offset);  in iscsi_tcp_data_in()
510 	if (tcp_task->data_offset + tcp_conn->in.datalen > total_in_length) {  in iscsi_tcp_data_in()
512 			      "total_length_in(%d)\n", tcp_task->data_offset,  in iscsi_tcp_data_in()
529 	struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_r2t_rsp()  local
545 	if (tcp_task->exp_datasn != r2tsn){  in iscsi_tcp_r2t_rsp()
547 			      tcp_task->exp_datasn, r2tsn);  in iscsi_tcp_r2t_rsp()
582 	spin_lock(&tcp_task->pool2queue);  in iscsi_tcp_r2t_rsp()
583 	rc = kfifo_out(&tcp_task->r2tpool.queue, (void *)&r2t, sizeof(void *));  in iscsi_tcp_r2t_rsp()
588 		spin_unlock(&tcp_task->pool2queue);  in iscsi_tcp_r2t_rsp()
600 	tcp_task->exp_datasn = r2tsn + 1;  in iscsi_tcp_r2t_rsp()
601 	kfifo_in(&tcp_task->r2tqueue, (void*)&r2t, sizeof(void*));  in iscsi_tcp_r2t_rsp()
603 	spin_unlock(&tcp_task->pool2queue);  in iscsi_tcp_r2t_rsp()
688 			struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_hdr_dissect()  local
706 				      tcp_task->data_offset,  in iscsi_tcp_hdr_dissect()
712 						   tcp_task->data_offset,  in iscsi_tcp_hdr_dissect()
959 	struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_task_init()  local
974 	BUG_ON(kfifo_len(&tcp_task->r2tqueue));  in iscsi_tcp_task_init()
975 	tcp_task->exp_datasn = 0;  in iscsi_tcp_task_init()
991 	struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_get_curr_r2t()  local
997 		spin_lock_bh(&tcp_task->queue2pool);  in iscsi_tcp_get_curr_r2t()
998 		if (tcp_task->r2t) {  in iscsi_tcp_get_curr_r2t()
999 			r2t = tcp_task->r2t;  in iscsi_tcp_get_curr_r2t()
1004 				kfifo_in(&tcp_task->r2tpool.queue,  in iscsi_tcp_get_curr_r2t()
1005 					    (void *)&tcp_task->r2t,  in iscsi_tcp_get_curr_r2t()
1007 				tcp_task->r2t = r2t = NULL;  in iscsi_tcp_get_curr_r2t()
1012 			if (kfifo_out(&tcp_task->r2tqueue,  in iscsi_tcp_get_curr_r2t()
1013 			    (void *)&tcp_task->r2t, sizeof(void *)) !=  in iscsi_tcp_get_curr_r2t()
1017 				r2t = tcp_task->r2t;  in iscsi_tcp_get_curr_r2t()
1019 		spin_unlock_bh(&tcp_task->queue2pool);  in iscsi_tcp_get_curr_r2t()
1128 		struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_r2tpool_alloc()  local
1137 		if (iscsi_pool_init(&tcp_task->r2tpool,  in iscsi_tcp_r2tpool_alloc()
1144 		if (kfifo_alloc(&tcp_task->r2tqueue,  in iscsi_tcp_r2tpool_alloc()
1146 			iscsi_pool_free(&tcp_task->r2tpool);  in iscsi_tcp_r2tpool_alloc()
1149 		spin_lock_init(&tcp_task->pool2queue);  in iscsi_tcp_r2tpool_alloc()
1150 		spin_lock_init(&tcp_task->queue2pool);  in iscsi_tcp_r2tpool_alloc()
1158 		struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_r2tpool_alloc()  local
1160 		kfifo_free(&tcp_task->r2tqueue);  in iscsi_tcp_r2tpool_alloc()
1161 		iscsi_pool_free(&tcp_task->r2tpool);  in iscsi_tcp_r2tpool_alloc()
1173 		struct iscsi_tcp_task *tcp_task = task->dd_data;  in iscsi_tcp_r2tpool_free()  local
1175 		kfifo_free(&tcp_task->r2tqueue);  in iscsi_tcp_r2tpool_free()
1176 		iscsi_pool_free(&tcp_task->r2tpool);  in iscsi_tcp_r2tpool_free()