Lines Matching refs:io_wq
467 struct io_wq *io_wq; member
1568 BUG_ON(!tctx->io_wq); in io_queue_async_work()
1585 io_wq_enqueue(tctx->io_wq, &req->work); in io_queue_async_work()
6292 if (!tctx || !tctx->io_wq) in io_async_cancel_one()
6295 cancel_ret = io_wq_cancel_cb(tctx->io_wq, io_cancel_cb, &data, false); in io_async_cancel_one()
8616 static struct io_wq *io_init_wq_offload(struct io_ring_ctx *ctx, in io_init_wq_offload()
8664 tctx->io_wq = io_init_wq_offload(ctx, task); in io_uring_alloc_task_context()
8665 if (IS_ERR(tctx->io_wq)) { in io_uring_alloc_task_context()
8666 ret = PTR_ERR(tctx->io_wq); in io_uring_alloc_task_context()
8688 WARN_ON_ONCE(tctx->io_wq); in __io_uring_free()
9494 if (tsk && tsk->io_uring && tsk->io_uring->io_wq) in io_ring_exit_work()
9495 io_wq_cancel_cb(tsk->io_uring->io_wq, in io_ring_exit_work()
9656 if (!tctx || !tctx->io_wq) in io_uring_try_cancel_iowq()
9658 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_ctx_cb, ctx, true); in io_uring_try_cancel_iowq()
9679 } else if (tctx && tctx->io_wq) { in io_uring_try_cancel_requests()
9684 cret = io_wq_cancel_cb(tctx->io_wq, io_cancel_task_cb, in io_uring_try_cancel_requests()
9725 ret = io_wq_max_workers(tctx->io_wq, limits); in __io_uring_add_tctx_node()
9792 struct io_wq *wq = tctx->io_wq; in io_uring_clean_tctx()
9806 tctx->io_wq = NULL; in io_uring_clean_tctx()
9845 if (tctx->io_wq) in io_uring_cancel_generic()
9846 io_wq_exit_start(tctx->io_wq); in io_uring_cancel_generic()
10764 if (!tctx || !tctx->io_wq) in io_register_iowq_aff()
10779 ret = io_wq_cpu_affinity(tctx->io_wq, new_mask); in io_register_iowq_aff()
10788 if (!tctx || !tctx->io_wq) in io_unregister_iowq_aff()
10791 return io_wq_cpu_affinity(tctx->io_wq, NULL); in io_unregister_iowq_aff()
10836 if (tctx && tctx->io_wq) { in io_register_iowq_max_workers()
10837 ret = io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()
10860 if (WARN_ON_ONCE(!tctx->io_wq)) in io_register_iowq_max_workers()
10866 (void)io_wq_max_workers(tctx->io_wq, new_count); in io_register_iowq_max_workers()