Lines Matching refs:expmask
138 WARN_ON_ONCE(rnp->expmask); in sync_exp_reset_tree()
139 WRITE_ONCE(rnp->expmask, rnp->expmaskinit); in sync_exp_reset_tree()
154 READ_ONCE(rnp->expmask) == 0; in sync_rcu_exp_done()
191 if (!rnp->expmask) in __rcu_report_exp_rnp()
209 WARN_ON_ONCE(!(rnp->expmask & mask)); in __rcu_report_exp_rnp()
210 WRITE_ONCE(rnp->expmask, rnp->expmask & ~mask); in __rcu_report_exp_rnp()
238 if (!(rnp->expmask & mask)) { in rcu_report_exp_cpu_mult()
242 WRITE_ONCE(rnp->expmask, rnp->expmask & ~mask); in rcu_report_exp_cpu_mult()
352 for_each_leaf_node_cpu_mask(rnp, cpu, rnp->expmask) { in sync_rcu_exp_select_node_cpus()
368 mask_ofl_ipi = rnp->expmask & ~mask_ofl_test; in sync_rcu_exp_select_node_cpus()
402 (rnp->expmask & mask)) { in sync_rcu_exp_select_node_cpus()
410 if (rnp->expmask & mask) in sync_rcu_exp_select_node_cpus()
435 if (!READ_ONCE(rnp->expmask)) in sync_rcu_exp_select_cpus()
504 for_each_leaf_node_cpu_mask(rnp, cpu, rnp->expmask) { in synchronize_rcu_expedited_wait()
533 if (!(READ_ONCE(rnp->expmask) & mask)) in synchronize_rcu_expedited_wait()
545 data_race(rnp_root->expmask), in synchronize_rcu_expedited_wait()
556 data_race(rnp->expmask), in synchronize_rcu_expedited_wait()
564 if (!(READ_ONCE(rnp->expmask) & mask)) in synchronize_rcu_expedited_wait()
679 if (rnp->expmask & rdp->grpmask) { in rcu_exp_handler()
738 if (!(READ_ONCE(rnp->expmask) & rdp->grpmask) || in rcu_exp_handler()
761 if (!(READ_ONCE(rnp->expmask) & rdp->grpmask) || in sync_sched_exp_online_cleanup()