| /linux/drivers/infiniband/sw/rxe/ |
| A D | rxe.c | 36 if (rxe->tfm) in rxe_dealloc() 123 err = rxe_pool_init(rxe, &rxe->uc_pool, RXE_TYPE_UC, in rxe_init_pools() 128 err = rxe_pool_init(rxe, &rxe->pd_pool, RXE_TYPE_PD, in rxe_init_pools() 133 err = rxe_pool_init(rxe, &rxe->ah_pool, RXE_TYPE_AH, in rxe_init_pools() 138 err = rxe_pool_init(rxe, &rxe->srq_pool, RXE_TYPE_SRQ, in rxe_init_pools() 143 err = rxe_pool_init(rxe, &rxe->qp_pool, RXE_TYPE_QP, in rxe_init_pools() 148 err = rxe_pool_init(rxe, &rxe->cq_pool, RXE_TYPE_CQ, in rxe_init_pools() 153 err = rxe_pool_init(rxe, &rxe->mr_pool, RXE_TYPE_MR, in rxe_init_pools() 158 err = rxe_pool_init(rxe, &rxe->mw_pool, RXE_TYPE_MW, in rxe_init_pools() 163 err = rxe_pool_init(rxe, &rxe->mc_grp_pool, RXE_TYPE_MC_GRP, in rxe_init_pools() [all …]
|
| A D | rxe_net.c | 156 struct rxe_dev *rxe; in rxe_udp_encap_recv() local 166 if (!rxe) in rxe_udp_encap_recv() 176 pkt->rxe = rxe; in rxe_udp_encap_recv() 513 pkt->rxe = rxe; in rxe_init_packet() 538 if (!rxe) in rxe_net_add() 541 rxe->ndev = ndev; in rxe_net_add() 569 port = &rxe->port; in rxe_port_up() 581 port = &rxe->port; in rxe_port_down() 591 if (netif_running(rxe->ndev) && netif_carrier_ok(rxe->ndev)) in rxe_set_port_state() 592 rxe_port_up(rxe); in rxe_set_port_state() [all …]
|
| A D | rxe_mmap.c | 23 spin_lock_bh(&rxe->pending_lock); in rxe_mmap_release() 28 spin_unlock_bh(&rxe->pending_lock); in rxe_mmap_release() 76 spin_lock_bh(&rxe->pending_lock); in rxe_mmap() 84 spin_unlock_bh(&rxe->pending_lock); in rxe_mmap() 92 spin_unlock_bh(&rxe->pending_lock); in rxe_mmap() 98 spin_unlock_bh(&rxe->pending_lock); in rxe_mmap() 130 spin_lock_bh(&rxe->mmap_offset_lock); in rxe_create_mmap_info() 132 if (rxe->mmap_offset == 0) in rxe_create_mmap_info() 135 ip->info.offset = rxe->mmap_offset; in rxe_create_mmap_info() 136 rxe->mmap_offset += ALIGN(size, SHMLBA); in rxe_create_mmap_info() [all …]
|
| A D | rxe_mcast.c | 11 static struct rxe_mc_grp *create_grp(struct rxe_dev *rxe, in create_grp() argument 18 grp = rxe_alloc_locked(&rxe->mc_grp_pool); in create_grp() 24 grp->rxe = rxe; in create_grp() 27 err = rxe_mcast_add(rxe, mgid); in create_grp() 42 struct rxe_pool *pool = &rxe->mc_grp_pool; in rxe_mcast_get_grp() 45 if (rxe->attr.max_mcast_qp_attach == 0) in rxe_mcast_get_grp() 54 grp = create_grp(rxe, pool, mgid); in rxe_mcast_get_grp() 88 elem = rxe_alloc_locked(&rxe->mc_elem_pool); in rxe_mcast_add_grp_elem() 117 grp = rxe_pool_get_key(&rxe->mc_grp_pool, mgid); in rxe_mcast_drop_grp_elem() 175 struct rxe_dev *rxe = grp->rxe; in rxe_mc_cleanup() local [all …]
|
| A D | rxe_recv.c | 82 struct rxe_port *port = &rxe->port; in check_keys() 172 struct rxe_dev *rxe = pkt->rxe; in hdr_check() local 173 struct rxe_port *port = &rxe->port; in hdr_check() 198 err = check_type_state(rxe, pkt, qp); in hdr_check() 202 err = check_addr(rxe, pkt, qp); in hdr_check() 206 err = check_keys(rxe, pkt, qpn, qp); in hdr_check() 314 ib_device_put(&rxe->ib_dev); in rxe_rcv_mcast_pkt() 363 struct rxe_dev *rxe = pkt->rxe; in rxe_rcv() local 368 if (rxe_chk_dgid(rxe, skb) < 0) { in rxe_rcv() 392 rxe_rcv_mcast_pkt(rxe, skb); in rxe_rcv() [all …]
|
| A D | rxe_verbs.c | 24 *attr = rxe->attr; in rxe_query_device() 35 *attr = rxe->port.attr; in rxe_query_port() 37 mutex_lock(&rxe->usdev_lock); in rxe_query_port() 48 mutex_unlock(&rxe->usdev_lock); in rxe_query_port() 76 memcpy(rxe->ib_dev.node_desc, in rxe_modify_device() 89 port = &rxe->port; in rxe_modify_port() 1031 struct rxe_dev *rxe = in parent_show() local 1052 rxe_set_port_state(rxe); in rxe_enable_driver() 1053 dev_info(&rxe->ib_dev.dev, "added %s\n", netdev_name(rxe->ndev)); in rxe_enable_driver() 1138 err = ib_device_set_netdev(&rxe->ib_dev, rxe->ndev, 1); in rxe_register_device() [all …]
|
| A D | rxe_loc.h | 13 int rxe_av_chk_attr(struct rxe_dev *rxe, struct rdma_ah_attr *attr); 25 int rxe_cq_chk_attr(struct rxe_dev *rxe, struct rxe_cq *cq, 43 int rxe_mcast_get_grp(struct rxe_dev *rxe, union ib_gid *mgid, 46 int rxe_mcast_add_grp_elem(struct rxe_dev *rxe, struct rxe_qp *qp, 109 int rxe_mcast_add(struct rxe_dev *rxe, union ib_gid *mgid); 110 int rxe_mcast_delete(struct rxe_dev *rxe, union ib_gid *mgid); 122 int rxe_qp_chk_attr(struct rxe_dev *rxe, struct rxe_qp *qp, 180 int rxe_srq_chk_attr(struct rxe_dev *rxe, struct rxe_srq *srq, 183 int rxe_srq_from_init(struct rxe_dev *rxe, struct rxe_srq *srq, 187 int rxe_srq_from_attr(struct rxe_dev *rxe, struct rxe_srq *srq, [all …]
|
| A D | rxe_qp.c | 21 if (cap->max_send_wr > rxe->attr.max_qp_wr) { in rxe_qp_chk_cap() 23 cap->max_send_wr, rxe->attr.max_qp_wr); in rxe_qp_chk_cap() 36 cap->max_recv_wr, rxe->attr.max_qp_wr); in rxe_qp_chk_cap() 90 port = &rxe->port; in rxe_qp_chk_init() 171 port = &rxe->port; in rxe_qp_init_misc() 259 rxe_init_task(rxe, &qp->req.task, qp, in rxe_qp_init_req() 261 rxe_init_task(rxe, &qp->comp.task, qp, in rxe_qp_init_req() 312 rxe_init_task(rxe, &qp->resp.task, qp, in rxe_qp_init_resp() 345 rxe_qp_init_misc(rxe, qp, init); in rxe_qp_from_init() 456 struct rxe_port *port = &rxe->port; in rxe_qp_chk_attr() [all …]
|
| A D | rxe_srq.c | 12 int rxe_srq_chk_attr(struct rxe_dev *rxe, struct rxe_srq *srq, in rxe_srq_chk_attr() argument 21 if (attr->max_wr > rxe->attr.max_srq_wr) { in rxe_srq_chk_attr() 23 attr->max_wr, rxe->attr.max_srq_wr); in rxe_srq_chk_attr() 43 if (attr->srq_limit > rxe->attr.max_srq_wr) { in rxe_srq_chk_attr() 45 attr->srq_limit, rxe->attr.max_srq_wr); in rxe_srq_chk_attr() 58 if (attr->max_sge > rxe->attr.max_srq_sge) { in rxe_srq_chk_attr() 60 attr->max_sge, rxe->attr.max_srq_sge); in rxe_srq_chk_attr() 74 int rxe_srq_from_init(struct rxe_dev *rxe, struct rxe_srq *srq, in rxe_srq_from_init() argument 96 q = rxe_queue_init(rxe, &srq->rq.max_wr, in rxe_srq_from_init() 105 err = do_mmap_info(rxe, uresp ? &uresp->mi : NULL, udata, q->buf, in rxe_srq_from_init() [all …]
|
| A D | rxe_queue.c | 12 int do_mmap_info(struct rxe_dev *rxe, struct mminfo __user *outbuf, in do_mmap_info() argument 20 ip = rxe_create_mmap_info(rxe, buf_size, udata, buf); in do_mmap_info() 31 spin_lock_bh(&rxe->pending_lock); in do_mmap_info() 32 list_add(&ip->pending_mmaps, &rxe->pending_mmaps); in do_mmap_info() 33 spin_unlock_bh(&rxe->pending_lock); in do_mmap_info() 55 struct rxe_queue *rxe_queue_init(struct rxe_dev *rxe, int *num_elem, in rxe_queue_init() argument 70 q->rxe = rxe; in rxe_queue_init() 156 new_q = rxe_queue_init(q->rxe, &num_elem, elem_size, q->type); in rxe_queue_resize() 160 err = do_mmap_info(new_q->rxe, outbuf, udata, new_q->buf, in rxe_queue_resize()
|
| A D | rxe_icrc.c | 18 int rxe_icrc_init(struct rxe_dev *rxe) in rxe_icrc_init() argument 29 rxe->tfm = tfm; in rxe_icrc_init() 43 static __be32 rxe_crc32(struct rxe_dev *rxe, __be32 crc, void *next, size_t len) in rxe_crc32() argument 48 SHASH_DESC_ON_STACK(shash, rxe->tfm); in rxe_crc32() 50 shash->tfm = rxe->tfm; in rxe_crc32() 124 crc = rxe_crc32(pkt->rxe, crc, pshdr, length); in rxe_icrc_hdr() 127 crc = rxe_crc32(pkt->rxe, crc, pkt->hdr + RXE_BTH_BYTES, in rxe_icrc_hdr() 150 icrc = rxe_crc32(pkt->rxe, icrc, (u8 *)payload_addr(pkt), in rxe_icrc_check() 182 icrc = rxe_crc32(pkt->rxe, icrc, (u8 *)payload_addr(pkt), in rxe_icrc_generate()
|
| A D | rxe.h | 44 void rxe_set_mtu(struct rxe_dev *rxe, unsigned int dev_mtu); 46 int rxe_add(struct rxe_dev *rxe, unsigned int mtu, const char *ibdev_name); 61 void rxe_port_up(struct rxe_dev *rxe); 62 void rxe_port_down(struct rxe_dev *rxe); 63 void rxe_set_port_state(struct rxe_dev *rxe);
|
| A D | rxe_mw.c | 12 struct rxe_dev *rxe = to_rdev(ibmw->device); in rxe_alloc_mw() local 17 ret = rxe_add_to_pool(&rxe->mw_pool, mw); in rxe_alloc_mw() 197 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_bind_mw() local 202 mw = rxe_pool_get_index(&rxe->mw_pool, mw_rkey >> 8); in rxe_bind_mw() 214 mr = rxe_pool_get_index(&rxe->mr_pool, mr_lkey >> 8); in rxe_bind_mw() 282 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_invalidate_mw() local 287 mw = rxe_pool_get_index(&rxe->mw_pool, rkey >> 8); in rxe_invalidate_mw() 315 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_lookup_mw() local 320 mw = rxe_pool_get_index(&rxe->mw_pool, index); in rxe_lookup_mw()
|
| A D | rxe_cq.c | 11 int rxe_cq_chk_attr(struct rxe_dev *rxe, struct rxe_cq *cq, in rxe_cq_chk_attr() argument 21 if (cqe > rxe->attr.max_cqe) { in rxe_cq_chk_attr() 23 cqe, rxe->attr.max_cqe); in rxe_cq_chk_attr() 57 int rxe_cq_from_init(struct rxe_dev *rxe, struct rxe_cq *cq, int cqe, in rxe_cq_from_init() argument 65 cq->queue = rxe_queue_init(rxe, &cqe, in rxe_cq_from_init() 72 err = do_mmap_info(rxe, uresp ? &uresp->mi : NULL, udata, in rxe_cq_from_init()
|
| A D | rxe_comp.c | 131 rxe_counter_inc(SKB_TO_PKT(skb)->rxe, RXE_CNT_COMPLETER_SCHED); in rxe_comp_queue_pkt() 216 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in check_ack() local 291 rxe_counter_inc(rxe, RXE_CNT_RCV_RNR); in check_ack() 301 rxe_counter_inc(rxe, in check_ack() 425 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in do_complete() local 445 rxe_counter_inc(rxe, RXE_CNT_RDMA_SEND); in do_complete() 560 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_completer() local 718 rxe_counter_inc(rxe, in rxe_completer() 727 rxe_counter_inc(rxe, RXE_CNT_RETRY_EXCEEDED); in rxe_completer() 747 rxe_counter_inc(rxe, in rxe_completer()
|
| A D | rxe_av.c | 17 int rxe_av_chk_attr(struct rxe_dev *rxe, struct rdma_ah_attr *attr) in rxe_av_chk_attr() argument 23 port = &rxe->port; in rxe_av_chk_attr() 119 ah = rxe_pool_get_index(&pkt->rxe->ah_pool, ah_num); in rxe_get_av()
|
| A D | rxe_verbs.h | 359 struct rxe_dev *rxe; member 420 static inline void rxe_counter_inc(struct rxe_dev *rxe, enum rxe_counters index) in rxe_counter_inc() argument 422 atomic64_inc(&rxe->stats_counters[index]); in rxe_counter_inc() 485 int rxe_register_device(struct rxe_dev *rxe, const char *ibdev_name);
|
| A D | rxe_queue.h | 57 struct rxe_dev *rxe; member 73 int do_mmap_info(struct rxe_dev *rxe, struct mminfo __user *outbuf, 79 struct rxe_queue *rxe_queue_init(struct rxe_dev *rxe, int *num_elem,
|
| A D | rxe_pool.h | 49 struct rxe_dev *rxe; member 80 int rxe_pool_init(struct rxe_dev *rxe, struct rxe_pool *pool,
|
| A D | rxe_resp.c | 124 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in check_psn() local 133 rxe_counter_inc(rxe, RXE_CNT_OUT_OF_SEQ_REQ); in check_psn() 137 rxe_counter_inc(rxe, RXE_CNT_DUP_REQ); in check_psn() 602 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in prepare_ack_packet() local 614 skb = rxe_init_packet(rxe, &qp->pri_av, paylen, ack); in prepare_ack_packet() 841 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in do_complete() local 859 rxe_counter_inc(rxe, RXE_CNT_RDMA_RECV); in do_complete() 1198 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_responder() local 1287 rxe_counter_inc(rxe, RXE_CNT_SND_RNR); in rxe_responder()
|
| A D | rxe_req.c | 355 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in get_mtu() local 360 return rxe->port.mtu_cap; in get_mtu() 368 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in init_req_packet() local 383 pkt->rxe = rxe; in init_req_packet() 396 skb = rxe_init_packet(rxe, av, paylen, pkt); in init_req_packet()
|
| A D | rxe_mr.c | 561 struct rxe_dev *rxe = to_rdev(pd->ibpd.device); in lookup_mr() local 564 mr = rxe_pool_get_index(&rxe->mr_pool, index); in lookup_mr() 581 struct rxe_dev *rxe = to_rdev(qp->ibqp.device); in rxe_invalidate_mr() local 585 mr = rxe_pool_get_index(&rxe->mr_pool, rkey >> 8); in rxe_invalidate_mr()
|
| A D | Makefile | 5 rxe.o \
|
| A D | rxe_pool.c | 128 struct rxe_dev *rxe, in rxe_pool_init() argument 138 pool->rxe = rxe; in rxe_pool_init()
|
| /linux/drivers/infiniband/sw/ |
| A D | Makefile | 3 obj-$(CONFIG_RDMA_RXE) += rxe/
|