Lines Matching refs:VEC_SIZE
72 # if VEC_SIZE > 16
81 #define ALIGN_MOVSB (VEC_SIZE > 16)
115 #if VEC_SIZE == 64
116 # define LARGE_LOAD_SIZE (VEC_SIZE * 2)
118 # define LARGE_LOAD_SIZE (VEC_SIZE * 4)
128 # define AVOID_SHORT_DISTANCE_REP_MOVSB (VEC_SIZE > 16)
142 #define PREFETCHED_LOAD_SIZE (VEC_SIZE * 4)
165 #if LARGE_LOAD_SIZE == (VEC_SIZE * 2)
168 VMOVU ((offset) + VEC_SIZE)base, vec1;
171 VMOVNT vec1, ((offset) + VEC_SIZE)base;
172 #elif LARGE_LOAD_SIZE == (VEC_SIZE * 4)
175 VMOVU ((offset) + VEC_SIZE)base, vec1; \
176 VMOVU ((offset) + VEC_SIZE * 2)base, vec2; \
177 VMOVU ((offset) + VEC_SIZE * 3)base, vec3;
180 VMOVNT vec1, ((offset) + VEC_SIZE)base; \
181 VMOVNT vec2, ((offset) + VEC_SIZE * 2)base; \
182 VMOVNT vec3, ((offset) + VEC_SIZE * 3)base;
219 cmp $VEC_SIZE, %RDX_LP
223 cmp $(VEC_SIZE * 2), %RDX_LP
226 VMOVU -VEC_SIZE(%rsi,%rdx), %VEC(1)
228 VMOVU %VEC(1), -VEC_SIZE(%rdi,%rdx)
236 # if VEC_SIZE == 16
314 cmp $VEC_SIZE, %RDX_LP
318 cmp $(VEC_SIZE * 2), %RDX_LP
322 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(1)
324 VMOVU %VEC(1), -VEC_SIZE(%rdi, %rdx)
326 # if VEC_SIZE > 16
349 #if VEC_SIZE != 16 && VEC_SIZE != 32 && VEC_SIZE != 64
350 # error Unsupported VEC_SIZE!
352 #if VEC_SIZE > 32
356 #if VEC_SIZE > 16
390 #if VEC_SIZE > 16
402 #if VEC_SIZE > 32
427 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(2)
428 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(3)
430 VMOVU %VEC(1), VEC_SIZE(%rdi)
431 VMOVU %VEC(2), -VEC_SIZE(%rdi, %rdx)
432 VMOVU %VEC(3), -(VEC_SIZE * 2)(%rdi, %rdx)
444 cmpq $(VEC_SIZE * 8), %rdx
447 VMOVU VEC_SIZE(%rsi), %VEC(1)
448 cmpq $(VEC_SIZE * 4), %rdx
451 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
452 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
453 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(4)
454 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(5)
455 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(6)
456 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(7)
458 VMOVU %VEC(1), VEC_SIZE(%rdi)
459 VMOVU %VEC(2), (VEC_SIZE * 2)(%rdi)
460 VMOVU %VEC(3), (VEC_SIZE * 3)(%rdi)
461 VMOVU %VEC(4), -VEC_SIZE(%rdi, %rdx)
462 VMOVU %VEC(5), -(VEC_SIZE * 2)(%rdi, %rdx)
463 VMOVU %VEC(6), -(VEC_SIZE * 3)(%rdi, %rdx)
464 VMOVU %VEC(7), -(VEC_SIZE * 4)(%rdi, %rdx)
478 #if (defined USE_MULTIARCH || VEC_SIZE == 16) && IS_IN (libc)
513 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(5)
514 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(6)
518 orq $(VEC_SIZE - 1), %rdi
519 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(7)
520 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(8)
529 leaq (VEC_SIZE * -4)(%rcx, %rdx), %rdx
536 VMOVU VEC_SIZE(%rsi), %VEC(2)
537 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(3)
538 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(4)
539 subq $-(VEC_SIZE * 4), %rsi
541 VMOVA %VEC(2), VEC_SIZE(%rdi)
542 VMOVA %VEC(3), (VEC_SIZE * 2)(%rdi)
543 VMOVA %VEC(4), (VEC_SIZE * 3)(%rdi)
544 subq $-(VEC_SIZE * 4), %rdi
548 VMOVU %VEC(5), (VEC_SIZE * 3)(%rdx)
549 VMOVU %VEC(6), (VEC_SIZE * 2)(%rdx)
550 VMOVU %VEC(7), VEC_SIZE(%rdx)
570 VMOVU VEC_SIZE(%rsi), %VEC(5)
571 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(6)
573 leaq (VEC_SIZE * -4 + -1)(%rdi, %rdx), %rcx
574 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(7)
575 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(8)
579 andq $-(VEC_SIZE), %rcx
587 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(1)
588 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
589 VMOVU (VEC_SIZE * 1)(%rsi), %VEC(3)
590 VMOVU (VEC_SIZE * 0)(%rsi), %VEC(4)
591 addq $(VEC_SIZE * -4), %rsi
592 VMOVA %VEC(1), (VEC_SIZE * 3)(%rcx)
593 VMOVA %VEC(2), (VEC_SIZE * 2)(%rcx)
594 VMOVA %VEC(3), (VEC_SIZE * 1)(%rcx)
595 VMOVA %VEC(4), (VEC_SIZE * 0)(%rcx)
596 addq $(VEC_SIZE * -4), %rcx
601 VMOVU %VEC(5), VEC_SIZE(%rdi)
602 VMOVU %VEC(6), (VEC_SIZE * 2)(%rdi)
603 VMOVU %VEC(7), (VEC_SIZE * 3)(%rdi)
605 VMOVU %VEC(8), -VEC_SIZE(%rdx, %rdi)
614 # if MOVSB_ALIGN_TO > VEC_SIZE
615 VMOVU VEC_SIZE(%rsi), %VEC(1)
617 # if MOVSB_ALIGN_TO > (VEC_SIZE * 2)
645 # if MOVSB_ALIGN_TO > VEC_SIZE
646 VMOVU %VEC(1), VEC_SIZE(%r8)
686 # if MOVSB_ALIGN_TO > VEC_SIZE
687 VMOVU VEC_SIZE(%rsi), %VEC(1)
689 # if MOVSB_ALIGN_TO > (VEC_SIZE * 2)
712 # if MOVSB_ALIGN_TO > VEC_SIZE
713 VMOVU %VEC(1), VEC_SIZE(%r8)
725 #if (defined USE_MULTIARCH || VEC_SIZE == 16) && IS_IN (libc)
742 # if VEC_SIZE < 64
743 VMOVU VEC_SIZE(%rsi), %VEC(1)
744 # if VEC_SIZE < 32
745 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
746 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
750 # if VEC_SIZE < 64
751 VMOVU %VEC(1), VEC_SIZE(%rdi)
752 # if VEC_SIZE < 32
753 VMOVU %VEC(2), (VEC_SIZE * 2)(%rdi)
754 VMOVU %VEC(3), (VEC_SIZE * 3)(%rdi)
777 testl $(PAGE_SIZE - VEC_SIZE * 8), %ecx
816 cmpl $(VEC_SIZE * 4), %edx
825 VMOVU VEC_SIZE(%rsi), %VEC(1)
826 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
827 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
828 subq $-(VEC_SIZE * 4), %rsi
829 addl $-(VEC_SIZE * 4), %edx
831 VMOVA %VEC(1), VEC_SIZE(%rdi)
832 VMOVA %VEC(2), (VEC_SIZE * 2)(%rdi)
833 VMOVA %VEC(3), (VEC_SIZE * 3)(%rdi)
834 subq $-(VEC_SIZE * 4), %rdi
835 cmpl $(VEC_SIZE * 4), %edx
840 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(0)
841 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(1)
842 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(2)
843 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(3)
845 VMOVU %VEC(0), -(VEC_SIZE * 4)(%rdi, %rdx)
846 VMOVU %VEC(1), -(VEC_SIZE * 3)(%rdi, %rdx)
847 VMOVU %VEC(2), -(VEC_SIZE * 2)(%rdi, %rdx)
848 VMOVU %VEC(3), -VEC_SIZE(%rdi, %rdx)
890 cmpl $(VEC_SIZE * 4), %edx
899 VMOVU VEC_SIZE(%rsi), %VEC(1)
900 VMOVU (VEC_SIZE * 2)(%rsi), %VEC(2)
901 VMOVU (VEC_SIZE * 3)(%rsi), %VEC(3)
902 subq $-(VEC_SIZE * 4), %rsi
903 addl $-(VEC_SIZE * 4), %edx
905 VMOVA %VEC(1), VEC_SIZE(%rdi)
906 VMOVA %VEC(2), (VEC_SIZE * 2)(%rdi)
907 VMOVA %VEC(3), (VEC_SIZE * 3)(%rdi)
908 subq $-(VEC_SIZE * 4), %rdi
909 cmpl $(VEC_SIZE * 4), %edx
914 VMOVU -(VEC_SIZE * 4)(%rsi, %rdx), %VEC(0)
915 VMOVU -(VEC_SIZE * 3)(%rsi, %rdx), %VEC(1)
916 VMOVU -(VEC_SIZE * 2)(%rsi, %rdx), %VEC(2)
917 VMOVU -VEC_SIZE(%rsi, %rdx), %VEC(3)
919 VMOVU %VEC(0), -(VEC_SIZE * 4)(%rdi, %rdx)
920 VMOVU %VEC(1), -(VEC_SIZE * 3)(%rdi, %rdx)
921 VMOVU %VEC(2), -(VEC_SIZE * 2)(%rdi, %rdx)
922 VMOVU %VEC(3), -VEC_SIZE(%rdi, %rdx)