Lines Matching refs:VEC_SIZE
34 # ifndef VEC_SIZE
35 # define VEC_SIZE 32 macro
70 and $((VEC_SIZE * 4) - 1), %ecx
71 cmp $(VEC_SIZE * 2), %ecx
74 and $-VEC_SIZE, %rsi
75 and $(VEC_SIZE - 1), %ecx
83 mov $VEC_SIZE, %r10
87 mov $(VEC_SIZE + 1), %r10
96 vpcmpb $0, VEC_SIZE(%rsi), %YMMZERO, %k1
100 add $VEC_SIZE, %r10
119 mov $VEC_SIZE, %rcx
122 VMOVA VEC_SIZE(%rsi, %rcx), %YMM2
125 add $VEC_SIZE, %rcx
127 sub $(VEC_SIZE * 3), %r8
138 VMOVA VEC_SIZE(%rsi, %rcx), %YMM3
141 add $VEC_SIZE, %rcx
143 sub $VEC_SIZE, %r8
154 VMOVA VEC_SIZE(%rsi, %rcx), %YMM4
157 add $VEC_SIZE, %rcx
159 sub $VEC_SIZE, %r8
170 VMOVA VEC_SIZE(%rsi, %rcx), %YMM2
173 add $VEC_SIZE, %rcx
175 sub $VEC_SIZE, %r8
186 VMOVA VEC_SIZE(%rsi, %rcx), %YMM2
189 add $VEC_SIZE, %rcx
191 sub $VEC_SIZE, %r8
201 VMOVA VEC_SIZE(%rsi, %rcx), %YMM3
205 add $VEC_SIZE, %rcx
207 sub $VEC_SIZE, %r8
219 lea VEC_SIZE(%rsi, %rcx), %rsi
220 and $-(VEC_SIZE * 4), %rsi
224 lea (VEC_SIZE * 8)(%r8, %rdx), %r8
228 VMOVA VEC_SIZE(%rsi), %YMM5
229 VMOVA (VEC_SIZE * 2)(%rsi), %YMM6
230 VMOVA (VEC_SIZE * 3)(%rsi), %YMM7
238 sub $(VEC_SIZE * 4), %r8
245 add $(VEC_SIZE * 4), %rdi
246 add $(VEC_SIZE * 4), %rsi
247 VMOVU %YMM4, -(VEC_SIZE * 4)(%rdi)
249 VMOVU %YMM5, -(VEC_SIZE * 3)(%rdi)
250 VMOVA VEC_SIZE(%rsi), %YMM5
252 VMOVU %YMM6, -(VEC_SIZE * 2)(%rdi)
253 VMOVA (VEC_SIZE * 2)(%rsi), %YMM6
254 VMOVU %YMM7, -VEC_SIZE(%rdi)
255 VMOVA (VEC_SIZE * 3)(%rsi), %YMM7
262 sub $(VEC_SIZE * 4), %r8
288 VMOVU %YMM5, VEC_SIZE(%rdi)
289 VMOVU %YMM6, (VEC_SIZE * 2)(%rdi)
292 lea (VEC_SIZE * 3)(%rdi, %rdx), %rax
294 VMOVU %YMM7, (VEC_SIZE * 3)(%rdi)
295 add $(VEC_SIZE - 1), %r8
297 lea ((VEC_SIZE * 3) + 1)(%rdi, %rdx), %rdi
300 add $(VEC_SIZE * 3), %rsi
301 add $(VEC_SIZE * 3), %rdi
309 VMOVU VEC_SIZE(%rsi), %YMM2
315 cmp $VEC_SIZE, %r8
317 cmp $(VEC_SIZE + 1), %r8
330 cmp $(VEC_SIZE * 2), %r8
332 cmp $((VEC_SIZE * 2) + 1), %r8
339 and $-VEC_SIZE, %rsi
340 and $(VEC_SIZE - 1), %ecx
383 add $VEC_SIZE, %rsi
384 add $VEC_SIZE, %rdi
386 sub $VEC_SIZE, %r8
394 add $VEC_SIZE, %edx
406 add $((VEC_SIZE * 4) - 1), %r8
420 lea VEC_SIZE(%rdi, %rdx), %rax
422 VMOVU %YMM5, VEC_SIZE(%rdi)
423 add $((VEC_SIZE * 3) - 1), %r8
425 lea (VEC_SIZE + 1)(%rdi, %rdx), %rdi
428 add $VEC_SIZE, %rsi
429 add $VEC_SIZE, %rdi
437 VMOVU %YMM5, VEC_SIZE(%rdi)
440 lea (VEC_SIZE * 2)(%rdi, %rdx), %rax
442 VMOVU %YMM6, (VEC_SIZE * 2)(%rdi)
443 add $((VEC_SIZE * 2) - 1), %r8
445 lea ((VEC_SIZE * 2) + 1)(%rdi, %rdx), %rdi
448 add $(VEC_SIZE * 2), %rsi
449 add $(VEC_SIZE * 2), %rdi
480 add $VEC_SIZE, %r8
492 add $VEC_SIZE, %edx
518 add $VEC_SIZE, %r8
539 add $VEC_SIZE, %rdi
540 add $VEC_SIZE, %rsi
541 sub $VEC_SIZE, %r8
747 VMOVU -VEC_SIZE(%rsi, %r8), %YMM3
749 VMOVU %YMM3, -VEC_SIZE(%rdi, %r8)
818 add $(VEC_SIZE - 1), %r8
829 sub $VEC_SIZE, %r8
833 add $VEC_SIZE, %rdi
836 and $(VEC_SIZE - 1), %esi
839 sub $(VEC_SIZE * 4), %r8
844 VMOVA %YMMZERO, VEC_SIZE(%rdi)
845 VMOVA %YMMZERO, (VEC_SIZE * 2)(%rdi)
846 VMOVA %YMMZERO, (VEC_SIZE * 3)(%rdi)
847 add $(VEC_SIZE * 4), %rdi
848 sub $(VEC_SIZE * 4), %r8
852 add $(VEC_SIZE * 2), %r8
855 VMOVA %YMMZERO, VEC_SIZE(%rdi)
856 add $(VEC_SIZE * 2), %rdi
857 sub $VEC_SIZE, %r8
860 add $VEC_SIZE, %rdi
865 add $VEC_SIZE, %r8
868 add $VEC_SIZE, %rdi
873 add $VEC_SIZE, %r8
896 lea (VEC_SIZE * 4)(%r8), %rcx
897 and $-VEC_SIZE, %rcx
898 add $(VEC_SIZE * 3), %r8
901 sub $VEC_SIZE, %r8
903 VMOVU %YMM5, VEC_SIZE(%rdi)
904 sub $VEC_SIZE, %r8
906 VMOVU %YMM6, (VEC_SIZE * 2)(%rdi)
907 sub $VEC_SIZE, %r8
909 VMOVU %YMM7, (VEC_SIZE * 3)(%rdi)
911 lea (VEC_SIZE * 4)(%rdi), %rax
914 movb $0, (VEC_SIZE * 4)(%rdi)
923 add $(VEC_SIZE * 3), %r8
934 add $VEC_SIZE, %rcx
935 sub $VEC_SIZE, %r8
946 VMOVU %YMM5, VEC_SIZE(%rdi)
947 add $VEC_SIZE, %rcx
948 sub $VEC_SIZE, %r8
959 VMOVU %YMM6, (VEC_SIZE * 2)(%rdi)
960 lea VEC_SIZE(%rdi, %rcx), %rdi
961 lea VEC_SIZE(%rsi, %rcx), %rsi