Lines Matching refs:VEC_SIZE
30 # define VEC_SIZE 32 macro
34 # if (VEC_SIZE * 4) != (1 << DIVIDE_BY_VEC_4_SHIFT)
35 # error (VEC_SIZE * 4) != (1 << DIVIDE_BY_VEC_4_SHIFT)
102 cmpl $(PAGE_SIZE - (VEC_SIZE * 4)), %eax
143 addq $VEC_SIZE, %rdx
159 movl VEC_SIZE(%rdi, %rdx), %ecx
160 cmpl VEC_SIZE(%rsi, %rdx), %ecx
163 movzbl VEC_SIZE(%rdi, %rdx), %eax
164 movzbl VEC_SIZE(%rsi, %rdx), %edx
176 addq $(VEC_SIZE * 2), %rdx
192 movl (VEC_SIZE * 2)(%rdi, %rdx), %ecx
193 cmpl (VEC_SIZE * 2)(%rsi, %rdx), %ecx
196 movzbl (VEC_SIZE * 2)(%rdi, %rdx), %eax
197 movzbl (VEC_SIZE * 2)(%rsi, %rdx), %edx
209 addq $(VEC_SIZE * 3), %rdx
225 movl (VEC_SIZE * 3)(%rdi, %rdx), %ecx
226 cmpl (VEC_SIZE * 3)(%rsi, %rdx), %ecx
229 movzbl (VEC_SIZE * 3)(%rdi, %rdx), %eax
230 movzbl (VEC_SIZE * 3)(%rsi, %rdx), %edx
238 vmovdqu VEC_SIZE(%rdi), %ymm6
239 VPCMPEQ VEC_SIZE(%rsi), %ymm6, %ymm3
245 vmovdqu (VEC_SIZE * 2)(%rdi), %ymm5
246 vmovdqu (VEC_SIZE * 3)(%rdi), %ymm4
247 vmovdqu (VEC_SIZE * 3)(%rsi), %ymm0
248 VPCMPEQ (VEC_SIZE * 2)(%rsi), %ymm5, %ymm2
261 leaq (VEC_SIZE * 4)(%rdi), %rdx
264 andq $-(VEC_SIZE * 4), %rdx
293 subq $(VEC_SIZE * 4), %r11
296 addq $(VEC_SIZE * 4), %rax
297 addq $(VEC_SIZE * 4), %rdx
305 vmovdqa VEC_SIZE(%rax), %ymm3
307 VPCMPEQ VEC_SIZE(%rdx), %ymm3, %ymm1
310 vmovdqa (VEC_SIZE * 2)(%rax), %ymm2
312 vmovdqa (VEC_SIZE * 3)(%rax), %ymm3
313 VPCMPEQ (VEC_SIZE * 2)(%rdx), %ymm2, %ymm5
314 VPCMPEQ (VEC_SIZE * 3)(%rdx), %ymm3, %ymm6
367 cmpq $VEC_SIZE, %r11
376 addq $VEC_SIZE, %rdi
394 movl VEC_SIZE(%rsi, %rdi), %ecx
395 cmpl VEC_SIZE(%rdx, %rdi), %ecx
398 movzbl VEC_SIZE(%rax, %rdi), %eax
399 movzbl VEC_SIZE(%rdx, %rdi), %edx
410 cmpq $(VEC_SIZE * 2), %r11
419 addq $(VEC_SIZE * 2), %rdi
437 movl (VEC_SIZE * 2)(%rsi, %rdi), %ecx
438 cmpl (VEC_SIZE * 2)(%rdx, %rdi), %ecx
441 movzbl (VEC_SIZE * 2)(%rax, %rdi), %eax
442 movzbl (VEC_SIZE * 2)(%rdx, %rdi), %edx
453 cmpq $(VEC_SIZE * 3), %r11
460 addq $(VEC_SIZE * 3), %rcx
478 movl (VEC_SIZE * 3)(%rsi, %rcx), %esi
479 cmpl (VEC_SIZE * 3)(%rdx, %rcx), %esi
482 movzbl (VEC_SIZE * 3)(%rax, %rcx), %eax
483 movzbl (VEC_SIZE * 3)(%rdx, %rcx), %edx
495 andl $((VEC_SIZE * 4) - 1), %ecx
500 # if (VEC_SIZE * 2) != 64
501 # error (VEC_SIZE * 2) != 64
505 cmpl $(VEC_SIZE * 2), %ecx
509 vmovdqu VEC_SIZE(%rax, %r10), %ymm3
511 VPCMPEQ VEC_SIZE(%rdx, %r10), %ymm3, %ymm1
561 vmovdqu (VEC_SIZE * 2)(%rax, %r10), %ymm2
562 vmovdqu (VEC_SIZE * 3)(%rax, %r10), %ymm3
563 VPCMPEQ (VEC_SIZE * 2)(%rdx, %r10), %ymm2, %ymm5
565 VPCMPEQ (VEC_SIZE * 3)(%rdx, %r10), %ymm3, %ymm6
578 subl $(VEC_SIZE * 2), %ecx
587 movl $(PAGE_SIZE / (VEC_SIZE * 4) - 1), %esi
603 addq $(VEC_SIZE * 2), %rcx
621 movl (VEC_SIZE * 2)(%rsi, %rcx), %edi
622 cmpl (VEC_SIZE * 2)(%rdx, %rcx), %edi
625 movzbl (VEC_SIZE * 2)(%rax, %rcx), %eax
626 movzbl (VEC_SIZE * 2)(%rdx, %rcx), %edx
634 leaq (VEC_SIZE * 4)(%r10), %r10
650 cmpl $(VEC_SIZE * 4), %edx
738 cmpl $(PAGE_SIZE - VEC_SIZE), %eax
749 addl $VEC_SIZE, %edx
751 addl $VEC_SIZE, %eax
758 cmpl $(PAGE_SIZE - VEC_SIZE), %eax