32-1024-битная векторная арифметика с фиксированной точкой с AVX-2

Расширенная точность FP дает больше битов за такт (поскольку double пропускная способность FMA равна 2 / такт против 32x32 => 64-битных при 1 или 2 / такт на процессорах Intel); рассмотрите возможность использования тех же приемов, которые Prime95 использует с FMA для целочисленной математики. С осторожностью можно использовать оборудование FPU для работы с точными числами.

Для вашего фактического вопроса: поскольку вы хотите сделать то же самое для нескольких пикселей параллельно, возможно, вы захотите выполнить перенос между соответствующими элементами в отдельных векторах, поэтому один __m256i содержит 64-битные фрагменты из 4 отдельных больших целых чисел, а не 4 фрагмента такое же целое число.

С этой стратегией давление регистров является проблемой для очень широких целых чисел. Возможно, вы можете с пользой перейти к отсутствию распространения переноса за 4-й или 6-й вектор фрагментов или что-то в этом роде, используя vpmovmskb в результате сравнения для генерации переноса после каждого добавления. Беззнаковое добавление имеет выполнение a+b < a (беззнаковое сравнение)

Но AVX2 имеет только целочисленные сравнения со знаком (больше чем), а не беззнаковые. А с переносом (a+b+c_in) == a возможно с b = carry_in = 0 или с b = 0xFFF ... и carry_in = 1, поэтому создание переноса непросто.

Чтобы решить обе эти проблемы, рассмотрите возможность использования фрагментов с ручным переносом в 60-битный или 62-битный или что-то в этом роде, чтобы они гарантированно были подписаны положительно, и поэтому выполнение из добавления появляется в старших битах полного 64-битного кода. битовый элемент. (Где вы можете vpsrlq ymm, 62 извлечь его для добавления в вектор следующих более высоких фрагментов.)

Возможно, здесь будут работать даже 63-битные фрагменты, поэтому перенос отображается в самом верхнем бите, и vmovmskpd может проверить, произвел ли какой-либо элемент перенос. В противном случае vptest сможет сделать это с правильной маской.

Это удобный вариант мозгового штурма; У меня нет планов расширять его до подробного ответа. Если кто-то хочет написать реальный код на основе этого, опубликуйте свой собственный ответ, чтобы мы могли проголосовать за него (если это вообще окажется полезной идеей).

Просто для удовольствия, не утверждая, что это действительно будет полезно, вы можете извлечь бит переноса дополнения, просто посмотрев на верхние биты входных и выходных значений.

unsigned result = a + b + last_carry;  // add a, b and (optionally last carry)

unsigned carry = (a & b)  // carry if both a AND b have the upper bit set
                 |        // OR
                 ((a ^ b) // upper bits of a and b are different AND
                  & ~r);  // AND upper bit of the result is not set
carry >>= sizeof(unsigned)*8 - 1; // shift the upper bit to the lower bit

С SSE2 / AVX2 это может быть реализовано с двумя добавками, 4 логическими операциями и одним сдвигом, но работает для произвольных (поддерживаемых) целочисленных размеров (uint8, uint16, uint32, uint64). С AVX2 вам понадобится 7uops, чтобы получить 4 64-битных дополнения с выносом и выносом.

Тем более, что умножение 64x64-->128 также невозможно (но потребует 4 32x32-->64 произведения - и некоторых дополнений или 3 32x32-->64 произведений и даже больше добавлений, а также обработка особых случаев), вы, вероятно, не будете более эффективны, чем с mul и adc ( возможно, если только давление в регистре не является вашим узким местом).

Как предположили Питер и Мистикал, работа с конечностями меньшего размера (все еще хранящимися в 64-битном формате) может быть полезной. С одной стороны, с помощью некоторых уловок можно использовать FMA для 52x52-->104 продуктов. Кроме того, вы можете сложить до 2 ^ k-1 чисел из 64-k бит, прежде чем вам понадобится переносить верхние биты предыдущих конечностей.