CUDA и общие переменные среди разных глобальных функций

Да, если вы записываете значения в выделенную глобальную память, эти значения сохраняются до тех пор, пока вы не освободите эту память, даже при вызовах ядра.

Что касается доступа к скалярным переменным (которые являются константами), лучшим подходом было бы передать их в качестве параметра глобальному запуску ядра, а не помещать их в глобальную память и читать оттуда. Доступ к глобальной памяти стоит дорого, и это позволяет избежать загрузки этого скаляра из глобальной памяти каждый раз, когда вам нужно его прочитать.

Если я правильно понял ваш вопрос, вы выделяете массив, заполняете массив глобальной функцией ядра на графическом процессоре, а затем обрабатываете значения этого массива в другом вызове ядра.

Пока вы не освободите выделенный массив, его значения остаются в глобальной памяти. Таким образом, вы можете сделать это и обработать тот же массив, не копируя его обратно в ЦП. Разделение заданий между несколькими вызовами ядра может пригодиться, когда у вас есть ограничение по времени выполнения или одна из функций ядра находится в библиотеке. Но в большинстве других случаев лучше выполнять все задания в одном вызове функции.

Также кажется, что лучше передать скалярное значение в качестве аргумента, потому что чтение его из глобальной памяти требует очень больших накладных расходов.

Если я объявлю переменную на GPU (например, массив alpha с N элементами, cudaMalloc((void**)&alpha, N * sizeof(double))) и выделю ее значение в глобальной функции, не освобождая память, эта переменная должны быть доступны для других последовательных глобальных функций, верно?

Вы не можете вызвать cudaMalloc() из глобальной функции (ядра). Это функция хоста. Вы можете использовать malloc() и new в ядрах, но это может быть неэффективно.

Вы можете использовать один и тот же массив в нескольких ядрах, например, вы можете выполнять несколько шагов вычисления с разными ядрами.

Кроме того, возможно ли (или целесообразно) вычислить скалярную переменную на GPU и сделать ее общей для нескольких глобальных функций на GPU, или лучше каждый раз передавать ее в качестве аргумента от CPU?

Если вы передаете константу в качестве аргумента ядру, она очень эффективно распределяется между всеми потоками. Таким образом, обычно намного эффективнее вычислять параметры на ЦП и передавать их ядру.

Если для создания скаляра требуется много параллельных вычислений, то было бы лучше вычислить его с помощью отдельного ядра, передать обратно хосту, а затем передать следующему ядру в качестве аргумента. Альтернативы просто усложнили бы ваш код без какой-либо выгоды в производительности.

Если для скаляра требуется мало вычислений, то нет смысла вычислять его с помощью ядра. Кроме того, помните, что нет никакой гарантии относительно того, в каком порядке запускаются блоки в ядре, поэтому вам придется создать отдельный путь кода в ядре для настройки скаляра, а затем выполнить дорогостоящее тестирование индекса потока и синхронизацию для расчета scalar и сделать его доступным для всех потоков.