Как использовать GNU Parallel

Если ваша цель состоит в том, чтобы вызвать сбой сценария в случае сбоя любого члена набора написанных от руки команд, GNU parallel не лучший инструмент для этой работы: сама оболочка уже предоставляет все необходимое с помощью команды wait, который указан в POSIX и присутствует во всех оболочках, совместимых со стандартами (см. также спецификацию , требующую, чтобы он был реализован как встроенный).

#!/bin/bash
#      ^^^^- Important! /bin/sh doesn't have arrays; bash, ksh, or zsh will work.

# For readability, put common arguments in an array
common_args=(
  --recursive
  --content-encoding "gzip"
  --content-type "text/html"
  --cache-control "max-age=$MAXAGE"
  --exclude "*"
  --profile "$PROFILE"
)

# Record PIDs of the various jobs in an array
pids=( )
aws s3 cp ./test s3://test             --include='*.html' "${common_args[@]}" & pids+=( $! )
aws s3 cp ./test s3://test "$S3BUCKET" --include='*.css'  "${common_args[@]}" & pids+=( $! )

# If either background job failed, exit the script with the same exit status
for pid in "${pids[@]}"; do
  wait "$pid" || exit
done

Обратите внимание, что массивы используются выше для удобства, а не по необходимости; вы можете предоставить общие аргументы с помощью функции и/или создать массив PID в скалярной переменной или переопределив "$@" внутри функции оболочки, если вашей целью было написать код, который будет работать на любой базовой оболочке POSIX.

Вы можете сделать это, экспортировав все необходимые переменные, а затем передав команды в parallel с цитируемой здесь документацией:

#!/bin/bash
export S3BUCKET="$1"
export MAXAGE=42
export PROFILE=foobar

parallel --gnu << 'EOF'
aws s3 cp ./test s3://test --recursive --content-encoding "gzip" --content-type "text/html" --cache-control "max-age=$MAXAGE" --exclude "*" --include "*.html" --profile $PROFILE
aws s3 cp ./test s3://test  $S3BUCKET --recursive --content-encoding "gzip" --content-type "text/html" --cache-control "max-age=$MAXAGE" --exclude "*" --include "*.css" --profile $PROFILE
EOF