Исходный код SageMaker TensorFlow Estimator Путь загрузки S3

Я использую оценщик SageMaker TensorFlow для обучения и указываю выходной путь для артефактов моей модели с аргументом output_path со значением s3://<bucket>/<prefix>/.

После обучения модели в указанном output_path создается каталог с именем <training_job_name>/output.

Проблема, с которой я столкнулся, заключается в том, что исходный код, который используется для обучения, также загружается в S3 по умолчанию, но вместо того, чтобы быть помещенным в s3://<bucket>/<prefix>/<training_job_name>/source, он помещается в s3://<bucket>/<training_job_name>/source.

Итак, как я могу указать путь загрузки S3 для исходного кода учебного задания, чтобы он использовал имя сегмента И префикс output_path?


amazon-s3 tensorflow amazon-sagemaker upload
person Austin    schedule 18.05.2019    source источник

Ответы (2)


arrow_upward
4
arrow_downward

Вы пробовали использовать аргумент «code_location»: https://sagemaker.readthedocs.io/en/stable/estimators.html, чтобы указать местоположение исходного кода?

Ниже приведен пример кода фрагмента, в котором используется code_location.

from sagemaker.tensorflow import TensorFlow

code-path = "s3://<bucket>/<prefix>"
output-path = "s3://<bucket>/<prefix>"

abalone_estimator = TensorFlow(entry_point='abalone.py',
                           role=role,
                           framework_version='1.12.0',
                           training_steps= 100, 
                           image_name=image,
                           evaluation_steps= 100,
                           hyperparameters={'learning_rate': 0.001},
                           train_instance_count=1,
                           train_instance_type='ml.c4.xlarge',
                           code_location= code-path,
                           output_path = output-path,
                           base_job_name='my-job-name'
                           )
person Christian-kam    schedule 25.05.2019

arrow_upward
1
arrow_downward

Я считаю, что параметр code_location, показанный @ user3458797, является правильным ответом.

Output_path только настраивает местоположение S3 для сохранения результата обучения (артефакты модели и файлы вывода).

https://sagemaker.readthedocs.io/en/stable/estimators.html

Ваш обучающий сценарий не будет сохранен в «output_path», если вы не переместите файл в / opt / ml / model во время обучения или не используете параметр code_location.

Пожалуйста, дайте мне знать, если я могу что-нибудь уточнить.

person ByungWook    schedule 30.05.2019