Posted 2024-06-03Updated 2024-07-18AWS / SageMaker35 minutes read (About 5304 words)

실시간 추론을 위해 모델을 SageMaker에 배포하기

SageMaker에 Gemma 2b 모델을 추론 모델로 배포하고 사용하기

빠른 설정

SageMaker 콘솔에 접속
왼쪽 탐색 창 중 Admin configurations(관리 구성)에서 Domains(도메인)를 선택
Create domain을 선택
빠른 설정 선택

사용자 지정 설정

인증방법(AWS Identity Center 또는 IAM) 선택
S3 버킷 기입

gemma-1.1-2b-it를 이용하여

https://huggingface.co/google/gemma-1.1-2b-it?sagemaker_deploy=true

import json
import sagemaker
import boto3
from sagemaker.huggingface import HuggingFaceModel, get_huggingface_llm_image_uri

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client('iam')
    role = iam.get_role(RoleName='sagemaker_execution_role')['Role']['Arn']

# Hub Model configuration. https://huggingface.co/models
hub = {
    'HF_MODEL_ID':'google/gemma-1.1-2b-it',
    'SM_NUM_GPUS': json.dumps(1),
    'HUGGING_FACE_HUB_TOKEN': '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'
}

assert hub['HUGGING_FACE_HUB_TOKEN'] != '<REPLACE WITH YOUR TOKEN>', "You have to provide a token."

# create Hugging Face Model Class
# 2.0.2가 지원되지 않는 버전이라 하여 2.0.1로 바꿈
huggingface_model = HuggingFaceModel(
    image_uri=get_huggingface_llm_image_uri("huggingface",version="2.0.1"),
    env=hub,
    role=role,
)

# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.c5d.4xlarge",
    container_startup_health_check_timeout=300,
)

# send request
predictor.predict({
	"inputs": "My name is Clara and I am",
})

에러

ClientError: An error occurred (AccessDeniedException) when calling the CreateEndpointConfig operation: User: arn:aws:sts::058264433760:assumed-role/SageMaker-ExecutionRole-20240603T163452/SageMaker is not authorized to perform: sagemaker:CreateEndpointConfig on resource: arn:aws:sagemaker:ap-northeast-2:058264433760:endpoint-config/huggingface-pytorch-tgi-inference-2024-06-04-02-00-16-823 because no identity-based policy allows the sagemaker:CreateEndpointConfig action

해결책

이 오류는 현재 사용 중인 IAM 역할에 sagemaker:CreateEndpointConfig 작업을 수행할 권한이 없어서 발생합니다. 이를 해결하기 위해서는 IAM 콘솔에서 해당 역할에 필요한 권한을 추가해야 합니다. 다음 단계에 따라 해결할 수 있습니다:

IAM 콘솔 열기:

AWS Management Console에서 IAM 콘솔을 엽니다.
역할 찾기:

좌측 메뉴에서 “Roles”를 선택합니다.
오류 메시지에 나오는 역할 이름(SageMaker-ExecutionRole-20240603T163452)을 검색하여 역할을 찾습니다.
정책 추가:

역할을 클릭하여 역할의 세부 정보 페이지로 이동합니다.
“Add permissions” 버튼을 클릭합니다.
“Attach policies”를 선택합니다.
검색 창에 AmazonSageMakerFullAccess를 입력하고, 검색 결과에서 해당 정책을 선택합니다.
“Next” 버튼을 클릭하고 “Add permissions” 버튼을 클릭하여 정책을 역할에 추가합니다.
커스텀 정책 생성 (선택사항):

만약 AmazonSageMakerFullAccess 정책을 사용하는 것이 너무 광범위하다면, 특정 권한만 포함된 커스텀 정책을 생성할 수 있습니다.

“Policies” 메뉴를 선택하고 “Create policy” 버튼을 클릭합니다.

“JSON” 탭을 선택하고 다음 JSON을 입력합니다:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:UpdateEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "*"
    }
  ]
}

“Review policy” 버튼을 클릭하고, 정책 이름을 입력한 후 “Create policy” 버튼을 클릭하여 정책을 생성합니다.

역할로 돌아가서, 새로 생성된 정책을 역할에 추가합니다.

위 단계를 완료한 후, 다시 코드를 실행하여 필요한 권한이 부여되었는지 확인합니다. 권한 문제가 해결되면, CreateEndpointConfig 작업이 성공적으로 수행될 것입니다.

해결 후 새로운 에러

UnexpectedStatusException: Error hosting endpoint huggingface-pytorch-tgi-inference-2024-06-04-02-09-06-986: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint.. Try changing the instance type or reference the troubleshooting page https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-troubleshooting.html

이 오류는 생성된 엔드포인트의 기본 컨테이너가 헬스 체크를 통과하지 못했음을 의미합니다. 이를 해결하기 위해 다음 단계를 따르세요:

CloudWatch 로그 확인:

AWS Management Console에서 CloudWatch 콘솔을 엽니다.
로그 그룹에서 SageMaker 엔드포인트와 관련된 로그 그룹을 찾습니다. 일반적으로 aws/sagemaker/Endpoints 아래에 있습니다.
엔드포인트의 로그를 검토하여 실패 원인에 대한 구체적인 오류 메시지를 확인합니다.

인스턴스 유형 확인:

SageMaker 엔드포인트가 사용하고 있는 인스턴스 유형이 적절한지 확인합니다. 인스턴스 유형이 모델 실행에 충분한 리소스를 제공해야 합니다.
필요한 경우, 더 많은 메모리와 CPU를 제공하는 인스턴스 유형으로 변경합니다.

모델 설정 확인:

모델 설정에서 올바른 이미지 URI 및 환경 변수가 설정되었는지 확인합니다.
이미지 URI와 관련된 모든 환경 변수가 올바르게 설정되었는지 다시 확인합니다.

트러블슈팅 가이드 참고:

A- WS SageMaker 트러블슈팅 페이지를 참고하여 일반적인 문제와 해결책을 검토합니다.

다음은 CloudWatch 로그를 확인하고 문제를 진단하는 방법에 대한 예입니다:

import boto3

# CloudWatch Logs 클라이언트 생성
logs_client = boto3.client('logs')

# 로그 그룹 이름과 스트림 이름을 설정
log_group_name = '/aws/sagemaker/Endpoints/huggingface-pytorch-tgi-inference-2024-06-04-02-09-06-986'
log_stream_name = 'AllTraffic'

# 로그 스트림에서 로그 이벤트 가져오기
response = logs_client.get_log_events(
    logGroupName=log_group_name,
    logStreamName=log_stream_name,
    startFromHead=True
)

# 로그 이벤트 출력
for event in response['events']:
    print(event['message'])

이 코드를 사용하여 CloudWatch 로그를 프로그램matically 가져와 확인할 수 있습니다. 로그를 통해 문제의 구체적인 원인을 파악한 후, 해당 문제를 해결하기 위한 조치를 취할 수 있습니다.

인스턴스 유형 변경 예제

만약 인스턴스 유형을 변경하려는 경우, 아래 예제를 참고하세요:

import json
import sagemaker
import boto3
from sagemaker.huggingface import HuggingFaceModel, get_huggingface_llm_image_uri

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client('iam')
    role = iam.get_role(RoleName='sagemaker_execution_role')['Role']['Arn']

# Hub Model configuration. https://huggingface.co/models
hub = {
    'HF_MODEL_ID': 'google/gemma-1.1-2b-it',
    'SM_NUM_GPUS': json.dumps(1),
    'HUGGING_FACE_HUB_TOKEN': 'your_actual_token_here'
}

assert hub['HUGGING_FACE_HUB_TOKEN'] != 'your_actual_token_here', "You have to provide a token."

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    image_uri=get_huggingface_llm_image_uri("huggingface", version="2.0.1"),  # 지원되는 버전으로 변경
    env=hub,
    role=role,
)

# 배포 시 인스턴스 유형을 변경
predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type='ml.p3.2xlarge'  # 더 큰 인스턴스 유형으로 변경
)

JumpStart로 배포하고 테스트하기

https://www.youtube.com/watch?v=UigWJPfClcI

https://www.youtube.com/watch?v=ZdOcrLKow3I

https://www.youtube.com/watch?v=kcuyovwbznY

https://www.youtube.com/watch?v=vQFuZUAFel4

inference-experience에 들어가서 Test inference 탭에서 테스트 진행

python SDK example code

from sagemaker.predictor import retrieve_default
endpoint_name = "jumpstart-dft-hf-llm-gemma-2b-20240609-080102"
predictor = retrieve_default(endpoint_name)
payload = {
    "inputs": "Write me a poem about Machine Learning.",
    "parameters": {
        "max_new_tokens": 256
    }
}
response = predictor.predict(payload)
print(response)
payload = {
    "inputs": "Hello everyone, my name is ",
    "parameters": {
        "max_new_tokens": 256,
        "top_p": 0.9,
        "temperature": 0.2
    }
}
response = predictor.predict(payload)
print(response)

Sample request

Content type : application.json

Json

{
  "body": {
    "inputs": "<bos><start_of_turn>user\nWrite me a poem about Machine Learning<end_of_turn>\n<start_of_turn>model",
    "parameters": {
      "max_new_tokens": 256,
      "decoder_input_details": true,
      "details": true
    }
  },
  "contentType": "application/json",
  "endpointName": "jumpstart-dft-hf-llm-gemma-2b-instr-20240611-004431"
}

request

{
    "body": [
        {
            "generated_text": "<bos><start_of_turn>user\nWrite me a poem about Machine Learning<end_of_turn>\n<start_of_turn>model**Machine Learning**\n\nAlgorithms dance, a digital ballet,\nLearning from data, a never-ending tally.\nData streams in, a torrent of bytes,\nAlgorithms sift and sort, with tireless eyes.\n\nFrom images to speech, the patterns unfold,\nPredicting the future, stories to be told.\nSupervised, unsupervised, a spectrum of might,\nMachine learning, a powerful light.\n\nUnsupervised, where patterns reside,\nClustering data, a task with no guide.\nReinforcement, a learning curve to ascend,\nWith algorithms guiding, a new world is found.\n\nDeep learning, a neural net so vast,\nLearning from data, a hidden past.\nFrom medical diagnosis to financial sway,\nMachine learning's impact cannot be swayed.\n\nA tool for good, or a path to despair,\nThe ethical use of AI, a matter to share.\nBias and fairness, a constant fight,\nTo ensure that the machine's light shines bright.\n\nSo let the algorithms spin and the data flow,\nA symphony of learning, a digital woe.\nMachine learning, a journey without end,\nShaping the future, a world without a friend.",
            "details": {
                "finish_reason": "eos_token",
                "generated_tokens": 248,
                "seed": null,
                "prefill": [
                    {
                        "id": 2,
                        "text": "<bos>",
                        "logprob": null
                    },
                    {
                        "id": 2,
                        "text": "<bos>",
                        "logprob": -25
                    },
                    {
                        "id": 106,
                        "text": "<start_of_turn>",
                        "logprob": -65.5
                    },
                    {
                        "id": 1645,
                        "text": "user",
                        "logprob": -20.375
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -4.78125
                    },
                    {
                        "id": 5559,
                        "text": "Write",
                        "logprob": -8.6875
                    },
                    {
                        "id": 682,
                        "text": " me",
                        "logprob": -5.5625
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.044189453
                    },
                    {
                        "id": 19592,
                        "text": " poem",
                        "logprob": -1.2421875
                    },
                    {
                        "id": 1105,
                        "text": " about",
                        "logprob": -0.021606445
                    },
                    {
                        "id": 13403,
                        "text": " Machine",
                        "logprob": -19.5
                    },
                    {
                        "id": 14715,
                        "text": " Learning",
                        "logprob": -0.061523438
                    },
                    {
                        "id": 107,
                        "text": "<end_of_turn>",
                        "logprob": -39
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -4.875
                    },
                    {
                        "id": 106,
                        "text": "<start_of_turn>",
                        "logprob": -42.75
                    },
                    {
                        "id": 2516,
                        "text": "model",
                        "logprob": -20.75
                    }
                ],
                "tokens": [
                    {
                        "id": 688,
                        "text": "**",
                        "logprob": -0.24707031,
                        "special": false
                    },
                    {
                        "id": 24911,
                        "text": "Machine",
                        "logprob": -0.13867188,
                        "special": false
                    },
                    {
                        "id": 14715,
                        "text": " Learning",
                        "logprob": -0.057128906,
                        "special": false
                    },
                    {
                        "id": 688,
                        "text": "**",
                        "logprob": -0.0073547363,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.00007581711,
                        "special": false
                    },
                    {
                        "id": 139972,
                        "text": "Algorithms",
                        "logprob": -0.45507812,
                        "special": false
                    },
                    {
                        "id": 11877,
                        "text": " dance",
                        "logprob": -0.21875,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.390625,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.05810547,
                        "special": false
                    },
                    {
                        "id": 6403,
                        "text": " digital",
                        "logprob": -0.6640625,
                        "special": false
                    },
                    {
                        "id": 50455,
                        "text": " ballet",
                        "logprob": -0.45898438,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.000031471252,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000029087067,
                        "special": false
                    },
                    {
                        "id": 26231,
                        "text": "Learning",
                        "logprob": -0.796875,
                        "special": false
                    },
                    {
                        "id": 774,
                        "text": " from",
                        "logprob": -0.084472656,
                        "special": false
                    },
                    {
                        "id": 1423,
                        "text": " data",
                        "logprob": -0.020507812,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.007873535,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -1.3359375,
                        "special": false
                    },
                    {
                        "id": 2447,
                        "text": " never",
                        "logprob": -1.2265625,
                        "special": false
                    },
                    {
                        "id": 235290,
                        "text": "-",
                        "logprob": -0.0047302246,
                        "special": false
                    },
                    {
                        "id": 3002,
                        "text": "ending",
                        "logprob": -0.00061416626,
                        "special": false
                    },
                    {
                        "id": 78289,
                        "text": " tally",
                        "logprob": -1.53125,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.000036478043,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000030398369,
                        "special": false
                    },
                    {
                        "id": 1510,
                        "text": "Data",
                        "logprob": -1.140625,
                        "special": false
                    },
                    {
                        "id": 24039,
                        "text": " streams",
                        "logprob": -1.3984375,
                        "special": false
                    },
                    {
                        "id": 575,
                        "text": " in",
                        "logprob": -0.21679688,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0013275146,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.14355469,
                        "special": false
                    },
                    {
                        "id": 61300,
                        "text": " torrent",
                        "logprob": -0.67578125,
                        "special": false
                    },
                    {
                        "id": 576,
                        "text": " of",
                        "logprob": -0.5078125,
                        "special": false
                    },
                    {
                        "id": 15493,
                        "text": " bytes",
                        "logprob": -0.41601562,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.00062179565,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000039815903,
                        "special": false
                    },
                    {
                        "id": 139972,
                        "text": "Algorithms",
                        "logprob": -0.59375,
                        "special": false
                    },
                    {
                        "id": 183807,
                        "text": " sift",
                        "logprob": -0.41210938,
                        "special": false
                    },
                    {
                        "id": 578,
                        "text": " and",
                        "logprob": -0.39648438,
                        "special": false
                    },
                    {
                        "id": 6728,
                        "text": " sort",
                        "logprob": -0.099609375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.008056641,
                        "special": false
                    },
                    {
                        "id": 675,
                        "text": " with",
                        "logprob": -1.5078125,
                        "special": false
                    },
                    {
                        "id": 185614,
                        "text": " tireless",
                        "logprob": -1.5546875,
                        "special": false
                    },
                    {
                        "id": 4628,
                        "text": " eyes",
                        "logprob": -2.109375,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.00008916855,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.000047683716,
                        "special": false
                    },
                    {
                        "id": 3604,
                        "text": "From",
                        "logprob": -0.6875,
                        "special": false
                    },
                    {
                        "id": 5191,
                        "text": " images",
                        "logprob": -0.77734375,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -0.16210938,
                        "special": false
                    },
                    {
                        "id": 11360,
                        "text": " speech",
                        "logprob": -0.41015625,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0045776367,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -0.8515625,
                        "special": false
                    },
                    {
                        "id": 12136,
                        "text": " patterns",
                        "logprob": -0.43945312,
                        "special": false
                    },
                    {
                        "id": 45411,
                        "text": " unfold",
                        "logprob": -0.59765625,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0004825592,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000021338463,
                        "special": false
                    },
                    {
                        "id": 98951,
                        "text": "Predic",
                        "logprob": -1.5859375,
                        "special": false
                    },
                    {
                        "id": 1486,
                        "text": "ting",
                        "logprob": -0.010681152,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -1.140625,
                        "special": false
                    },
                    {
                        "id": 3936,
                        "text": " future",
                        "logprob": -0.019897461,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0021514893,
                        "special": false
                    },
                    {
                        "id": 8965,
                        "text": " stories",
                        "logprob": -0.22265625,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -0.33203125,
                        "special": false
                    },
                    {
                        "id": 614,
                        "text": " be",
                        "logprob": -0.115234375,
                        "special": false
                    },
                    {
                        "id": 4203,
                        "text": " told",
                        "logprob": -0.07714844,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.000036478043,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00006723404,
                        "special": false
                    },
                    {
                        "id": 8437,
                        "text": "Super",
                        "logprob": -0.60546875,
                        "special": false
                    },
                    {
                        "id": 9470,
                        "text": "vised",
                        "logprob": -0.00051116943,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.75390625,
                        "special": false
                    },
                    {
                        "id": 195643,
                        "text": " unsupervised",
                        "logprob": -0.0017166138,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0004749298,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.24511719,
                        "special": false
                    },
                    {
                        "id": 18303,
                        "text": " spectrum",
                        "logprob": -0.49023438,
                        "special": false
                    },
                    {
                        "id": 576,
                        "text": " of",
                        "logprob": -0.8515625,
                        "special": false
                    },
                    {
                        "id": 2613,
                        "text": " might",
                        "logprob": -0.7734375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.00002193451,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000027894974,
                        "special": false
                    },
                    {
                        "id": 24911,
                        "text": "Machine",
                        "logprob": -1.2578125,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -0.005432129,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.61328125,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.27929688,
                        "special": false
                    },
                    {
                        "id": 10276,
                        "text": " powerful",
                        "logprob": -1.2890625,
                        "special": false
                    },
                    {
                        "id": 2611,
                        "text": " light",
                        "logprob": -0.5625,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.00007581711,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.000028252602,
                        "special": false
                    },
                    {
                        "id": 18808,
                        "text": "Uns",
                        "logprob": -0.39648438,
                        "special": false
                    },
                    {
                        "id": 55760,
                        "text": "uper",
                        "logprob": -0.02746582,
                        "special": false
                    },
                    {
                        "id": 9470,
                        "text": "vised",
                        "logprob": -0.0000072717667,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.28125,
                        "special": false
                    },
                    {
                        "id": 1570,
                        "text": " where",
                        "logprob": -0.51171875,
                        "special": false
                    },
                    {
                        "id": 12136,
                        "text": " patterns",
                        "logprob": -0.91015625,
                        "special": false
                    },
                    {
                        "id": 53172,
                        "text": " reside",
                        "logprob": -0.89453125,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.00034332275,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000037908554,
                        "special": false
                    },
                    {
                        "id": 184568,
                        "text": "Clustering",
                        "logprob": -0.33984375,
                        "special": false
                    },
                    {
                        "id": 1423,
                        "text": " data",
                        "logprob": -0.38085938,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0234375,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -1.140625,
                        "special": false
                    },
                    {
                        "id": 6911,
                        "text": " task",
                        "logprob": -1.4453125,
                        "special": false
                    },
                    {
                        "id": 675,
                        "text": " with",
                        "logprob": -1.8828125,
                        "special": false
                    },
                    {
                        "id": 793,
                        "text": " no",
                        "logprob": -1.2890625,
                        "special": false
                    },
                    {
                        "id": 5608,
                        "text": " guide",
                        "logprob": -0.52734375,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.0005226135,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00010585785,
                        "special": false
                    },
                    {
                        "id": 75111,
                        "text": "Rein",
                        "logprob": -0.47851562,
                        "special": false
                    },
                    {
                        "id": 14707,
                        "text": "forcement",
                        "logprob": -0.000053167343,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.083496094,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.33007812,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -0.7265625,
                        "special": false
                    },
                    {
                        "id": 12942,
                        "text": " curve",
                        "logprob": -0.54296875,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -1.1640625,
                        "special": false
                    },
                    {
                        "id": 70806,
                        "text": " ascend",
                        "logprob": -0.51171875,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.000017523766,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.0000104904175,
                        "special": false
                    },
                    {
                        "id": 3192,
                        "text": "With",
                        "logprob": -1.328125,
                        "special": false
                    },
                    {
                        "id": 28514,
                        "text": " algorithms",
                        "logprob": -0.640625,
                        "special": false
                    },
                    {
                        "id": 55709,
                        "text": " guiding",
                        "logprob": -0.33984375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.12402344,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.6328125,
                        "special": false
                    },
                    {
                        "id": 888,
                        "text": " new",
                        "logprob": -1.4375,
                        "special": false
                    },
                    {
                        "id": 2134,
                        "text": " world",
                        "logprob": -0.359375,
                        "special": false
                    },
                    {
                        "id": 603,
                        "text": " is",
                        "logprob": -0.31054688,
                        "special": false
                    },
                    {
                        "id": 1942,
                        "text": " found",
                        "logprob": -0.5703125,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.000011563301,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.000044822693,
                        "special": false
                    },
                    {
                        "id": 26843,
                        "text": "Deep",
                        "logprob": -0.6171875,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -0.10546875,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.026123047,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.028686523,
                        "special": false
                    },
                    {
                        "id": 35544,
                        "text": " neural",
                        "logprob": -0.5234375,
                        "special": false
                    },
                    {
                        "id": 3117,
                        "text": " net",
                        "logprob": -1.0234375,
                        "special": false
                    },
                    {
                        "id": 712,
                        "text": " so",
                        "logprob": -0.37304688,
                        "special": false
                    },
                    {
                        "id": 12380,
                        "text": " vast",
                        "logprob": -0.68359375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0008125305,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.0000076293945,
                        "special": false
                    },
                    {
                        "id": 26231,
                        "text": "Learning",
                        "logprob": -0.7421875,
                        "special": false
                    },
                    {
                        "id": 774,
                        "text": " from",
                        "logprob": -0.18457031,
                        "special": false
                    },
                    {
                        "id": 1423,
                        "text": " data",
                        "logprob": -0.703125,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.020751953,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.7890625,
                        "special": false
                    },
                    {
                        "id": 5915,
                        "text": " hidden",
                        "logprob": -1.4765625,
                        "special": false
                    },
                    {
                        "id": 3433,
                        "text": " past",
                        "logprob": -0.4296875,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.0004043579,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00014400482,
                        "special": false
                    },
                    {
                        "id": 3604,
                        "text": "From",
                        "logprob": -0.94921875,
                        "special": false
                    },
                    {
                        "id": 6910,
                        "text": " medical",
                        "logprob": -0.31640625,
                        "special": false
                    },
                    {
                        "id": 19491,
                        "text": " diagnosis",
                        "logprob": -0.3828125,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -0.0059509277,
                        "special": false
                    },
                    {
                        "id": 6895,
                        "text": " financial",
                        "logprob": -0.48046875,
                        "special": false
                    },
                    {
                        "id": 46507,
                        "text": " sway",
                        "logprob": -0.69921875,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.000028133392,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00005865097,
                        "special": false
                    },
                    {
                        "id": 24911,
                        "text": "Machine",
                        "logprob": -0.060546875,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -0.005279541,
                        "special": false
                    },
                    {
                        "id": 235303,
                        "text": "'",
                        "logprob": -0.3046875,
                        "special": false
                    },
                    {
                        "id": 235256,
                        "text": "s",
                        "logprob": -0.0000011920929,
                        "special": false
                    },
                    {
                        "id": 6418,
                        "text": " impact",
                        "logprob": -0.78515625,
                        "special": false
                    },
                    {
                        "id": 2952,
                        "text": " cannot",
                        "logprob": -0.36523438,
                        "special": false
                    },
                    {
                        "id": 614,
                        "text": " be",
                        "logprob": -0.14355469,
                        "special": false
                    },
                    {
                        "id": 150640,
                        "text": " swayed",
                        "logprob": -0.96484375,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.005554199,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.00004863739,
                        "special": false
                    },
                    {
                        "id": 235280,
                        "text": "A",
                        "logprob": -1.1328125,
                        "special": false
                    },
                    {
                        "id": 7217,
                        "text": " tool",
                        "logprob": -0.65625,
                        "special": false
                    },
                    {
                        "id": 604,
                        "text": " for",
                        "logprob": -0.203125,
                        "special": false
                    },
                    {
                        "id": 1426,
                        "text": " good",
                        "logprob": -0.7734375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.3203125,
                        "special": false
                    },
                    {
                        "id": 689,
                        "text": " or",
                        "logprob": -0.6875,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.024414062,
                        "special": false
                    },
                    {
                        "id": 3703,
                        "text": " path",
                        "logprob": -0.64453125,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -0.12158203,
                        "special": false
                    },
                    {
                        "id": 40813,
                        "text": " despair",
                        "logprob": -0.045654297,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.000044345856,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000035762787,
                        "special": false
                    },
                    {
                        "id": 651,
                        "text": "The",
                        "logprob": -0.7890625,
                        "special": false
                    },
                    {
                        "id": 33970,
                        "text": " ethical",
                        "logprob": -0.48828125,
                        "special": false
                    },
                    {
                        "id": 1281,
                        "text": " use",
                        "logprob": -0.5078125,
                        "special": false
                    },
                    {
                        "id": 576,
                        "text": " of",
                        "logprob": -0.15722656,
                        "special": false
                    },
                    {
                        "id": 16481,
                        "text": " AI",
                        "logprob": -0.26367188,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.13378906,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.4140625,
                        "special": false
                    },
                    {
                        "id": 4391,
                        "text": " matter",
                        "logprob": -0.9609375,
                        "special": false
                    },
                    {
                        "id": 577,
                        "text": " to",
                        "logprob": -0.40625,
                        "special": false
                    },
                    {
                        "id": 4638,
                        "text": " share",
                        "logprob": -0.27734375,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.000012755394,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00015258789,
                        "special": false
                    },
                    {
                        "id": 79111,
                        "text": "Bias",
                        "logprob": -0.8515625,
                        "special": false
                    },
                    {
                        "id": 578,
                        "text": " and",
                        "logprob": -0.60546875,
                        "special": false
                    },
                    {
                        "id": 67512,
                        "text": " fairness",
                        "logprob": -0.10205078,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0002193451,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.14941406,
                        "special": false
                    },
                    {
                        "id": 6221,
                        "text": " constant",
                        "logprob": -0.27929688,
                        "special": false
                    },
                    {
                        "id": 5900,
                        "text": " fight",
                        "logprob": -0.703125,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.000009536743,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000008940697,
                        "special": false
                    },
                    {
                        "id": 1469,
                        "text": "To",
                        "logprob": -0.17382812,
                        "special": false
                    },
                    {
                        "id": 7433,
                        "text": " ensure",
                        "logprob": -0.014953613,
                        "special": false
                    },
                    {
                        "id": 674,
                        "text": " that",
                        "logprob": -0.78515625,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -0.9453125,
                        "special": false
                    },
                    {
                        "id": 6479,
                        "text": " machine",
                        "logprob": -1.15625,
                        "special": false
                    },
                    {
                        "id": 235303,
                        "text": "'",
                        "logprob": -0.74609375,
                        "special": false
                    },
                    {
                        "id": 235256,
                        "text": "s",
                        "logprob": -3.5762787e-7,
                        "special": false
                    },
                    {
                        "id": 2611,
                        "text": " light",
                        "logprob": -1.2421875,
                        "special": false
                    },
                    {
                        "id": 66308,
                        "text": " shines",
                        "logprob": -0.08642578,
                        "special": false
                    },
                    {
                        "id": 8660,
                        "text": " bright",
                        "logprob": -0.041748047,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.0000067949295,
                        "special": false
                    },
                    {
                        "id": 109,
                        "text": "\n\n",
                        "logprob": -0.00061416626,
                        "special": false
                    },
                    {
                        "id": 2339,
                        "text": "So",
                        "logprob": -0.049804688,
                        "special": false
                    },
                    {
                        "id": 2142,
                        "text": " let",
                        "logprob": -0.62109375,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -0.359375,
                        "special": false
                    },
                    {
                        "id": 28514,
                        "text": " algorithms",
                        "logprob": -0.04321289,
                        "special": false
                    },
                    {
                        "id": 11974,
                        "text": " spin",
                        "logprob": -1.296875,
                        "special": false
                    },
                    {
                        "id": 578,
                        "text": " and",
                        "logprob": -0.45507812,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -1.3359375,
                        "special": false
                    },
                    {
                        "id": 1423,
                        "text": " data",
                        "logprob": -0.484375,
                        "special": false
                    },
                    {
                        "id": 3781,
                        "text": " flow",
                        "logprob": -0.7265625,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0000667572,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.000027179718,
                        "special": false
                    },
                    {
                        "id": 235280,
                        "text": "A",
                        "logprob": -1.171875,
                        "special": false
                    },
                    {
                        "id": 113598,
                        "text": " symphony",
                        "logprob": -0.03466797,
                        "special": false
                    },
                    {
                        "id": 576,
                        "text": " of",
                        "logprob": -0.0016555786,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -1.0234375,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.0076293945,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -1.1953125,
                        "special": false
                    },
                    {
                        "id": 6403,
                        "text": " digital",
                        "logprob": -1.2734375,
                        "special": false
                    },
                    {
                        "id": 82647,
                        "text": " woe",
                        "logprob": -1.125,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.00023078918,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00037765503,
                        "special": false
                    },
                    {
                        "id": 24911,
                        "text": "Machine",
                        "logprob": -0.8046875,
                        "special": false
                    },
                    {
                        "id": 6044,
                        "text": " learning",
                        "logprob": -0.0006828308,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.00793457,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -0.029418945,
                        "special": false
                    },
                    {
                        "id": 10734,
                        "text": " journey",
                        "logprob": -1.15625,
                        "special": false
                    },
                    {
                        "id": 2346,
                        "text": " without",
                        "logprob": -0.111328125,
                        "special": false
                    },
                    {
                        "id": 1580,
                        "text": " end",
                        "logprob": -0.001083374,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.00002348423,
                        "special": false
                    },
                    {
                        "id": 108,
                        "text": "\n",
                        "logprob": -0.00004673004,
                        "special": false
                    },
                    {
                        "id": 3957,
                        "text": "Sha",
                        "logprob": -1.265625,
                        "special": false
                    },
                    {
                        "id": 10024,
                        "text": "ping",
                        "logprob": -0.00013542175,
                        "special": false
                    },
                    {
                        "id": 573,
                        "text": " the",
                        "logprob": -0.37109375,
                        "special": false
                    },
                    {
                        "id": 3936,
                        "text": " future",
                        "logprob": -0.22558594,
                        "special": false
                    },
                    {
                        "id": 235269,
                        "text": ",",
                        "logprob": -0.002029419,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -1.2578125,
                        "special": false
                    },
                    {
                        "id": 2134,
                        "text": " world",
                        "logprob": -0.96875,
                        "special": false
                    },
                    {
                        "id": 2346,
                        "text": " without",
                        "logprob": -0.5625,
                        "special": false
                    },
                    {
                        "id": 476,
                        "text": " a",
                        "logprob": -1.828125,
                        "special": false
                    },
                    {
                        "id": 4034,
                        "text": " friend",
                        "logprob": -1.5234375,
                        "special": false
                    },
                    {
                        "id": 235265,
                        "text": ".",
                        "logprob": -0.000030517578,
                        "special": false
                    },
                    {
                        "id": 1,
                        "text": "<eos>",
                        "logprob": -0.000027060509,
                        "special": true
                    }
                ]
            }
        }
    ],
    "contentType": "application/json",
    "invokedProductionVariant": "AllTraffic"
}

외부에서 curl을 날리면

% curl --location 'https://runtime.sagemaker.ap-northeast-2.amazonaws.com/endpoints/jumpstart-dft-hf-llm-gemma-2b-20240609-080102/invocations' \
--header 'endpointName: jumpstart-dft-hf-llm-gemma-2b-20240609-080102' \
--header 'Content-Type: application/json' \
--data '{
    "inputs": "Write me a poem about Machine Learning.",
    "parameters": {
        "max_new_tokens": 256,
        "decoder_input_details": true,
        "details": true
    }
}'
{"message":"Missing Authentication Token"}

외부에서 접속하기

Amazon SageMaker에서 JumpStart를 사용하여 배포한 Gemma 추론 모델 엔드포인트는 기본적으로 AWS 내에서만 접근 가능하도록 설정됩니다. 하지만 외부망에서도 접근할 수 있도록 설정할 수 있습니다. 이를 위해서는 다음 단계를 따라야 합니다.

1. 엔드포인트 보안 그룹 설정

엔드포인트가 속한 보안 그룹에서 인바운드 및 아웃바운드 규칙을 설정하여 외부 IP가 엔드포인트에 접근할 수 있도록 합니다.

인바운드 규칙 추가: 특정 IP 주소나 IP 범위에 대해 포트 443(HTTPS)을 열어야 합니다.
아웃바운드 규칙 확인: 기본적으로 모든 아웃바운드 트래픽이 허용되어야 합니다.

2. 엔드포인트에 대한 IAM 정책 설정

외부 애플리케이션이 엔드포인트에 접근할 수 있도록 필요한 IAM 정책을 설정합니다. 이는 외부 애플리케이션이 올바른 인증 및 권한을 가지고 있는지 확인하기 위함입니다.

3. API Gateway 설정

AWS API Gateway를 사용하여 SageMaker 엔드포인트를 퍼블릭 API로 노출할 수 있습니다. 이렇게 하면 외부 클라이언트가 API Gateway URL을 통해 SageMaker 엔드포인트에 접근할 수 있습니다.

API Gateway 설정 단계:

API Gateway 생성:

AWS Management Console에서 API Gateway를 생성합니다.
유형은 REST API를 선택합니다.

새 리소스 생성:

API에 새 리소스를 추가하고, HTTP 메서드(예: POST)를 설정합니다.

통합 유형 설정:

통합 유형으로 AWS 서비스(SageMaker)를 선택합니다.
엔드포인트 URL을 SageMaker 엔드포인트로 설정합니다.

IAM 역할 설정:

API Gateway가 SageMaker 엔드포인트에 접근할 수 있도록 필요한 권한을 가진 IAM 역할을 설정합니다.

배포:

API를 배포하고, 사용할 스테이지(예: dev, prod)를 설정합니다.

4. 엔드포인트 호출

외부 클라이언트가 API Gateway URL을 사용하여 SageMaker 엔드포인트에 접근하고, 추론 요청을 보낼 수 있습니다. 다음은 예시 코드입니다:

import requests

url = "https://your-api-gateway-id.execute-api.region.amazonaws.com/your-stage/your-resource"
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer your-auth-token"
}
payload = {
    "action": "invoke",
    "service": "gemma",
    "method": "writePoem",
    "parameters": {
        "theme": "love",
        "style": "sonnet"
    }
}

response = requests.post(url, json=payload, headers=headers)
print(response.json())

요약

외부망에서 SageMaker JumpStart로 배포한 Gemma 추론 모델에 접근하기 위해서는:

엔드포인트 보안 그룹 설정.
IAM 정책 설정.
API Gateway 설정을 통해 엔드포인트를 퍼블릭 API로 노출.
API Gateway URL을 통해 추론 요청 전송.

예시
https://devocean.sk.com/blog/techBoardDetail.do?ID=163528

https://boksup.tistory.com/33

Chalice를 통한 서버리스 API 작업 생성

SageMaker 엔드포인트를 사용할 수 있게 되었다면, 최종 사용자에게 제공할 결과를 생성하기 위해 엔드포인트에 액세스할 수 있는 API 작업을 생성해야한다.
그렇기에 Chalice 프레임워크를 사용하여 API Gateway에 간단한 Flask 유사 애플리케이션을 배포함으로써 SageMaker 엔드포인트와 상호 작용할 Lambda 함수를 트리거할 것이다.

Chalice는 AWS를 위한 서버리스 마이클 프레임워크이다. 이를 사용하면 Amazon API Gateway 및 AWS Lambda를 사용하는 애플리케이션을 신속하게 생성하고 배포할 수 있다.
Chalice를 사용하면 자체 Lambda 함수를 구축하는 것과 비교하여 빠르고 효율적으로 이를 수행 가능하다.

참고 : https://aws.amazon.com/ko/blogs/korea/build-a-serverless-frontend-for-an-amazon-sagemaker-endpoint/

세팅

가상 환경 생성

1 2	% python3 -m venv aws % source ./aws/bin/activate

Chalice 프로젝트 생성

1 2	% chalice new-project bert-text-classfication % cd bert-text-classfication

Chalice 로컬 환경 테스트

1
2
3

% chalice local

# localhost로 접근 시 기본 샘플 동작하는 것 확인

AWS CLI 설정

Access keys 눌러 키 값 및 명령어 입력

configure sso

% aws configure sso

# SSO session name : (임의로 입력해도 되는 것으로 추정)
# SSO start URL: (Access keys에 있는 값 복사)
# SSO Region: (Access Keys에 있는 값 복사)
# SSO registration scopes: (기본 값이 있는 것 같아 Enter)

# 이후 code를 입력하는 링크가 주어지는데, AWS 콘솔에 로그인한 환경에서 해다 링크에 접속하여 해당 code dlqfur

aws s3 ls --profile [SSO session name]

Access key 입력

# Access keys에 있는 값 복사하여 입력 (어느정도 시간이 지나면 키나 토큰값이 달라지는 것 같으므로 주의)
export AWS_ACCESS_KEY_ID=""
export AWS_SECRET_KEY=""
export AWS_SESSION_TOKEN=""

# 가이드에는 없는데, deploy 시 에러 발생하여 추가로 실행
export AWS_DEFAULT_REGION=""

boto3 사용

1	% pip install boto3

boto3 라이브러리를 requirements.txt 파일에 추가하여 chalice가 이를 인식할 수 있도록 한다.

추론 테스트

Chalice Deploy 후 Postman 통해 추론 결과가 정상적으로 전달되는지 테스트

curl --location 'https://3joge41r35.execute-api.ap-northeast-2.amazonaws.com/api/invoke' \
--header 'Content-Type: application/json' \
--data '{
    "text": "This is a sample input text"
}'

에러남

1
2
3

{
    "error": "An error occurred (AccessDeniedException) when calling the InvokeEndpoint operation: User: arn:aws:sts::058264433760:assumed-role/bert-text-classfication-dev/bert-text-classfication-dev is not authorized to perform: sagemaker:InvokeEndpoint on resource: arn:aws:sagemaker:ap-northeast-2:058264433760:endpoint/jumpstart-dft-hf-tc-distilbert-base-20240718-065402 because no identity-based policy allows the sagemaker:InvokeEndpoint action"
}

이 오류 메시지는 Lambda 함수가 SageMaker 엔드포인트를 호출할 수 있는 권한이 없기 때문에 발생한다.

Lambda 함수에 필요한 권한을 부여하기 위해서는 Lambda 함수의 실행 역할에 SageMaker 엔드포인트를 호출할 수 있는 권한을 추가해야 한다.

다음은 Lambda 실행 역할에 SageMaker 권한을 추가하는 방법이다:

1. IAM 역할에 정책 추가

Lambda 함수에 할당된 IAM 역할에 sagemaker:InvokeEndpoint 권한을 추가해야 한다.

이를 위해 AWS Management Console 또는 AWS CLI를 사용할 수 있다.

AWS Management Console 사용

IAM 콘솔로 이동: IAM 콘솔로 이동합니다.
역할(Role) 선택: Lambda 함수에 할당된 역할을 선택합니다. 예를 들어, bert-text-classfication-dev 역할을 찾습니다.
정책 추가: 역할의 “권한” 탭에서 “정책 추가” 버튼을 클릭합니다.
정책 연결: 아래 JSON 정책을 추가합니다.

정책 JSON

IAM 콘솔에서 정책을 추가할 때, 아래 JSON 정책을 사용해라:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sagemaker:InvokeEndpoint",
            "Resource": "arn:aws:sagemaker:ap-northeast-2:058264433760:endpoint/jumpstart-dft-hf-tc-distilbert-base-20240718-065402"
        }
    ]
}

Lambda 함수 재배포

IAM 역할에 정책을 추가한 후, Lambda 함수가 새로운 권한을 인식할 수 있도록 Chalice를 사용하여 Lambda 함수를 다시 배포한다:

1	chalice deploy

이제 테스트를 하면

요청

curl --location 'https://3joge41r35.execute-api.ap-northeast-2.amazonaws.com/api/invoke' \
--header 'Content-Type: application/json' \
--data '{
    "text": "This is a sample input text"
}'

응답

{
    "Inference": {
        "Input text": "This is a sample input text",
        "Model prediction": [
            0.7710819840431213,
            0.22891800105571747
        ],
        "Labels": [
            "LABEL_0",
            "LABEL_1"
        ],
        "Predicted Label": "LABEL_0"
    }
}
~~

실시간 추론을 위해 모델을 SageMaker에 배포하기

https://hamin7.github.io/2024/06/03/Deploy-Models-On-Sagemaker-For-Inference/

Author

hamin

Posted on

2024-06-03

Updated on

2024-07-18

Licensed under

#AWS

You need to set install_url to use ShareThis. Please set it in _config.yml.

실시간 추론을 위해 모델을 SageMaker에 배포하기

빠른 설정

사용자 지정 설정

gemma-1.1-2b-it를 이용하여

인스턴스 유형 변경 예제

JumpStart로 배포하고 테스트하기

python SDK example code

Sample request

request

외부에서 curl을 날리면

외부에서 접속하기

1. 엔드포인트 보안 그룹 설정

2. 엔드포인트에 대한 IAM 정책 설정

3. API Gateway 설정

API Gateway 설정 단계:

4. 엔드포인트 호출

요약

Chalice를 통한 서버리스 API 작업 생성

세팅

가상 환경 생성

관련 라이브러리 설치

Chalice 프로젝트 생성

Chalice 로컬 환경 테스트

AWS CLI 설정

Access key 입력

boto3 사용

추론 테스트

1. IAM 역할에 정책 추가

AWS Management Console 사용

정책 JSON

Lambda 함수 재배포

요청

Author

Posted on

Updated on

Licensed under

Like this article? Support the author with

Comments

Links

Categories

Recents

Archives

Tags

Subscribe for updates

follow.it