KOCW

클라우드 기반의 AI 서비스 개발

[aws-sagemaker-serverless]

Amazon Sagemaker Serverless Interence -서버리스 기계 학습 추론 기능 https://aws.amazon.com/ko/blogs/korea/amazon-sagemaker-serverless-inference-machine-learning-inference-without-worrying-about-servers/

완전관리형 ML 서비스인 Amazon Sagemaker는 이러한 모든 사용 사례를 지원하기 위해 다양한 모델 추론 옵션을 제공

밀리초 단위로 지연 시간이 짧은 워크로드를 위한 Sagemaker 실시간 추론 https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html
페이로드 크기가 크거나 처리 시간이 긴 추론을 위한 Sagemaker 비동기식 추론 https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference.html
데이터 배치에 대한 예측을 실행하기 위한 SageMaker 배치 변환 https://docs.aws.amazon.com/sagemaker/latest/dg/batch-transform.html
트래픽 패턴이 간혈적이거나 드문 워크로드를 위한 SageMaker Serverless Inference https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html

Register and Deploy Models with Model Registry https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry.html
Create and Manage Sagemaker Pipeline https://docs.aws.amazon.com/sagemaker/latest/dg/pipelines-build.html
SageMaker Serverless Inference Python SDK 코드 라이브러리 https://sagemaker.readthedocs.io/en/stable/overview.html#sagemaker-serverless-inference
classsagemaker.serverless.serverless_inference_config.``ServerlessInferenceConfig(memory_size_in_mb=2048, max_concurrency=5, provisioned_concurrency=None) https://sagemaker.readthedocs.io/en/stable/api/inference/serverless.html
Amazon SageMaker를 위한 서버리스 엔드포인트 만들기(X)(lambda,gateway) https://aws.amazon.com/ko/blogs/korea/build-a-serverless-frontend-for-an-amazon-sagemaker-endpoint/
Create a serverless endpoint 서버리스 앤드포인트 생성 https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints-create.html
Amazon Elastic Container Registry 어디서나 컨테이너 소프트웨어를 쉽게 저장, 공유 및 배포 https://aws.amazon.com/ko/ecr/

Cloud-based-AI-service-development_eng.pdf