OpenAI
SLMs
HuggingFace
Phi-3

AWS EKS에 프로젝트를 배포하려면 Docker 이미지를 만들어야 한다.

이를 위해 Dockerfile을 작성하고, Docker 이미지를 빌드 및 푸시한 후, Kubernetes 매니페스트 파일을 사용해 EKS에 배포하는 과정을 따르게 된다.

AutoGen은 서로 대화하여 작업을 해결할 수 있는 여러 에이전트를 사용하여 LLM 애플리케이션을 개발할 수 있는 프레임워크이다.

AutoGen 에이전트는 사용자 정의가 가능하고 대화가 가능하며 인간의 참여를 원활하게 허용한다.

LLM, 인간 입력 및 도구의 조합을 사용하는 다양한 모드에서 작동할 수 있다.

CentOS 리눅스 시스템에서 사용되는 YUM 리포지토리 설정 파일의 예

Docker를 사용하면 Linux 환경을 Mac에서 쉽게 사용할 수 있습니다. 이를 통해 yumdownloader를 실행할 수 있습니다.

docker를 사용하려면 기본적으로 외부망(인터넷이 되는 환경)이 되는 환경이어야 하는데 폐쇄망에서 docker를 설치해야 하는 경우도 있다. 이럴 경우 어떻게 docker를 어떻게 설치하는지 알아보자. 

프로젝트 배포에 사용한 ec2와 S3을 연동해 보았다.

AWS EC2에 PostgreSQL을 설치하고 접속해보겠다.
사실 AWS에는 관계형 데이터베이스를 편하게 다룰 수 있는 서비스인 RDS를 제공하기는 하지만 과금이 많이 되는 경향도 있고 여러 이유로 PostgreSQL을 직접 EC2에 설치해서 사용하기로 했다.

ML 모델을 서비스로 배포하려면 어떻게 하는게 좋을지 고민하던 중, AWS에 Amazon SageMaker를 이용하여 배포하기로 결정했다.

SageMaker에 Gemma 2b 모델을 추론 모델로 배포하고 사용하기