LangChain의 RunnableWithMessage는 LangChain에서 제공하는 유틸리티 클래스로, 주로 챗봇 애플리케이션 개발 시 이전의 대화 히스토리와 상호작용을 관리하기 위해 사용된다.
이 클래스는 주로 대화 기록을 저장하고 관리하여 대화 흐름을 유지하거나 개인화된 응답을 생성하는데 유용하다.

기본적으로 RunnableWithHistory 클래스는 대화 세션 내에서 사용자와 AI간의 대화 히스토리를 지속적으로 기록할 수 있도록 해주며, 필요한 경우 특정 조건에 따라 히스토리를 요약하거나 일부 삭제할 수 있는 기능도 제공한다.
이를통해 챗봇이 각 세션마다 대화 컨텍스트를 유지할 수 있어 더욱 자연스러운 대화 경험을 제공한다.

멀티턴, summary를 지원할 수 있도록 DB 설계를 해보도록 하겠다.

랭체인에는 5가지 정도 종류의 메모리가 있는데 각자 저장방식도 다르고, 각자만의 장단점이 있다.

챗봇에 메모리를 추가하지 않으면 챗봇은 아무것도 기억할 수 잆다.

오픈 AI에서 제공하는 기본 API는 랭체인 없이 사용 사용할 수 있는데, 메모리를 지원하지 않는다 (stateless)

그렇기에, 오늘은 랭체인에서 제공하는 메모리 사용법에 대해 적어보고자 한다.

LangSmith란 LLM 애플리케이션을 디버깅, 테스트, 평가, 모니터링할 수 있는 개발자 플랫폼이다.

프로젝트나 LangChain 학습을 시작한다면, LangSmith를 설정 후 진행하는 것이 좋다고 한다.

랭체인은 언어모델 기반 앱을 매우 쉽고 빠게 구축할 수 있도록 미리 만들어진 수많은 구성 요소와 모듈이 포함된 프레임워크이다.

로그에 쌓여있는 대화 데이터들을 일정한 주기마다 읽어(아마 InstanceID 기준)와 요약하여 (프롬프트 이용) Redis나 NAS와 같은 저장소에 저장할 수 있도록 배치 서버를 구성하는데 필요한 Batch Server 기술 스택을 조사한다.

특정시간 또는 일정한 주기마다 작업을 자동으로 실행하기 위해 사용하는 유닉스 계열 시스템의 스케줄러

AWS EC2에 배포 중 아래와 같은 에러가 났다.

LiteLLM은 다양한 대형 언어 모델(LLM) 제공자의 API를 간편하게 통합하고 관리할 수 있도록 설계된 라이브러리이다.
OpenAI와 호환되는 API를 사용하여 이러한 모델들과의 상호작용을 표준화한다. 여러 LLM을 사용하는 프로젝트에서 LiteLLM은 통합, 관리, 그리고 비용 및 사용량 모니터링을 간편하게 만들어준다.

SSM 에이전트가 온라인 상태가 아닙니다 에러

권한이 업데이트 되면서 연결이 안 된것 같음.

권한을 제거했다가 붙여야 함.