Azure OpenAI Service와 Azure AI Document Intelligence를 기반으로 구축된, 비정형, 다중모드 문서에서 요약, 엔터티, 메타데이터를 처리하고 추출하여 데이터를 검색하고 채팅할 수 있는 솔루션.

Microsoft Entra ID는 클라우드 기반의 identity and access management 서비스이다.

MS AZ204 자격증 취득을 위한 공부 과정 및 방법을 기록해보겠다.

2024년 Coex에서 열린 SK AI SUMMIT 1일차 세션들을 듣고 후기를 남긴다.

LangChain의 RunnableWithMessage는 LangChain에서 제공하는 유틸리티 클래스로, 주로 챗봇 애플리케이션 개발 시 이전의 대화 히스토리와 상호작용을 관리하기 위해 사용된다.
이 클래스는 주로 대화 기록을 저장하고 관리하여 대화 흐름을 유지하거나 개인화된 응답을 생성하는데 유용하다.

기본적으로 RunnableWithHistory 클래스는 대화 세션 내에서 사용자와 AI간의 대화 히스토리를 지속적으로 기록할 수 있도록 해주며, 필요한 경우 특정 조건에 따라 히스토리를 요약하거나 일부 삭제할 수 있는 기능도 제공한다.
이를통해 챗봇이 각 세션마다 대화 컨텍스트를 유지할 수 있어 더욱 자연스러운 대화 경험을 제공한다.

멀티턴, summary를 지원할 수 있도록 DB 설계를 해보도록 하겠다.

랭체인에는 5가지 정도 종류의 메모리가 있는데 각자 저장방식도 다르고, 각자만의 장단점이 있다.

챗봇에 메모리를 추가하지 않으면 챗봇은 아무것도 기억할 수 잆다.

오픈 AI에서 제공하는 기본 API는 랭체인 없이 사용 사용할 수 있는데, 메모리를 지원하지 않는다 (stateless)

그렇기에, 오늘은 랭체인에서 제공하는 메모리 사용법에 대해 적어보고자 한다.

LangSmith란 LLM 애플리케이션을 디버깅, 테스트, 평가, 모니터링할 수 있는 개발자 플랫폼이다.

프로젝트나 LangChain 학습을 시작한다면, LangSmith를 설정 후 진행하는 것이 좋다고 한다.

랭체인은 언어모델 기반 앱을 매우 쉽고 빠게 구축할 수 있도록 미리 만들어진 수많은 구성 요소와 모듈이 포함된 프레임워크이다.

로그에 쌓여있는 대화 데이터들을 일정한 주기마다 읽어(아마 InstanceID 기준)와 요약하여 (프롬프트 이용) Redis나 NAS와 같은 저장소에 저장할 수 있도록 배치 서버를 구성하는데 필요한 Batch Server 기술 스택을 조사한다.