SK AI SUMMIT 2024 후기

2024년 Coex에서 열린 SK AI SUMMIT 1일차 세션들을 듣고 후기를 남긴다.

ON device AI @에이닷 전화

1. 강연 목적 및 핵심 주제
   • 온디바이스 AI의 개념과 구현 사례를 통해 개인정보 보호 및 비용 절감을 위해 STT 서버를 온디바이스에서 처리하는 방법을 소개
2. 핵심 내용
   • 온디바이스 STT 서버 처리: 음성 파일 전송 없이 단말에서 음성 인식을 처리하여 개인정보 보호 및 서버 연산 비용 절감을 도모. 기존 서버 트래픽은 하루 약 천만 콜, 피크 시간대에는 한 시간당 120만 콜에 이르며, 이를 AWS에서 처리하면서 GPU 비용 문제가 발생
   • iOS와 Android의 차이: iOS는 2채널 통화 녹음을 지원해 모델 연산이 두 배로 필요하지만, Android는 화자 구별 작업이 추가로 필요
   • 모델 학습 및 경량화 과정
     • Scratch Training → Knowledge Distillation → TensorFlow 모델 생성 → TF Lite & 양자화 → Beamsearch → On-Device ASR의 단계로 최적화
     • 모델 크기를 130MB로 줄이면서도 성능을 유지하며, Transformer에서 시작해 Conformer 및 Branchformer로 발전해 디코더 레이어를 줄여 속도를 약 20% 개선
   • 지식 증류: 부모 모델의 특정 레이어를 선택하여 적용하며 선택 방식에 따라 성능 차이 발생
   • 모델 성능 및 특성: 최종 모델은 0.15B, 133MB 크기로 서버용 LAS 구조와 유사하지만, On-device용으로 조정된 구조로서 상용 인식기보다 높은 인식 성능을 보임
3. 장점 및 단점
   • 온디바이스 모델 추론과 경량화 과정을 이해할 수 있음
   • 데이터를 서버에 저장하지 않고 단말에 저장하기 때문에 개인 정보보호 문제 벗어날 수 있고 연산비용 절감가능
   • STT 관련 용어가 많아 초보자에게는 어려울 수 있음
4. 주요 인사이트
   • 온디바이스 모델로 개인정보 보호와 비용 절감이 가능
   • 모델을 클라이언트에 탑재함으로써 서버 유지비용 감소할 것으로 보임
   • iOS와 Android 간의 처리 차이를 고려해야 함

On-Device 국방 경계 솔루션 혁신

1. 강연 목적 및 핵심 주제
   • 국방 도메인에서 실시간 비디오 온디바이스 처리 및 MLOps 파이프라인을 통한 국방 경계 솔루션의 혁신 사례
2. 핵심 내용
   • On-Device AI 제약사항 : Transformer는 못 쓰고, YOLO, Resnet18로 사용해야 한다.
     • 국방 경계이기 때문에 사람 놓치면 큰일남, 탐지 정확도 높아야 한다. 하지만 짙은 안개, 수풀 흔들림, 동물 등 오탐지 많음
   • 전략
     • DET Inference Time Augmentation
       • 입력해상도 1920 * 1080 Large Model로 딱 한번 추론하기 vs 입력해상도 640 * 640 Medium Model 분할 배치 추론하기
       • 관심 영역(이전 프레임의 결과, 모션 등) 재추론 등 정책 결정, 경계 부분의 검출 고려한 Customized NMS 적용 필요
     • DET + CLS Model Ensemble
       • Detector 모델로 전체 Recall을 올리고, Classification으로 전체 오탐지 수 줄인다.
     • 학습 데이터를 더 많이 구하고, 만든다
       • 국방 경계지역은 군사 보안구역이기 때문에, 학습데이터 구하기 힘듬
       • 직접 촬영 + 생성 모델로 합성 데이터 만들기
     • 똑똑한 과외 선생님 도움아래 못난 제자 없다.
       • 똑똑한 과외 선생님 (Knowledge Distillation : Classification 성능 개선) 사용
       • 학습 데이터 취득의 양과 질 확보가 어렵고, 가벼운 모델을 학습하는 경우에 매우 효과적
       • 모든 Classification 모델과 다양한 국방 Test DB에서 정확도 개선효과 검증
     • 성능 최적화
       • H/W 디코더가 S/W 디코더 대비 2.6배 빠르게 처리하며, Knowledge Distillation을 활용해 경량 모델의 성능을 개선하여 최종 93% 정확도를 달성.
3. 장점 및 단점
   • Data Transfer Latency가 최소화 됨
   • 도서 산간 어디든지 설치 가능한 솔루션
   • 이미지 처리 관련 분야로 기술 도입 난이도가 높고, 세부 정보 부족
4. 주요 인사이트
   • 온디바이스 이미지 처리 기술이 국방 및 보안 분야에서 데이터 보안 및 실시간 처리가 가능함을 확인
   • 향후 국방 VLM을 접목하여 긴급 상황에 자동 공지 시스템 개발 가능성을 제시

하드웨어를 이해하는 AI 모델 최적화 기술과 그 성공 사례

1. 강연 목적 및 핵심 주제
   • NotaAI의 AI 모델 최적화 기술과 하드웨어 명령어 최적화를 통한 성능 개선 사례를 설명
2. 핵심 내용
   • NotaAI는 LLM, GenAI, Computer Vision 등 AI 기술과 CPU, GPU, NPU, Memory 등 Semiconductor 간의 최적화를 돕는다.
   • 칩셋 맞춤형 최적화 필요성 : HW는 2년에 2배정도 발전을 이루는데, AI Model Size는 2년에 410배 증가 추세
   • 성능 향상 사례: 최신 모델이라도 특정 칩셋의 명령어가 최적화되지 않으면 성능 저하가 발생할 수 있으며, 이를 하드웨어 명령어 최적화를 통해 성능 저하 문제를 해결
   • 모델 성능 향상 요소: 신경망 구조, 데이터셋, 하드웨어에 따라 성능이 달라지며, 하드웨어에 맞춘 최적화로 효율을 극대화할 수 있음
3. 장점 및 단점
   • AI Model 최적화를 통해 한정된 HW 자원을 효율적으로 사용 가능
   • 하드웨어 명령어 최적화의 중요성을 인식할 수 있음
   • 기술적 설명보다 회사 소개에 다소 치중된 내용
4. 주요 인사이트
   • HW 개발 속도가 AI Model 사이즈 증가속도를 따라가지 못하기에 모델 최적화는 중요해보임
   • AI 모델을 특정 하드웨어에 맞춰 최적화하면 성능이 향상될 수 있으며, 실무에서 다양한 칩셋에 맞춘 최적화가 필요함을 확인

어디 갈까? TMAP 데이터로 장소 추천 받기!

1. 강연 목적 및 핵심 주제
   • 티맵 주행 정보를 활용한 장소 추천 서비스.
2. 핵심 내용
   • 주행 목적지 데이터를 바탕으로 다양한 주행 패턴 중 여행 세션을 정의하고, 주행 데이터를 효과적으로 모델링하기 위해 활용한 그래프 구조 기반의 딥러닝 방식 소개
   • 딥러닝한 모델을 실제 서비스에 적용하기 위한 MLOps 파이브라인 설명
   • 추천의 개인화 및 고도화를 위한 LLM 적용 추천 서비스 방향성
   • 여행이라는 패턴은 하루 내에 여행 관광과 관련된 장소를 3곳 이상 들렀고, 이 중 하나는 숙소에 들렀던 목적지의 시퀀스로 정의
   • Graph 구조를 활용한 딥러닝 - 모델링 주안점
     • 시간적, 공간적 Locality를 위한 Graph 기반의 모델 사용
     • 시간에 대해 고려하기 위해서 시간 임베딩을 추가
     • 고차 연관성 학습을 위한 Multi-granularity Graph 사용
     • Popularity bias 완화를 위한 L2-norm 적용
   • 시간대 별 이동거리를 고려한 장소 추천
     • 이른 시간일수록 더 먼 장소 추천
   • 시간대별 적합한 카테고리의 장소 추천
     • 점심시간대에는 식당을 추천
     • 저녁 시간대에는 호텔이나 캠핑장 추천
   • Light-weight 한 모델이 잘 working 한 이유
     • 충분한 티맵의 데이터
     • 그래프 모델의 Locality 학습 우위
   • 빠른 서비스 배포를 위한 MLOps
     • NEUF-CLI (Custom SDK) 사용
     • Jenkins 파이프라인 활용
3. 장점 및 단점
   • 시간적, 공간적 Locality를 고려하여 Graph 기반의 모델을 사용하였기에 추천의 퀄리티가 좋아보였음.
   • 가벼운 모델을 사용했지만 데이터가 충분히 방대하여 괜찮은 추천 결과를 나타내 줌
   • 아직 개인의 취향에 따라 추천해주는 부분은 없어서 아쉬움
4. 주요 인사이트
   • 검색한 POI를 기준으로 하면, 검색만 하고 실제로 해당 위치에 가지 않을수도 있기에, 실제로 이동하여 해당 위치에 간 경우만 데이터로 활용한 점이 효과적이라고 생각.
   • 데이터 전처리 및 분석이 중요한 요소임을 확인
   • POI 검색 기준으로 실제 이동 데이터만 활용한 것이 효과적
   • 장소를 추천하기 위해 모든 주행 데이터를 사용하는 것은 다양한 패턴이 존재하여 모델에 혼선을 유발하므로 조정해야 함
   • 소규모 모델도 충분한 데이터를 활용해 높은 성능을 낼 수 있음

우리집 TV에도 AI가?! Btv 미디어 Agent

1. 강연 목적 및 핵심 주제
   • AI가 접목된 TV의 개인화된 미디어 환경
2. 핵심 내용
   • LLM 기반 검색 개선:
     • 기존 키워드 기반 검색에서 LLM 기반 검색으로 개선
     • 에이닷을 접목하여 미디어에 관련된 정보를 검색
     • 키워드만 추출하는 NUGU SDK와 다르게 맥락을 추출하여 반영하고 검색
   • 지식 그래프를 활용하여 컨텐츠간의 유사도 파악
   • 임베딩 모델 어떤것을 사용했는지는 공개 불가
3. 장점 및 단점
   • 개인의 취향과 이력 패턴은 따로 저장하고 있지 않고, 사용할 때 취향과 맥락이 잘 반영되도록 입력해야 함
   • 단순히 키워드를 추출하는 방식보다는 맥락이 반영되어 검색의 만족도가 높음
   • LLM 사용 이유와 구체적인 성능 설명 부족
4. 주요 인사이트
   • 개인화 이력 패턴은 개인정보 문제로 반영되지 못함
   • 컨텐츠 메타정보는 컨텐츠 정보를 판매 회사에서 구매하고, 유튜브 댓글 등을 활용하여 임베딩을 통해 구성함

AI 여행 파트너, TGO: 일정부터 혜택까지 Agent가 설계하는 스마트 여행

1. 강연 목적 및 핵심 주제
   • 고객의 취향, 예산, 일정을 분석하여 최적의 여행 계획을 수립해주는 AI 여행파트너 TGO
2. 핵심 내용
   • 그래프 DB 기반 RAG를 활용하여 고객의 취향, 예산, 일정을 입력하면 데이터를 분석하여 최적의 여행 계획을 수립해 줌
   • MBTI도 입력하면 이를 반영하여 여행계획 수립
   • 다중 에이전트 협력: 여러 에이전트가 협력하여 여행 일정을 설계하며 토큰 발생과 처리 시간 소요 문제를 인지
3. 장점 및 단점
   • 개인의 취향을 저장하고 있다가 이를 반영하지는 못하고, 분석 요청시 데이터를 입력해야 함
   • 다중 에이전트 협력 구조를 이해할 수 있음
4. 주요 인사이트
   • 벡터 서치를 위한 데이터는 웹 크롤링을 통해 DB에 축적하며, POI 검색 고도화를 위한 웹서치 진행함
   • 여러 에이전트의 응답시간은 여행 일정 수립에 중점을 두어 고려를 하지 않아 오래걸림