Microsoft Build 2024

OpenAI
SLMs
HuggingFace
Phi-3

키노트 주요 영상 1 - ChatGPT 4o를 사용한 실시간 AICC

ChatGPT 4o와 대화를 함.

신발도 보여줌.

구매 내역이나 보여준 신발에 대하여 여러가지 데이터를 조회해서 답변을 함.

영어 - 스페인어 전환 시 chat GPT도 언어 전환

키노트 주요 영상 2 - Copilot + PC의 On-device 멀티 모달 기능

Copliot PC는 인터넷이 끊겨도 작동 가능한 On-device

마인크래프트 게임 중 Copilot에게 게임 방법 물어보고, 가이드 받으며 게임 진행.

키노트 주요 영상 3 - Sovereign Cloud, 각국 AI Cloud Center 투자

Multiple LLM + AI Eco.

ND MI300X V5
NPU에 대한 네트워크 위에 있는 소프트웨어 스펙과 칩에 대한 설명
브라우저에서 llm이 돌아가는 기술에 대한 설명

Copilot+PC : 온디바이스에서 어떻게 돌아가는지

Azure AI model breadth

Copilot Studio

Microsoft Copilot, Copilot + PC, Copilot stack

추후 공개될 기능들.

AI Studio 내 ChatGPT-4o Open, ChatGPT 4 Fine Tuning 지원 등

• ChatGPT 4o Open
• Phi-3-Vision 128K instruct Open

Microsoft Copilot

Teams의 Copilot에게 질문함

• 내 보스의 최근 활동 follow up 해줘

Copilot stack

• 산업, B2B, 특정기업 특화 Copilot을 위한 Data / API 연동 방법들
• Declarative Copilots
• context를 이해함

Custom Copilot을 어떻게 만드는가

• custom knowledge 추가 (confluence 등)
• 운영계 DB등을 등록
• 특정 agent 만든다고 할때, 기 등록된 knowledge 중 필요한 것 선택
• action 선택 (결제, 팀즈 알람 등)
• deploy to channel
• Add Trigger (어떤 이벤트 발생 시 먼저 말을 거는 것도 가능)
• Agent Building, 프롬프트 엔지니어링
• Prompt & Agent, Rule base 분기
• RAG, Image + Policy 연동 분기 지원

Multiple Agent

• RAG, Agent, FunctionCall
• 에이전트를 만드는 노코드 툴
• AutoGen

Document AI & RAG

• 표 인식 가능
• 문서를 OCR로 가져올 수 있음
• 필기체도 가져올 수 있음

AI Security Sovereignty

LLM에서의 새로운 보안 위협

Prompt shields

• prompt define시 앞뒤로 define 하는 것
• jailbreak 공격 block 및 모니터링

Purview / Defender

• DRM 걸린 파일들 권한 관리 등등
• 어떤식으로 핸들링하는지에 대한 SDK
• File SDK
• 엑셀파일 특정 칼럼 암호화 등

Respoinsible AI - AI Red Teaming

• Code level
• Github 주소 있음
• Input Filter
• Output Filter

Azure AI Content Safety

• Groundeness detection
• Evaluation & Monitoring
• Data Monitoringm Incidents monitoring

[결론]
Apple / Microsoft의 AI 전략에서 바라보는 시사점

• Multiple LLM으로 근본적인 안정성 보장
• Server Big LLM과 Task sLM의 조화

직원용 PC, Kiosk, ATM, Edge Device …

주지할 것들 : 바깥 세상의 기술의 속도에 발 맞추어, 홀로 경쟁이 아닌, 그들과 발 맞추고 올라타야 하는 시점
opensource 활용, partner Eco 활용

자체 AI Product + Total AI MSP