도메인 특화 LLM 만들기 튜토리얼 [1.데이터 준비]

개요

최근 초거대언어모델(LLM)을 통한 기업용 챗봇 개발이 활발히 진행되고 있습니다. 저희 회사에서도 IT Operation 도메인에 특화된 챗봇 개발의 필요성을 느꼈고 약 두달동안 TF를 진행하면서 경험했던 도메인 특화 LLM 개발경험을 튜토리얼 형식으로 풀어보려고 합니다.

제가 다룰 내용은 다음과 같습니다.

1. 도메인 데이터 준비
2. Foundation Model 선정
3. Fine tuning
4. RAG

이번 포스팅에서는 도메인 데이터 준비에 대해 다뤄보겠습니다.

1.