파인튜닝은 이미 학습한 AI 모델을 특정 작업에 맞게 추가로 학습시키는 방법이에요. 원하는 답변 예시를 학습해 분류 기준이나 표현 방식을 익히게 할 수 있어요. 내 작업에 필요한 방법을 판단하려면 지시문을 다듬는 프롬프트 개선, 참고 자료를 연결하는 RAG와의 차이부터 이해하면 좋아요.
파인튜닝이란 정확히 무엇인가요?
파인튜닝은 학습 데이터를 이용해 모델의 출력을 결정하는 내부 수치를 조정해요. 이 수치를 가중치라고 해요. 지시문만 바꿔 답변을 유도하는 것과 달리, 학습으로 조정한 값이 이후 실행에도 사용된다는 점이 핵심이에요.
많은 자료로 언어의 패턴과 일반적인 능력을 미리 익히는 과정을 사전학습이라고 해요. 파인튜닝은 그 결과를 출발점으로 삼아 특정 목적에 맞게 더 학습하는 과정이에요. 처음부터 모델을 만드는 것보다 기존 능력을 활용할 수 있어요. Hugging Face의 파인튜닝 안내에서도 사전학습한 모델을 특정 작업의 데이터로 추가 학습하는 방식으로 설명해요.
일반적인 글쓰기 능력이 있는 사람이 고객 상담 답변을 연습하는 상황에 빗대면 이해하기 쉬워요. 다만 AI가 사람처럼 업무를 이해한다고 받아들이기보다는, 예시에 맞는 출력을 만들도록 내부 계산이 조정된다고 생각하면 정확해요.
고객 문의 분류로 보면 어떤 모습인가요?
다음은 원리를 설명하기 위한 가상 예시예요. 문의를 읽고 담당 부서를 정하는 모델을 만든다고 가정해 볼게요.
| 학습에 넣는 문의 | 원하는 분류 결과 |
|---|---|
| 주문한 물건이 아직 도착하지 않았어요. | 배송 |
| 같은 주문이 두 번 결제됐어요. | 결제 |
| 받은 상품을 반품하고 싶어요. | 반품 |
입력과 원하는 답을 짝지어 가르치는 방식을 지도 파인튜닝이라고 해요. 모델이 낸 결과와 준비한 답의 차이를 줄이도록 학습해요. 목표는 예시 문장을 그대로 외우는 데 있지 않아요. 처음 보는 문의도 같은 기준으로 분류하는지 확인해야 해요.
프롬프트·RAG와는 어떻게 다른가요?
프롬프트는 요청 내용을 바꾸고, RAG는 답변에 참고할 자료를 제공하며, 파인튜닝은 학습으로 모델을 조정해요. 무엇이 부족해서 답변이 틀리는지에 따라 적합한 접근이 달라져요.
AI에게 전달하는 지시문이나 질문을 프롬프트라고 해요. 예를 들어 ‘문의 유형만 출력해 줘’라고 요청하고 분류 예시를 함께 넣을 수 있어요. 이런 식으로 입력을 다듬는 작업이 프롬프트 엔지니어링이에요. 일반적인 프롬프트 사용에서는 모델의 가중치를 학습으로 바꾸지 않아요.
질문과 관련된 문서를 찾아 답변할 때 함께 참고하게 하는 방식을 검색 증강 생성, RAG라고 해요. 최신 배송 규정을 검색해 모델에 전달하는 식이에요. 기본적인 RAG 구성에서는 검색한 문서를 모델 입력에 추가하며, 그것만으로 모델을 재학습하지는 않아요.
| 방법 | 주로 바꾸는 것 | 검토할 상황 |
|---|---|---|
| 프롬프트 개선 | 지시문과 입력 예시 | 요청이 모호하거나 답변 형식이 불분명할 때 |
| RAG | 답변 시 제공하는 참고 자료 | 최신 규정이나 사내 문서의 근거가 필요할 때 |
| 파인튜닝 | 학습으로 조정하는 모델의 수치 | 반복 작업의 분류 기준이나 표현 방식을 익히게 할 때 |
환불 규정이 자주 바뀐다면 문서를 갱신해 찾아 쓰는 RAG를 먼저 검토할 수 있어요. 답변의 말투나 분류 기준을 일관되게 적용하는 것이 과제라면 파인튜닝이 후보가 돼요. 이는 각 방식의 작동 원리를 업무에 적용한 판단 예시예요.
두 방법을 함께 쓸 수도 있어요. RAG로 규정을 가져오고, 파인튜닝한 모델이 그 자료를 바탕으로 정해진 방식의 답변을 작성하는 구성이에요. AWS의 비교 문서도 자체 문서를 근거로 답하는 용도에서는 RAG부터 검토하고, 필요에 따라 파인튜닝을 결합할 수 있다고 안내해요.
어떤 경우에 파인튜닝을 검토하면 좋을까요?
목표가 분명한 반복 작업에서 기존 모델의 오류가 계속되고, 원하는 결과를 보여 줄 일관된 예시가 있을 때 검토할 만해요. Google Cloud의 설명은 특정 작업의 성능 개선, 전문 용어 활용, 말투 조정 등을 활용 목적으로 제시해요.
도입 판단은 실제 실패 사례에서 시작해 보세요. 고객 문의를 엉뚱한 부서로 분류하는지, 요약에서 필수 항목을 빠뜨리는지, 정해진 표현 규칙을 반복해서 어기는지 구분하면 목표를 구체화할 수 있어요.
- 지시가 불분명하다면: 원하는 출력과 금지할 출력을 프롬프트에 구체적으로 적어 보세요.
- 참고할 사실이 없다면: 문서를 입력에 제공하거나 검색해 연결하는 방법을 검토하세요.
- 예시로 가르칠 패턴을 계속 놓친다면: 실패 사례를 모아 파인튜닝 실험을 설계해 보세요.
이 순서는 처음 검토하는 독자를 위한 실무 제안이에요. 프롬프트를 다듬은 기존 모델이 이미 목표를 충족한다면 추가 학습의 효과가 작을 수 있어요. 먼저 비교할 기준을 만들어 두세요.
LoRA는 파인튜닝과 다른 기술인가요?
LoRA는 파인튜닝을 효율적으로 수행하는 방법 중 하나예요. 학습할 수치를 줄이는 접근이에요.
모델의 모든 가중치를 조정하는 방식을 전체 파인튜닝이라고 해요. 적은 수의 수치만 학습해 계산과 저장 부담을 줄이는 접근은 매개변수 효율적 파인튜닝, PEFT라고 불러요. Hugging Face의 PEFT 문서에서 이 개념을 설명해요.
그중 LoRA는 기존 가중치를 고정하고, 가중치의 변화량을 표현하는 작은 행렬을 학습해요. 행렬은 수를 표처럼 배열한 것으로, 모델 내부 계산에 사용돼요. 원래 모델 전체를 직접 조정하는 대신 작은 추가 부분으로 변화를 학습하는 셈이에요. Hugging Face의 LoRA 문서에서 이 구조를 확인할 수 있어요.
학습할 부분이 작아져도 기존 모델을 실행하는 자원은 필요해요. LoRA라는 이유만으로 어떤 노트북에서도 학습할 수 있다고 단정할 수는 없어요. 사용할 모델 크기와 입력 길이, 학습 설정을 함께 살펴야 해요.
파인튜닝은 어떤 순서로 진행하나요?
목표와 평가 기준을 정한 뒤 데이터를 준비하고, 추가 학습한 모델을 기존 모델과 비교해요. 학습이 끝났다는 사실보다 처음 보는 입력에서 실제로 좋아졌는지가 중요해요.
목표와 좋은 답의 기준을 먼저 정해요
‘상담을 잘한다’는 목표는 평가하기 어려워요. ‘문의 유형을 지정한 항목 중 하나로 분류한다’처럼 관찰할 수 있는 결과를 정해 보세요. 분류라면 맞힌 비율을, 요약이라면 필수 정보의 포함 여부와 없는 사실을 덧붙였는지를 확인할 수 있어요.
학습용 예시와 평가용 예시를 나눠요
같은 유형에 서로 다른 정답을 붙이거나 오래된 규칙을 섞으면 학습 방향이 흐려져요. 데이터의 중복과 오류를 정리하고, 실제로 들어올 입력의 표현 차이와 예외도 반영하세요.
모델을 가르칠 자료, 학습 중 설정을 고를 자료, 마지막에 성능을 확인할 자료를 구분해요. 각각 학습용·검증용·테스트용 데이터예요. Google Cloud의 데이터 준비 안내에서도 이 구분을 강조해요.
가령 같은 상담 대화를 문장만 조금 바꿔 학습용과 테스트용에 나눠 넣으면, 처음 보는 사례에 얼마나 잘 대응하는지 판단하기 어려워요. 같은 대화나 같은 원문에서 나온 예시가 양쪽에 섞이지 않게 관리하세요.
학습 전후를 같은 조건으로 비교해요
프롬프트를 다듬은 기존 모델과 파인튜닝한 모델에 동일한 테스트 문제를 주세요. 목표 작업의 개선뿐 아니라 답변 시간, 운영 비용, 다른 유형에서 새로 생긴 오류도 함께 살펴보세요. 실패 사례를 다시 데이터와 지시문에 반영하면 다음 실험에서 무엇이 달라졌는지 확인하기 쉬워요.
파인튜닝하면 틀린 답이 사라지나요?
아니에요. 특정 작업을 더 잘하게 만들 수는 있지만, 사실 정확성이나 모든 상황에서의 성능을 보장하지는 않아요.
학습 예시에는 잘 맞지만 새로운 입력에는 약해지는 현상을 과적합이라고 해요. 특정 작업을 추가 학습하면서 기존 능력이 떨어지는 현상은 망각이라고 불러요. Google Cloud는 두 현상을 파인튜닝의 주요 위험으로 설명해요.
그럴듯하지만 근거가 없거나 틀린 내용을 만드는 현상인 환각도 남을 수 있어요. Google Cloud는 파인튜닝으로 환각을 줄일 가능성을 설명하지만, AWS는 질의응답에 사용할 때 환각 위험이 커질 수도 있다고 경고해요. 환각이 줄어들 것이라고 단정하지 말고 실제 질문으로 검증해야 해요.
파인튜닝 여부를 결정하려면 지금 모델이 틀리는 사례와 원하는 답부터 모아 보세요. 지시가 부족한지, 자료가 부족한지, 반복해서 익혀야 할 기준이 있는지 나누면 다음에 시도할 방법이 더 분명해져요.
자주 묻는 질문
파인튜닝 데이터는 몇 개가 필요한가요?
모든 작업에 통하는 최소 개수는 없어요. 작업의 난도, 기본 모델의 능력, 예시의 다양성과 품질에 따라 달라져요. 먼저 일관된 예시로 실험하고, 별도로 남겨 둔 평가 자료에서 어떤 유형이 부족한지 확인하며 보완하세요.
대화창에 예시를 여러 개 넣어 주는 것도 파인튜닝인가요?
일반적인 대화 입력만으로 예시를 보여 주는 것은 파인튜닝이 아니에요. 그 요청에 포함된 예시를 참고하는 방식이에요. 별도의 학습 절차로 가중치나 추가 학습 부분을 조정했는지가 구분 기준이에요.
파인튜닝을 하면 프롬프트가 필요 없어지나요?
아니에요. 학습한 모델에도 처리할 입력과 필요한 지시를 전달해야 해요. 학습 때 사용한 입력 형식과 실제 사용 형식이 크게 다르면 기대한 결과가 나오지 않을 수 있으므로 함께 설계하세요.
파인튜닝은 텍스트 AI에만 쓰나요?
아니에요. 이미지 분류나 음성 인식 등에도 적용할 수 있어요. Hugging Face의 PEFT 문서도 텍스트뿐 아니라 이미지와 음성 작업을 활용 범위로 안내해요.
참고 자료
- Fine-tuning — Hugging Face
- Fine-tuning LLMs and AI models — Google Cloud
- Comparing Retrieval Augmented Generation and fine-tuning — Amazon Web Services
- LoRA — Hugging Face
- PEFT — Hugging Face