0. 응답 품질 평가 진행 배경

1. 응답 품질 평가 필요한 이유

• 본 프로젝트에서 개발한 RAG 기반 요금제 추천 챗봇은 사용자에게 제공되는 답변의 품질이 중요함.
• 답변의 품질에는 사용자의 질문에 대해 관련 있는 답변, 정확한 정보, 문맥에 맞는 응답이 핵심임.

2. 기존 평가 지표의 한계

• 기존의 정답 기반 정확도 평가는 RAG에서 사용되는 사용자 의도에 맞는 다양한 정답이 존재하는 경우 평가지표로서 부족하다고 느낌.
• 이에 따라 LLM을 이용해서 사람이 하는 평가와 유사하게 정확도, 근거 적합성, 신뢰성을 종합적으로 평가할 수 있는 RAGAS를 선택하여 응답 품질 평가를 진행함.

1. 평가 방법

1-1. 평가 프레임워크 - RAGAS

• RAG 시스템의 응답 품질을 정량적으로 평가하기 위한 프레임워크
• RAG의 각 구성 요소(검색, 생성)의 성능을 자동화된 지표로 측정하기 위해 사용

Ragas

https://github.com/explodinggradients/ragas

1-2. 평가 지표

2. 비교 모델 목록

2-1. Huggingface : intfloat/multilingual-e5-small