超级会员免费看
Nvidia Metrics
Answer Accuracy
Answer Accracy 使用
Answer Accuracy是回答的准确性，用来评价LLM的反馈和给出的参考答案之间的一致性。
Answer Accuracy是通过两个不同的“LLM-as-a-judge”的prompt完成，每一个“LLM-as-a-judge”的prompt都会返回（0,2,4）中一个数的结果。然后将这两个“LLM-as-a-judge”的prompt返回的评分转换成[0,1]区间的度量值。接下来会取这两个度量值的平均值作为最后的结果。分数越高说明LLM的反馈越接近于参考答案。
- 0表示LLM的反馈和参考答案不一致
- 2表示LLM的反馈和参考答案部分一直
- 4表示LLM的反馈和参考答案完全一致
from ragas.dataset_schema import SingleTurnSample
from ragas
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
