第一章

级棒”，因为它的回答最准确，第二个回答”因为麦克风品质特别好”主要讲述了麦克风的质量而不是耳机的音质。
“人类评估的局限性”它无法有效地扩展。
所需要的时间成本明显高于自动化方法。
另一个局限性是人类评估是主观的—一个评估者的判断可能与另一个评估者的判断不同。
上面的例子相对简单，但在更具挑战性的任务中，对于响应结果的好坏，会有更多的模糊性和解释空间。
许多因素都会影响评估者的判断，例如专业知识、风格和偏见，从而影响评估结果。
三、利用LLM评估替代人工评估的另外一种方法是利用LLM进行结果评估，即：通过Prompt来引导LLMs模拟人工评估过程。
上面介绍的人工评估方法”案例对比、评分和A/B测试”都可以利用LLM来实现。
在下面示例中，使用大模型对相同的问答任务执行A/B测试评估。
该模型的任务是在对问题的两个回答中选择最好的答案，输出结果显示回答1是最好的。
“LLM评估的优缺点”：消除了人工评估的时间成本限制，但它是否能在准确性和质量上超越人类评估尚无定论。
它在一项任务上的有效性并不能保证它会推广到其他任务和领域，唯一解决方法是在特定应用程序上测试它。
“LLM评估的挑战”：LLM生成的评估也面临着与人类评估相同的主观性挑战。
许多因素都会影响模型的评估结果，例如模型的整体能力、是否经过专门训练来执行评估、是否存在可能引入偏差的训练数据等等。
四、单词级评估另一种评估方法在单词/Token级别上比较参考案例和生成结果。
目前有多种评估指标可用，例如BLEU、ROUGE、Perplexity和BERTScore。
让我们看一个ROUGE的例子，它最初是为了评估摘要而创建的。
它测量参考文本和生成文本之间匹配的“n-gram”的数量。
N-gram是文本中“n”项的连续序列，其中“n”可以是2等。
为了简单起见，我们将使用“n=1”，也称为“一元语法”。
例如，在“我爱猫”...

小说《所需要的时间成本》试读结束，继续阅读请看下面！！！