发表时间:2023-10-12 10:47:21
卢韬友/著|现代言情|连载中|投稿单本602
级棒”,因为它的回答最准确,第二个回答”因为麦克风品质特别好”主要讲述了麦克风的质量而不是耳机的音质。
“人类评估的局限性”它无法有效地扩展。
所需要的时间成本明显高于自动化方法。
另一个局限性是人类评估是主观的—一个评估者的判断可能与另一个评估者的判断不同。
上面的例子相对简单,但在更具挑战性的任务中,对于响应结果的好坏,会有更多的模糊性和解释空间。
许多因素都会影响评估者的判断,例如专业知识、风格和偏见,从而影响评估结果。
三、利用LLM评估替代人工评估的另外一种方法是利用LLM进行结果评估,即:通过Prompt来引导LLMs模拟人工评估过程。
上面介绍的人工评估方法”案例对比、评分和A/B测试”都可以利用LLM来实现。
在下面示例中,使用大模型对相同的问答任务执行A/B测试评估。
该模型的任务是在对问题的两个回答中选择最好的答案,输出结果显示回答1是最好的。
“LLM评估的优缺点”:消除了人工评估的时间成本限制,但它是否能在准确性和质量上超越人类评估尚无定论。
它在一项任务上的有效性并不能保证它会推广到其他任务和领域,唯一解决方法是在特定应用程序上测试它。
“LLM评估的挑战”:LLM生成的评估也面临着与人类评估相同的主观性挑战。
许多因素都会影响模型的评估结果,例如模型的整体能力、是否经过专门训练来执行评估、是否存在可能引入偏差的训练数据等等。
四、单词级评估另一种评估方法在单词/Token级别上比较参考案例和生成结果。
目前有多种评估指标可用,例如BLEU、ROUGE、Perplexity和BERTScore。
让我们看一个ROUGE的例子,它最初是为了评估摘要而创建的。
它测量参考文本和生成文本之间匹配的“n-gram”的数量。
N-gram是文本中“n”项的连续序列,其中“n”可以是2等。
为了简单起见,我们将使用“n=1”,也称为“一元语法”。
例如,在“我爱猫”...
小说《所需要的时间成本》试读结束,继续阅读请看下面!!!
继续阅读晨辉诸葛《掌握可控核聚变,但是末日来了》全文免费在线阅读_《掌握可控核聚变,但是末日来了》全本在线阅读
2024-08-21苏逸尘楚清璃《什么?校花和我同居》全文免费在线阅读_《什么?校花和我同居》全本在线阅读
2024-08-21翠翠陆鱼晚《穿越成了闺蜜书中的透明女配》全文免费在线阅读_《穿越成了闺蜜书中的透明女配》全本在线阅读
2024-08-21云颢星儿《书生呆不呆》全文免费在线阅读_《书生呆不呆》全本在线阅读
2024-08-21汪云鹤汪忧《盗墓笔记:汪家日常》全文免费在线阅读_《盗墓笔记:汪家日常》全本在线阅读
2024-08-21李昊陈天《娱乐圈之巨星重生》全文免费在线阅读_《娱乐圈之巨星重生》全本在线阅读
2024-08-21苏夜苏阳《逼我叛出家门,为什么又求我回来》全文免费在线阅读_《逼我叛出家门,为什么又求我回来》全本在线阅读
2024-08-21王心儿肖樱《年华似水忆韶华》全文免费在线阅读_《年华似水忆韶华》全本在线阅读
2024-08-21张若凡张恒《全家送我进监狱,我出狱后悔啥?》全文免费在线阅读_《全家送我进监狱,我出狱后悔啥?》全本在线阅读
2024-08-21韩亦赵启《被逐出小队后,我开始无敌了》全文免费在线阅读_《被逐出小队后,我开始无敌了》全本在线阅读
2024-08-21平野雅中野皓《我在小世界苟活》全文免费在线阅读_《我在小世界苟活》全本在线阅读
2024-08-21曹鸢薛兮琼《重生后我在反派府上杀疯了》全文免费在线阅读_《重生后我在反派府上杀疯了》全本在线阅读
2024-08-21