好好睡觉
熬夜的不要

自动文档摘要评价方法

自动文档摘要评价方法大致分为两类:

(1)内部评价方法(Intrinsic Methods):提供参考摘要,以参考摘要为基准评价系统摘要的质量。系统摘要与参考摘要越吻合, 质量越高。

(2)外部评价方法(Extrinsic Methods):不提供参考摘要,利用文档摘要代替原文档执行某个文档相关的应用。例如:文档检索、文档聚类、文档分类等, 能够提高应用性能的摘要被认为是质量好的摘要。

一、Edmundson:

Edmundson评价方法比较简单,可以客观评估,就是通过比较机械文摘(自动文摘系统得到的文摘)与目标文摘的句子重合率(coselection rate)的高低来对系统摘要进行评价。也可以主观评估,就是由专家比较机械文摘与目标文摘所含的信息,然后给机械文摘一个等级评分。 类如等级可以分为:完全不相似,基本相似,很相似,完全相似等。

Edmundson比较的基本单位是句子,通过句子级标号分隔开的文本单元,句子级标号包括“。”“:”“;”“!”“?”,并且只允许专家从原文中抽取句子,而不允许专家根据自己对原文的理解重新生成句子,专家文摘和机械文摘的句子都按照在原文中出现的先后顺序给出。

计算公式为:

\text{重合率p}=\text{匹配句子数}/\text{专家文摘句子数}\times

每一个机械文摘的重合率为按三个专家给出的 文摘得到的重合率的平均值:

\text{平均重合率}=\sum_{i=1}^{n}P_i/n

即对所有专家的重合率取一个均值,Pi为相对于第i个专家的重合率,n为专家的数目。

二、ROUGE

ROUGE是由ISI的Lin和Hovy提出的一种自动摘要评价方法,现被广泛应用于DUC1(Document Understanding Conference)的摘要评测任务中。

ROUGE基于摘要中n元词(n-gram)的共现信息来评价摘要,是一种面向n元词召回率的评价方法。ROUGE准则由一系列的评价方法组成,包括ROUGE-1,ROUGE-2,ROUGE-3,ROUGE-4,以及ROUGE-Skipped-N-gram等,1、2、3、4分别代表基于1元词到4元词以有跳跃的N-gram模型。在自动文摘相关研究中,一般根据自己的具体研究内容选择合适的N元语法ROUGE方法。

计算公式:

\mathrm{ROUGE}-\mathrm{N}=\frac{\sum_{S\in{\mathrm{Ref\quad Summaries}}}\sum_{n-gram\in S}Count_{match}(n-gram)}{\sum_{S\in{\mathrm{Ref\quad Summaries}}}\sum_{n-gram\in S}Count(n-gram)}

其中,n-gram表示n元词,{Ref Summaries}表示参考摘要,即事先获得的标准摘要,Countmatch(n-gram)表示系统摘要和参考摘要中同时出现n-gram的个数,Count(n-gram)则表示参考摘要中出现的n- gram个数。

不难看出,ROUGE公式是由召回率的计算公式演变而来的,分子可以看作“检出的相关文档数目”,即系统生成摘要与标准摘要相匹配的N-gram个数,分母可以看作“相关文档数目”,即标准摘要中所有的N-gram个数。


注:

  1. DUC(Document Understanding Conference)评测是由NIST(National Institute of Standards and Technology)从2001年开始举办的摘要评估领域比较有名的一个国际评测。从2008年开始,DUC逐渐转移到TAC(Text Analysis Conference),依然由NIST举办,感兴趣的可以参考下面两个官方链接:
  2. https://duc.nist.gov/
  3. http://www.nist.gov/tac/
赞(0) 打赏
未经允许不得转载:数据谷 » 自动文档摘要评价方法
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏