学术文本信息抽取的比较：EXVerb和REVerb效果对比

在已有的能够获取代码的系统中，REVerb是文献中报告效果最好的系统，本节将EXVerb同REVerb进行比较，以检验系统在学术文本上的信息抽取效果。

在实验中，EXVerb使用OpenNLP1.53版本进行句子切分，术语识别使用的词表来源于ACM数据库，共包括131 917个词汇。实验中使用了Stanford CoreNLP的3.5.1版本进行词性标注和句子切分，词性标注使用的模型为english-left3words-distsim.tagger，句法解析使用的模型为lexparser-englishPCFG。

为了测评系统在学术文本上的抽取效果，本节没有新闻或者其他来源语料，而是仅仅针对学术文本进行测评。为此，在测评时，使用了来源于ACM摘要数据ACL全文数据的句子，随机挑选并测评了100个句子。

分别使用EXVerb和REVerb对文本进行数据抽取，标注人员针对系统输出的结果判断生成结果是否正确，并将两者正确结果的并集作为应召回的结果，最后计算生成结果的准确率、召回率和F1值，结果见表5-5。(www.xing528.com)

表5-5　实验效果比较

从得分来看，EXVerb的准确率要低于REVerb，分别是75.00%和84.61%；召回率上EXVerb要明显高于REVerb，达到了78.26%，而REVerb则仅仅为47.00%；在F1值，EXVerb比REVerb高16.16%。由于使用了更多的抽取规则，EXVerb能够明显地提升系统的召回，但带来的代价是准确率的下降；而REVerb使用了相对简单的抽取规则，保证了系统的准确性，但也造成了召回率的降低。