2004年现代资讯组织与检索研讨会
资讯检的绩效评估 Performance Evaluations for Information Retrieval
陈光华 Kuang-hua Chen 国台湾大学图书资讯学系 Department of Library and Information Science, National Taiwan University e-mail:khchen@ntu.edu.tw 【摘要 Abstract】
资讯检在目前网际网广泛运用的环境下,成为众所瞩目的研究课题.多的研 究者将大部分研究经费与投注在资讯检系统的研究,但有关资讯检系统绩效评 估的相关议题,却没有受到国内学者相对的重视.本文主要明目前国际上正努推动 的资讯检评估的研究与活动,且拘限传统的文件检模式,而以广泛的角看待 资讯检评估,并期盼国内的学者能够积极与资讯检系统的评估. Information retrieval (IR) has been a hot research topic since the Internet was broadly used for various applications. Many researchers devote themselves into the study on the information retrieval systems, but few efforts are made on the performance evaluations for IR systems by Taiwan's researchers. This article describes the related activities and researches of IR evaluation and regards IR as a broad term for other related research topics rather than the traditional "document retrieval" only. Finally, the author suggests IR researchers in Taiwan actively participate the global activities for IR evaluation. 关键词:评估;资讯检;CLEF;NTCIR;TREC Keywords:CLEF;Evaluation;Information Retrieval;NTCIR;TREC
125
2004年现代资讯组织与检索研讨会
一,绪
长久以,人的资讯需求从未间断,只是随著时代的变迁与科技的进,使取得 资讯的方式有所同.电脑在 1940 后,开始进入人文明史,美国海军相关机构随 即著手研发资讯检系统,美国学者 Bush (1945)极为有名的文献 "As we will think" 是指导著从事资讯检的研究者,朝卓越的前景迈进.当然,早期的资讯检系统应 该称为「文件检系统」 ,然而,想要很确地搜寻相关的文件,到现在仍是很大的挑 战;同时,如何公平地评估资讯检系统的绩效(performance) ,使得研究者可以清 楚地了解技术的优,绩效的瓶颈,从而改进资讯检系统,并提供研究发展的方向, 是吾人关心的课题.因此,可以清楚地解评估扮演的角色其实是双重的:一是评估 系统绩效,二是引导研究方向. 资讯检评估的史可上溯至 1950 左右.早期的评估是在「正规化环境」下进 ,使用化或质化的方法,企图衡同检技术,检模式,引语言之相对绩效. 1966 Cleverdon 进的 Cranfield II 计划,以文件集(Document Set) ,查询问题 (Question)及相关判断(Relevance Judgment)构成一组测试集(Test Collection) ,并 订定一套绩效测准则,评估多种引语言.(Cleverdon, 1967) Cranfield II 研究采用的 实验模式与评估方法,在资讯检评估的研究域具有程碑的时代意义,直至今日仍 占有举足轻重的地位.然而,前述的正规化环境,可是在实验的环境下进,与实际 检环境差距甚远,因而,使评估的结果与实用性受到许多质疑. 美国国防部高等研究计划署(Defense Advanced Research Projects Agency,简称 DARPA)与美国国家标准暨技术局(National Institute of Standards and Technology,简 称 NIST) 在 1992 共同举办文件检会议 , (Text REtrieval Conference 简称 TREC) , , TREC 透过大型测试集的建构,伴随测试项目,测试程序,评估准则的订定,以及举办 坛提供与者讨与分享结果.(Harman, 1993)它首创前所未有的大型测试集,使 测试环境得以接近实际情况,对检技术发展与系统绩效提升,具有相当重要的贡 献,同时,也成为从事资讯检评估相关机构或机制的仿效对象. 目前,国际上除 TREC 外,还有二个从事资讯检评估的合作机制: CLEF (Cross-Language Evaluation Forum)与 NTCIR(NII Test Collection for Information Retrieval) .CLEF 是由欧洲各国的学者专家合作建构的评估机制,主要的负责人是义大 的 Carol Peters NTCIR 则是由日本国情报学研究所 ; (National Institute of Informatics) 主办,韩国科学技术资讯研究所(Institute of Science and Technology Information)与国 台湾大学协助筹办.由於笔者自 2000 开始即与 NTCIR 的工作,因而本文除探 讨资讯检评估对於资讯检研究的影响之外,亦将著重於 NTCIR 在资讯检评估扮 演的角色及相关的研究成果. 事实上,资讯检的研究已由早期文件检(Document Retrieval)逐步地进入深 入且广泛的范畴.目前广义的资讯检涵盖文件检,文件过(Document Filtering) , 文件摘要(Document Summarization) ,主题辨(Topic Identification) ,资讯撷取 (Information Extraction,简称 IE) ,标题生成(Title Generation) ,问题答询(Question Answering,简称 QA) ,以及横跨这些研究议题的跨语言,跨媒体,与跨文化的检技 术.因而,资讯检的评估也从早期文件检的评估,迈向上述各型资讯服务系统的 评估,本文也将明 NTCIR 在新型资讯检评估的工作与成果. 本文结构明如后.第二节将简述资讯检评估的史与有关学术文献;第三节 明 NTCIR 的组织与工作;第四节探讨目前资讯检评估的重要项目,第五节讨常用

下一页