作者：李牧　

图1：语义网示意图
在Ｇｏｏｇｌｅ搜索中输入“我想去夏威夷度假，但希望花销不超过３０００美元，哪条线路和酒店更适合我？”敲回车，共搜索出３４６０条包含其词语的文档，但没有一条是理想中的答案。
不是说语义搜索能解决这些问题吗？不是到处疯炒Ｗｅｂ ３．０的概念吗？语义网到底什么时候才能来到老百姓的身边？
在2007年4月的“2007 Web 2.0”博览会上，大量Web 2.0企业参展，而其中Web 3.0的声音似乎略显微薄——两家语义网解决方案和程序设计工具制造商TopQuadrant和Franz宣布将通过整合各自公司的拳头产品来增强当前的语义网发展环境和数据库基础——他们希望在实践中探讨以语义网应用为核心的Web3.0的未来。
在过去的十年里，互联网之父蒂姆·伯纳斯·李都致力于推动互联网朝语义网推进，但该事业始终停留于研发阶段。Web 3.0理应优于Web 2.0，为什么发展进程如此缓慢？2007年4月，蒂姆·伯纳斯·李在接受媒体记者采访时谈到了他最新的思考——对于语义网的新定义，语义网发展中遇到的挑战，乃至对于语义网商用的探讨。在近期的海外论文、访谈中，科学家们向人们阐述了语义网发展缓慢的原因分析。
隐私是个问题
语义网最大的优点就是能轻松、精准地找到包括个人信息在内的几乎所有完整信息。语义网冲破了各个领域之间的界线，将各个封闭的“知识仓库”一一打通。
但科技是把双刃剑，一面砍向旧的桎梏，一面砍向良好的社会规范。如果不妥善处理好安全问题，这也将成为语义网的最大缺点。正如有人质疑的那样：一旦这些私密资料落入居心不良的人手中，造成的危害和损失将难以估计。
对此，虽然MIT（麻省理工学院）实验室的研究人员已经意识到了这个社会问题，并尝试建立一些防范系统来避免这种状况，但显然目前进展还不乐观，这也势必成为语义网发展道路上最危险的不稳定因素。
盗版带来尴尬
互联网发展了十几年，直到今天我们还面临着这样一种尴尬：数字化时代的今天，三盗（盗名、盗链、盗版）天天在网络上演得不亦乐乎。可以设想，在开放程度更高、关联程度更广的语义网上，版权纠纷是否会愈演愈烈？
据IEEE的学术论文《语义网归来》介绍，基于RDF的版权公约“CC协议（Creative Commons）”能够最大程度地推动资源和资源再利用。但是专家也表示，目前语义网环境中还没有明确的法律规定来约束用户行为，而版权问题恐怕不是一个约定就能一笔带过的，所以改善这一点的解决方案还值得多方努力。
信任出现危机
发展语义网的标准已经耗费数年时间，这与它的复杂架构难脱干系，RDF的纷繁复杂，OWL的标准之争无一不让人劳心费神。四层架构之上的资料推理、逻辑处理工作，还有信息可靠性的判断等都不是朝夕之功。
如何判断信息的可靠性？能否信任电脑为你做出的判断？这是语义网实现大范围应用的关键前提。“何时”、“何地”、“对象”、“条件”这些信息都需要证实。
确实，我们需要更贴近搜索问题，也需要更有效的资料，但如果语义网告诉搜索者无法保证这些资料的准确性，那么资料再多也聊胜于无。就好比文章开头所问的“我想去夏威夷度假，但希望花销不超过3000美元，哪条线路和酒店更适合我？”如果语意搜索引擎给出了一个具体的答案——A饭店，B线路，但事实上A饭店一年前就倒闭了，B线路是旅游公司伪造的，那么这条信息对用户来说是毫无意义的。
最理想的语义网，不仅能够判断资料的准确性，更能保证资料的可靠性。
而这显然是语义网不易迈过的一道槛。
平民化需要费神
就连语义网命名者蒂姆·伯纳斯·李也在2006年普林斯顿大学演讲和后期接受媒体采访时公开表示，他最初将这种智能网络命名为语义网或许不够贴切，更准确的名称应该是数据网（Date Web）。就像互联网刚盛行时，人们也很难顾名思义立马了解互联网是什么？能干什么用？现在语义网也遇到了同样的问题，语义网目前的影响也仅限于有限的圈子里。
人们对于语义网的认知度亟待提高，语义网这个名称的形象感和直观性都不尽如人意。如何加强宣传攻势，如何驱散普通大众的陌生感也是将来一个不可忽视的课题。
未来似乎很美
现在在美国政府部门，已经有了语义网应用的雏形。比如DARPA（美国国防部高级研究计划署）以及NASA（美国国家航空和宇宙航行局）已完成了一些关于语义网架构的初期工作。
据此分析，蒂姆·伯纳斯·李认为政府机构将会是语义网应用的“吃螃蟹者”，因为他们拥有着海量资料，并且来自海量的信息源。这些资料散落在网络不同的节点，“信息孤岛”现象非常严重，妨碍了政府工作的高效开展。如何解决这一问题？政府官员们看到了语义网未来大有用武之地。
但蒂姆·伯纳斯·李对于目前的互联网发展远未满意，他正在尝试着让网络智能化有个质的飞跃，这也就是他从2001年起大力倡导的真正的语义网。在语义网中，计算机可以独立思考而不是单纯地执行命令。比如，个性化的金融投资组合；智能系统为家庭勾勒退休养老规划；为高中毕业生提供教育咨询，例如选择最适合的大学。这些项目努力的目标就是充分利用日益强大的计算机创造Web 3.0。
在接受外刊记者采访时，他坚持认为语义网将会给知识创新和商业应用带来前所未有的推动力，未来应当有更多的行业对语义网抱有浓厚兴趣。
以医疗行业为例，每制造一种药，医药公司都必须先明确哪些化学成分会催生细胞中的有害物质，哪些会有助于细胞产生良性变化，以及这些化学成分与哪些物质密切相关。与此同时医药公司还得搜集大量别的信息：政府政策导向、临床医用审核条件、基因相关数据、生物学信息等。但是这么多的必需信息，却分别存在于不同的社会部门和同一部门不同的网页中，不同网络间互联互通的现状非常不乐观。
巧妇难为无米之炊，医药科学家要实现医学突破光靠头脑风暴是不现实的，他们还需要一个工具，依靠它迅速分析好相关资料，并把相关资料之间的逻辑关系都清晰地摆在眼前。
蒂姆·伯纳斯·李认为语义网正是这样的工具，科学家和工程师可以在它的强力支撑与启发下展开各种假设，甚至可能发现以前从未想像过的新大陆。

图2：语义网架构
贴士
什么是语义网？
对于Ｗｅｂ ３．０蓝图的描述通常是：“计算机可以独立思考而不是单纯地执行命令。比如，个性化的金融投资组合；智能系统为家庭勾勒退休养老规划；为高中毕业生提供教育咨询像选择最适合的大学。这些项目努力的目标就是充分利用日益强大的计算机创造Ｗｅｂ ３．０。”这里的Ｗｅｂ ３．０指的就是语义网（Ｓｅｍａｎｔｉｃ Ｗｅｂ）。
最早关于语义网的系统理论阐述是由互联网之父蒂姆·伯纳斯·李和Ｌ．Ｍａｓｉｎｔｅｒ所提出并发表于２００１年的《Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ》杂志上。（见图１）
语义网的七层架构
基础层：编码层ＵＲＩ，如果说语义网是要为网页加上内容索引，那么ＵＲＩ要做的就是明确索引方式，好比字典中的部首查字法、拼音查字法。
第二层：句法层ＸＭＬ，可扩展标记语言在这代表了索引的语法形式，这就好比互联网最早用的ＨＴＭＬ语言。
第三层：资源描述框架ＲＤＦ，ＲＤＦ明确了索引中大项小项之间的逻辑关系，比方说主题Ａ是主题Ｂ的一个子问题，主题Ｂ是主题Ｃ的相关问题。
第四层：本体层ＯＷＬ，ＯＷＬ明确了索引中项目的精确意思，比方说你说菜谱１后面的索引里的“炒三鲜”和菜谱２后面的索引里的“炒三鲜”是不是一样的，“炒三鲜”菜谱里提到一个概念叫“酱油”，到底是老抽还是生抽。
第五层是逻辑，在１～４层的基础上进行逻辑推理操作。
第六层是验证，根据逻辑陈述进行验证，以得出结论。
第七层是信任，在用户间建立信任关系。 （见图２
)

杜小勇，李曼

互联网改变了人们的生活。目前通过互联网可以看报纸、电视，也可以听广播。广播网、电视网和互联网的“三网合一”，已经没有技术上克服不了的困难了，人为的阻碍也只能是“螳螂挡车”的结果。可以想象，用不了多久，互联网将成为媒体融合的公共载体，而且可以想象在互联网这个平台上还会生长出许多新形态的新媒体。

但是，目前的互联网上传播的内容只有人能够看的懂，计算机只起个数据存储、传递、展示的作用，不能理解其中的语义。如果计算机能够理解内容的语义，那么计算机就可以帮助人们做很多有意义的事情。比如，在你写文章的时候，计算机可以为你收集相关的文献，在你准备旅行的事情，计算机可以帮助你安排行程、预定旅馆和机票等。

这是让人兴奋的情景，也是互联网成为各种媒体的基础平台的客观需要。让计算机拥有智能是计算机工作者，特别是人工智能工作者远久以来就有的梦，而且为之奋斗了几十年。但是，总的来说，人工智能的进展并没有像人们期望的那样顺利。日本第五代计算机的失败（其预期目标并没有真正实现）也给人们一个教训，让计算机具有人的智能是属于那种“说说容易做做难”的事情，既需要基础理论的突破，也需要大量基础性的建设工作。

为了将目前互联网改造成有序的计算机可理解的知识宝库，英国人蒂姆·伯纳斯·李（Tim Berners-Lee）提出了语义Web（Semantic Web，也称语义网）的概念，顾名思义是指Web上的文本信息具有（计算机系统可以理解的）语义。我们都知道，此人也是目前公认的互联网之父[1]。

那么，语义网是如何具有计算机可以理解的语义信息的呢？换句话说，语义网是如何对语义信息建模的呢？我们需要考虑以下三个方面的内容，一是需要一个描述框架，能够将语义信息（概念以及概念之间的联系）表示出来，二是需要定义一种描述语言具体进行语义信息的描述，三是需要一种操作语言对语义信息进行操作。

首先，我们先来看看如何描述语义信息，即概念的形成和表示。一个概念C可以通过数学上的集合来表示，集合有两种表示方法，一种是内涵表示法，另一种就是外延表示法。所谓内涵表示法是指用概念所指代的对象所应满足的性质来表示，而概念的外延表示是指用该概念所指代的具体的对象集合来表示。例如，偶数这个概念既可以表示成{x| x能被2整除}，也可以表示成{2，4，6，8，……}。前者就是内涵表示，被2整除就是x的一个性质。后者就是外延表示。日常生活中的概念虽然很难象数学概念那样清晰地表达，但是也可以有内涵和外延这两种表示。从概念的形成过程来看，我们首先拥有一组对象，以及关于这些对象的一些性质，理论上讲，描述对象的性质是越多越好。然后，对这组性质进行抽象，那些具有相同性质的对象集合就构成了概念。但是，获得对象的性质是有代价的，是需要逐渐积累的。目前的数据库系统，基本上都是先确定描述对象的性质，然后再去组织数据，它缺乏一种机制，能够不断地丰富数据的描述，而这种机制正是概念学习的基础。

对象的性质既可以取一个通常意义上的“值”，例如，张三的年龄是20岁，也可以为另一个对象，例如，张三的老师是李四，这里老师是描述对象张三的一个性质，这个值其实就反映了对象之间的联系。同一个概念的对象具有相同的性质，因此，在习惯上我们将这些对象的性质称为是概念的性质。

那么语义网是如何描述文档的语义信息（概念及其关系）的呢？它采用多层次的表示框架。首先为文档引入结构，将文档分解成一些可以识别的“块”，这样计算机就能够方便地解读文档，这就是XML。如果知道XML的定义，就可以编程序对内容进行操作，比如信息提取等。XML是语义Web上资源表示的语法基础，但是并没有对结构本身的语义进行描述。如果不知道XML元素的语义，那么计算机仍然不能理解其中的信息。这时需要一个更高的层次来描述结构的语义，这就是RDF。RDF定义了元素之间的关系，表现为三元组的集合（类似于句子的主语、谓语和宾语）。XML加上RDF就相当于建立了人工智能中的语义网络（semantic network）,也就可以进行一些简单的推理了。使用XML+RDF，人们可以建立各自的语义Web，只要有一套自成体系的术语就可以了。但是，要计算机相互理解对方的内容，还需要有一套共同的标准的概念体系，这就是本体(Ontology)。XML+RDF+Ontology构成了计算机相互理解的基础，缺一不可。因此，我们说，语义网描述的就是信息资源的一个语义数据模型，是计算机理解内容的基础。

其次，我们介绍描述语言标准。XML，RDF，OWL都是国际组织W3C推荐的标准。XML和语义信息描述没有直接的关系，而且介绍的资料也很多，我们不在这里介绍。RDF是W3C提出的资源描述框架（Resource Description Framework），它除了可以表达Web资源的元数据，例如Web页面的标题、作者、创建时间等，还可以表达任何可在Web上标识的事物的信息，例如购物网站上某个产品的价格、功能等。RDF使用了一种简单的三元组模型来表示Web上资源的属性的取值。每个三元组由主语（Subject）、谓语（Predicate）和宾语（Object）三个元素构成。其中主语代表资源，即所有可以描述的对象。谓语指的是资源的属性（也称性质），一个资源可以有多个属性。宾语就是属性的值，每个属性值既可以是数字、字符串等，也可以是资源。

例如，表1中的三元组就描述了网页“http://www.w3c.org/china/”的标题是“W3C标准”，作者是姓名为“张三”的一个人，他的联系电话是“62512345”。其中“http://www.w3c.org/china/”的作者的值就是一个资源“＃anonymous_r”，这里将其称为匿名资源（即该资源没有名字），该资源具有自己的属性：姓名和电话。

。

表1. RDF三元组

    可以看出RDF就是三元组的集合，一系列的三元组构成一个RDF图。图1就是表1对应的RDF图，其中椭圆表示资源，箭头表示属性，方框表示属性的值。

 RDF本身并没有规定语义，但是它为每一个资源描述体系提供了一个能够描述其特定需求的语义结构的能力。从这个意义上来讲，RDF是一个开放的元数据框架。这个元数据框架定义了一种数据模型，可以用来描述计算机能够理解的数据语义。显然，这种框架还需要定义描述中使用的词汇，这就是RDF的词汇描述语言，即RDF Schema。RDF Schema定义了RDF描述数据时使用的词汇，它引入了类（class），属性（property），类之间的包含关系（subClassOf），属性间的包含关系（subPropertyOf），以及属性的定义域（domain）和值域（range）等标准词汇。例如，对于上面关于网页的例子，我们可以定义两个类，即“网页设计者”和“网页”，其中，“作者”和“标题”都可以定义为属性，它们的定义域都是“网页”，值域分别是“网页设计者”和文本型（即literal），类似的，可以定义属性“姓名”和“电话”的定义域是“网页设计者”，值域是文本型（即literal）。对于“网页”这个类来说，资源“http://www.w3.org/china/”是它的一个实例，对于“网页设计者”这个类来说，姓名为“张三”，电话为“62512345”的人是它的一个实例。语法上，RDF Schema与RDF是完全一致的，即所有的RDF Schema文档都是合法的RDF文档。语义上，RDF Schema是RDF的一个扩展，即它不仅保留了RDF的全部意义，而且对新增部分加入了自身的解释。

RDF定义了用于描述资源的语法和模型，RDF Schema定义了RDF描述资源时所用的词汇集，这样RDF和RDF Schema构成了一种简单的对Web资源的表示机制。从某种意义上说，RDF(S)[2]本身就是一种简单的本体（Ontology）语言。但是它太简单，描述能力比较弱，难以表达复杂的领域知识，因此需要对其进行扩展。例如OIL，DAML＋OIL和OWL,都是对RDF(S)的扩展。其中，OWL（Web Ontology Language）是W3C最新推荐的Web Ontology描述语言的标准。它是为了在WWW上发布和共享Ontology而提供的语义标记语言。Ontology之所以逐渐引起人们的重视，主要的原因在于它能够提供明确定义的词汇表，描述概念和概念之间的关系，使得使用者之间达成对概念含义的共同理解。而对同一概念的语义共享和共同理解正是构建语义Web的关键。

OWL作为RDF(S)的扩展，是在DAML+OIL的基础上发展起来的，目的是提供更多的原语以支持更加丰富的语义表达，并更好的支持推理。与RDF(S)一样，OWL可以声明类，属性，及各自的层次关系。但是，OWL还可以通过逻辑组合算子（合取，析取，否定）在其他类的基础上构造新的类，同时OWL可以通过属性约束定义类，另外OWL还可以声明某个属性具有传递性、对称性、函数性，或是某个属性的逆属性等。例如，在OWL中可以声明属性“朋友”具有对称性，那么如果声明了张三是李四的朋友，则可以推断出李四也是张三的朋友。显然，OWL的这些新特性都超越了RDF(S)的描述能力。

为了应用的需要，OWL提供了三种表达能力递增的子语言：OWL Lite、OWL DL和OWL Full。其中，（1）OWL Lite用于提供给那些只需要一个分类层次和简单属性约束的用户。例如，虽然OWL Lite支持基数限制，但只允许基数为0或1。开发支持OWL Lite的工具要比开发支持其他两个子语言的工具更容易些。（2）OWL DL支持那些不仅需要最强表达能力而且需要保持计算完备性（computational completeness，即所有的结论都能够保证被计算出来）和可判断性（decidability，即所有的计算都在有限的时间内完成）的用户。它包括了OWL语言的所有语义成分，但是使用时必须符合一定的约束。例如，一个类可以是多个类的子类，但它不能同时是另一个类的实例。另外，它是以描述逻辑为基础的（名字中DL表示描述逻辑）。（3）OWL Full支持那些需要最强的表达能力和完全自由的RDF语法但是不需要可计算性保证的用户。例如，它允许一个类被看作是许多个体的一个集合，而同时本身也作为一个个体。它允许在一个Ontology增加预定义的（RDF、OWL）词汇的含义，所以，没有推理软件能支持OWL FULL的所有特性。总的来说：OWL Lite是OWL DL的一个子集，它在OWL DL的基础上除去了组合类以及枚举类，并规定基数约束仅为0或1等，提供的是最简单最基本的OWL语言成分；OWL DL要求类、属性、和个体是三个不相交的集合并提供了基于描述逻辑的推理特征，可以在其上应用已有的推理工具。完整的OWL用OWL FULL表示，它不严格区分类、属性和个体，并放松了OWL DL中的某些推理限制，使其更适合于某些数据库和知识表示系统使用。

关于语义信息的操作语言，目前仅有一些提供简单查询功能的语言，例如RQL，如何定义一组高级操作语言，满足应用的需要，还需要进一步深入的研究和实践。

（本文作者系中国人民大学信息学院数据库与智能信息检索实验室）

编程工具开发商TopQuadrant公司和Franz公司日前表示，他们将把前者的TopBraid Composer和Franz的AllegroGraph 64位RDF存储数据库结合起来，形成一个语义网开发环境和数据库，提高计算机的“智力”。

　　语义网(Semantic Web)又被有些人称为Web3.0。语义技术可增强计算机对数据的理解，在整合大型数据集时用处特别显著。它对于搜索应用的用处也很大，因为语义技术让计算机推断出未有明确定义的数据元素之间的关系。一个关键词搜索通常仅仅返回包含查询关键字的文档，而语义搜索则能返回与搜索词汇的含义有关的结果(例如：Tank一词，有坦克、水容器等两种含义，语义技术能予以辨别)，或者是与搜索词汇的同义字有关的结果(例如：Tank意为坦克时，同义字有Armored Vehicle，装甲车)。

　　“语义理解技术将帮助消费者更好地管理自己的的图片，”柯达主席兼首席执行官(CEO)彭安东(Antonio Perez)去年在一场演讲中表示，“照片之间也能相互‘认识’了—不用人们指点，利用元数据(Metadata)，一张照片便可寻找到具有相关元数据的另一张照片，因此，所有的照片便能以新的类别进行重新组合，无非取决于它们之间不同的关联方式而已。”

[edit] Tasks and limitations

In theory, natural language processing is a very attractive method of human-computer interaction. Early systems such as SHRDLU, working in restricted “blocks worlds” with restricted vocabularies, worked extremely well, leading researchers to excessive optimism which was soon lost when the systems were extended to more realistic situations with real-world ambiguity and complexity.

Natural language understanding is sometimes referred to as an AI-complete problem, because natural language recognition seems to require extensive knowledge about the outside world and the ability to manipulate it. The definition of “understanding” is one of the major problems in natural language processing.

[edit] Concrete problems

Some examples of the problems faced by natural language understanding systems:

• The sentences We gave the monkeys the bananas because they were hungry and We gave the monkeys the bananas because they were over-ripe have the same surface grammatical structure. However, in one of them the word they refers to the monkeys, in the other it refers to the bananas: the sentence cannot be understood properly without knowledge of the properties and behaviour of monkeys and bananas.

• A string of words may be interpreted in myriad ways. For example, the string Time flies like an arrow may be interpreted in a variety of ways:
  • The common metaphor time moves quickly just like an arrow does;
  • measure the speed of flying insects like you would measure that of an arrow - i.e. (You should) time flies as you would (time) an arrow.;
  • measure the speed of flying insects like an arrow would - i.e. Time flies in the same way that an arrow would (time them).;
  • measure the speed of flying insects that are like arrows - i.e. Time those flies that are like arrows;
  • all of a type of flying insect, “time-flies,” collectively enjoys a single arrow (compare Fruit flies like a banana);
  • each of a type of flying insect, “time-flies,” individually enjoys a different arrow (similar comparison applies);
  • the magazine, Time, travels straight when thrown

English is particularly challenging in this regard because it has little inflectional morphology to distinguish between parts of speech.

• English and several other languages don’t specify which word an adjective applies to. For example, in the string “pretty little girls’ school”.
  • Does the school look little?
  • Do the girls look little?
  • Do the girls look pretty?
  • Does the school look pretty?

[edit] Subproblems

Speech segmentation

In most spoken languages, the sounds representing successive letters blend into each other, so the conversion of the analog signal to discrete characters can be a very difficult process. Also, in natural speech there are hardly any pauses between successive words; the location of those boundaries usually must take into account grammatical and semantical constraints, as well as the context.

Text segmentation

Some written languages like Chinese, Japanese and Thai do not have single word boundaries either, so any significant text parsing usually requires the identification of word boundaries, which is often a non-trivial task.

Word sense disambiguation

Many words have more than one meaning; we have to select the meaning which makes the most sense in context.

Syntactic ambiguity

The grammar for natural languages is ambiguous, i.e. there are often multiple possible parse trees for a given sentence. Choosing the most appropriate one usually requires semantic and contextual information. Specific problem components of syntactic ambiguity include sentence boundary disambiguation.

Imperfect or irregular input 

Foreign or regional accents and vocal impediments in speech; typing or grammatical errors, OCR errors in texts.

Speech acts and plans

Sentences often don’t mean what they literally say; for instance a good answer to “Can you pass the salt” is to pass the salt; in most contexts “Yes” is not a good answer, although “No” is better and “I’m afraid that I can’t see it” is better yet. Or again, if a class was not offered last year, “The class was not offered last year” is a better answer to the question “How many students failed the class last year?” than “None” is.

[edit] Statistical NLP

Statistical natural language processing uses stochastic, probabilistic and statistical methods to resolve some of the difficulties discussed above, especially those which arise because longer sentences are highly ambiguous when processed with realistic grammars, yielding thousands or millions of possible analyses. Methods for disambiguation often involve the use of corpora and Markov models. The technology for statistical NLP comes mainly from machine learning and data mining, both of which are fields of artificial intelligence that involve learning from data.

[edit] Major tasks in NLP

• Automatic summarization
• Foreign Language Reading Aid
• Foreign Language Writing Aid
• Information extraction
• Information retrieval
• Machine translation
• Named entity recognition
• Natural language generation
• Optical Character Recognition
• Question answering
• Speech recognition
• Spoken dialogue management
• Text simplification
• Text to speech
• Text-proofing

[edit] Evaluation of natural language processing

The goal of NLP evaluation is to measure one or more qualities of an algorithm or a system, in order to determine if (or to what extent) the system answers the goals of its designers, or the needs of its users. Research in NLP evaluation has received considerable attention, because the definition of proper evaluation criteria is one way to specify precisely an NLP problem, going thus beyond the vagueness of tasks defined only as language understanding or language generation. A precise set of evaluation criteria, which includes mainly evaluation data and evaluation metrics, enables several teams to compare their solutions to a given NLP problem.

• History of evaluation in NLP

…

Depending on the evaluation procedures, a number of distinctions are traditionally made in NLP evaluation.

• Intrinsic vs. extrinsic evaluation

Intrinsic evaluation considers an isolated NLP system and characterizes its performance mainly with respect to a gold standard result, pre-defined by the evaluators. Extrinsic evaluation, also called evaluation in use considers the NLP system in a more complex setting, either as an embedded system or serving a precise function for a human user. The extrinsic performance of the system is then characterized in terms of its utility with respect to the overall task of the complex system or the human user.

• Black-box vs. glass-box evaluation

Black-box evaluation requires one to run an NLP system on a given data set and to measure a number of parameters related to the quality of the process (speed, reliability, resource consumption) and, most importantly, to the quality of the result (e.g. the accuracy of data annotation or the fidelity of a translation). Glass-box evaluation looks at the design of the system, the algorithms that are implemented, the linguistic resources it uses (e.g. vocabulary size), etc. Given the complexity of NLP problems, it is often difficult to predict performance only on the basis of glass-box evaluation, but this type of evaluation is more informative with respect to error analysis or future developments of a system.

• Automatic vs. manual evaluation

In many cases, automatic procedures can be defined to evaluate an NLP system by comparing its output with the gold standard (or desired) one. Although the cost of producing the gold standard can be quite high, automatic evaluation can be repeated as often as needed without much additional costs (on the same input data). However, for many NLP problems, the definition of a gold standard is a complex task, and can prove impossible when inter-annotator agreement is insufficient. Manual evaluation is performed by human judges, which are instructed to estimate the quality of a system, or most often of a sample of its output, based on a number of criteria. Although, thanks to their linguistic competence, human judges can be considered as the reference for a number of language processing tasks, there is also considerable variation across their ratings. This is why automatic evaluation is sometimes referred to as objective evaluation, while the human kind appears to be more subjective.

• Shared tasks
  • Message Understanding Conference
  • Text Retrieval Conference
  • BioCreative

[edit] Organizations and conferences

• Association for Computational Linguistics
• Association for Machine Translation in the Americas
• AFNLP - Asian Federation of Natural Language Processing Associations

[edit] Software tools

• General Architecture for Text Engineering
• Natural Language Toolkit
• Expert System S.p.A.

[edit] See also

• human language technology
• computational linguistics
• controlled natural language
• information retrieval
• latent semantic indexing
• lojban / loglan
• Transderivational search
• Biomedical text mining
• Computer-assisted reviewing
• Chatterbot
• Name resolution
• the Inform 7 programming language
• The fictional universal translator

[edit] External links

[edit] Resources

• Stanford List of Statistical NLP Links
• Resources for Text, Speech and Language Processing
• A comprehensive list of resources, classified by category
• Language Technology Documentation Centre in Finland (FiLT)

[edit] Implementations

• Document Summary System, a commercial product that performs document summarization using Natural Language processing.
• Automating Managed Knowledge Using Natural Language Processing Technology
• Stanford’s JavaNLP toolchain
• OpenNLP
• DELPH-IN: integrated technology for deep language processing
• LinguaStream: a generic platform for Natural Language Processing experimentation
• Natural Language Toolkit
• MARF: Modular Audio Recognition Framework for voice and statistical NLP processing
• FreeLing: an open source suite of language analyzers
• LingPipe: Java Natural Language Processing Toolkit
• The wraetlic toolkit
• Antelope framework for Microsoft .NET 2.0
• Nlp4Net Natural Language Processing for Microsoft .NET 2.0
• Teach Rose - Web based natural learning project
• UIMA: Unstructured Information Management Architecture SDK by IBM
• Intellexer SDK: Natural Language Processing platform for C++/.NET
• acrocheck - Customizable controlled language checker for many authoring environments
• Answers Anywhere A Natural Language Interface toolkit modeling the semantics of the application rather than syntactically or statistically modeling the language.

Retrieved from “http://en.wikipedia.org/wiki/Natural_language_processing“

知网
http://www.keenage.com/

WordNet
http://wordnet.princeton.edu/

中文自然语言处理开放平台
http://www.nlp.org.cn/

AAAI Topics on NLP
http://www.aaai.org/AITopics/html/natlang.html

Sogou实验室
http://www.sogou.com/labs/

Hal Daume III Blog
http://nlpers.blogspot.com/

其他代码和数据资源
http://www-nlp.stanford.edu/links/statnlp.html

 国内外知名研究组织机构:

ACL: The Association for Computational Linguistics
http://www.aclweb.org/

AAAI: Association for the Advancement of Artificial Intelligence
http://www.aaai.org/

ICCL: The International Committee on Computational Linguistics
http://www.dcs.shef.ac.uk/research/ilash/iccl/

SIGIR
http://www.acm.org/sigs/sigir/

SIGHAN
http://www.sighan.org/

中文信息学会
http://www.cipsc.org.cn/

COLIPS: The Chinese and Oriental Languages Information Processing Society
http://www.colips.org/

清华大学信息科学与技术国家实验室自然语言处理组
http://nlp.csai.tsinghua.edu.cn/

北京大学计算语言学研究所
http://icl.pku.edu.cn/

中科院计算所自然语言处理研究组
http://mtgroup.ict.ac.cn/

知网
http://www.keenage.com/

中国科学院声学研究所HNC实验室
http://www.hncnlp.com/

哈尔滨工业大学计算机学院智能技术与自然语言处理研究室
http://www.insun.hit.edu.cn/

哈尔滨工业大学信息检索研究室
http://ir.hit.edu.cn/

• CMU Artificial Intelligence Repository
• Resources Available Through CRL
• SIL Computing Resources
• Linguistics Tools at the University of Vaasa in Finland
• Leeds University, Natural Language Processing Research Group: RESOURCES
• ICOT Free Software
• Netlib Repository (mirror in Japan)

General Information

• Sourcebank - a search engine for programming resources.
• Resources related to content analysis and text analysis - Software
• Some publically available NLP packages
• SAL (Scientific Applications on Linux)
  Artificial Intelligence
• Public Domain Generic Tools: An Overview - a paper written by Tomaz Erjavec
• A collection of online interactive CL tools (Computational Linguistics Group, University of Zurich)
• The LINGUIST List: Software
• The Natural Language Software Registry
• Language Software Helpdesk
  • Frequently Asked Questions
• PennTools - Computational Linguistics Resources At Penn.
• Parsing Resources
• Taggers online, email message containing addresses
• Parsers and Taggers Information (by Steven Paul Abney)
• Relator Language Processing Resources
• Corpus Search Tools
• Neural Networks & Statistics: Software

Tagger, Morphological Analyzer

• A Perl/Tk text tagger
• Conexor
• Cogilex R&D inc - Makers of expert tools for natural language processing
• CLAWS part-of-speech tagger
• TnT - Statistical Part-of-Speech Tagging
• POS tagger for Spanish
• Tagging and Parsing tools
• AUTASYS - A Fully Automatic English Wordclass Analysis System
• TOSCA/LOB tagger
• Relaxation Labelling Based Multi-Tagger
• The QTAG Part of Speech Tagger
• QTAG: A portable Parts of Speech Tagger
• The Alvey Natural Language Tools
• The XTAG Project
• TreeTagger - a language independent part-of-speech tagger
• Xerox Part-of-Speech Tagger
• The Edinburgh/Cambridge Morphological Analyser System
• Winbrill - An adaptation of Brill’s tagger to Windows 95/98.
• Eric Brill’s Part of Speech Tagger
• Software Plaza: Brill’s Tagger
• Morphy - An integrated tool for German morphology and statistical part-of-speech tagging.
• Korean Morphological Analyzer
• Natural Language Tools - Japanese morphological analyzer (JUMAN) and parser (KNP) developed by Nagao Lab. at Kyoto University, Japan.
• WordSmith Tools - Wordsmith Tools is the Swiss Army knife of lexical analysis - an integrated suite of programs for looking at how words behave in texts. It is intended for linguists, language teachers, and anyone who needs to examine language.
  • Mike Scott’s Home Page
  • Oxford University Press
• A Lexical Analyzer for HTML and Basic SGML
• ARIES Natural Language Tools - Lexical platform for the Spanish language.

Stemmer

• Porter stemmer
• Porter stemmer
• Dutch Porter stemmer
• IRIS stemmer
• Iterated Lovins stemmer

Collocation

• Xtract - Frank Smadja’s Collocation Extractor.

Parser

• Malaga - a system for automatic language analysis
• Attribute-Logic Engine (ALE) System and Grammars - A freeware logic programming and grammar parsing system.
• CG Parser - Natural deduction categorial grammar and lambda-calculus parser.
• Head-Corner Parser (by Gertjan van Noord)
• A basic parser written to illustrate the bottom up parsing algorithms in Natural Language Understanding, Second Edition
• Cass Partial Parser
• CHILL: An empirical parser acquisition system using inductive logic programming
• ISSCO Tools - Left-head-corner Island Parser Compiler, etc.
• Georgetown University Natural Language Processing
  Parser Modularity Demo page
• PC-PATR: A syntactic parser
• IMS Stuttgart: The CUF Web Page - Comprehensive Unification Formalism
• Apple Pie Parser - The Apple Pie Parser is a bottom-up probabilistic chart parser which finds the parse tree with the best score by best-first search algorithm.
• Link Grammar Parser

Corpus Tools

• WebCorp
• Concordances: Producing and Using them
• XCES: Corpus Encoding Standard for XML
• RST Tool - An RST (Rhetorical Structure Theory) Markup Tool.
• RST Annotation Tool
• Qwick - corpus browser
• Linguistic Annotation - This page describes tools and formats for creating and managing linguistic annotations.
• Alembic Workbench - a suite of tools for the analysis of a corpus, along with the Alembic system to enable the automatic acquisition of domain-specific tagging heuristics.
• The System Quirk - Workbench for Terminology, Lexicography and Text Analysis.
• Multext: Multilingual Text Tools and Corpora
• XCorpus - An Environment for Managing Corpus and Multilingual Web Server
• The IMS Corpus Toolbox Webpage
  X
• Kobe Phoenix Laboratory - Corpus Wizard program.
• Concordance - A program for Windows NT 4.0 and Windows 95/98 which makes wordlists, concordances, and Web Concordances from your electronic texts.
• MonoConc (concordance program)
• MonoConc for Windows (concordance program)
• Text Analysis Computing Tools (TACT)
• The Lingua Project: The World of MultiLingual Parallel Concordancing
  (http://prune.loria.fr/~bonhomme/lingua/)
  - Sentences alignment tool in multilingual corpora.
• The Lingua Project: The World of MultiLingual Parallel Concordancing
  (http://www.loria.fr/exterieur/equipe/dialogue/lingua/)
• Textual Corpora and Tools for their Exploration

Language Modeling

• Maximum Entropy Modeling
• Maximum Entropy Modeling Toolkit
• CMU-Cambridge Statistical Language Modeling Toolkit
• CMU Statistical Language Modeling Toolkit by Roni Rosenfeld
  • Program
  • Document
• Trigger Toolkit
• Simple Good-Turing Smoothing
• Smoothing tools software by Joshua Goodman and Stanley Chen
• Language modeling tools
• Statistical Decision Trees

HMM

• A HMM mini-toolkit (by Anand Venkataraman)
• HMM Software
  see also: Exercise: Using a Hidden Markov Model
• Discrete HMM Toolkit
• Hidden Markov Model (HMM) Toolbox
• Meta-MEME: Motif-based Hidden Markov Models of Biological Sequences

Language Identification

• Ted E. Dunning’s program
• Gertjan van Noord’s program
• Doug Beeferman’s program

FSA Tools

• Finite State Utilities
• Automata Learning from Theory to Practice
  • Downloadable Software
• Index to finite-state machine software, products, and projects
• FSA utilities
  • FSA Utilities: A Toolbox to Manipulate Finite-state Automata
• Grail - a symbolic computation environment for finite-state machines, regular expressions, and other formal language theory objects.
• AMoRE - A program for the computation of Automata, Monoids, and Regular Expressions.

Speech

• HTK: Hidden Markov Model Toolkit
• CSLU Toolkit
• The Epos Speech Synthesis System
• ISIP public domain speech to text system
  • The ISIP Automatic Speech Recognition Toolkit
• CSLU Toolkit (Center for Spoken Language Understanding, Oregon Graduate Institute of Science and Technology)
• Computer generation of accent marks
• Spoken Natural Language Processing Group Software
• CMU Error Analysis Toolkit
• Audio Tools
• VOICEBOX: Speech Processing Toolbox for MATLAB

Mathematical Software

• NIST Guide to Available Mathematical Software

Statistics

• Bayesian inference Using Gibbs Sampling
• CoCo - A statistics package for analysis of associations between discrete variables.

Machine Learning

• Machine Learning Toolbox (MLT)
• The Machine Learning Programs Repository
• The RIPPER rule learner
• mFOIL - An ILP systems designed to handle noisy examples.

Support Vector Machine

• SVMLight
• SVM package by William Noble Grundy
• Kernel Machines Web Site

Information Retrieval & Filtering

• seft - a Search Engine For Text
• MG - Managing Gigabytes
• Isearch - software for indexing and searching text documents.
• SMART Software and test collections (Cornell University)
  • see also SMART links
• Doug Oard’s Research Software Page - SMART Modifications
• Bow: A Toolkit for Statistical Language Modeling, Text Retrieval, Classification and Clustering
• ifile - A general mail filtering system.
• IR-STAT-PAK - A program to compute descriptive and analytic statistics for the TREC IR trials.
• Yavi - A visual interface to textual information.
• Labeled data sets for information extraction

String/Pattern Matching

• Online Approximate String Matching
• Strmat package (exact string matching and suffix trees)

Sentence Boundary Detector

• SATZ: An Adaptive Sentence Boundary Detector
• Adwait Ratnaparkhi’s MXTERMINATOR

Clustering/Classification

• FCLUSTER - A tool for fuzzy cluster analysis
• LNKnet Pattern Classification Software
• Principal Direction Divisive Partitioning
• k-means clustering

WWW

• w3mir - HTTP copying and mirroring tool.
• HTTrack - The Web mirror utility.
• HTML Conversion, Shareware and Freeware

Other Tools

• German Morphology Browser (online service)
• ‘mat2D’ Matrix/Vector Library in C
• Content Analysis Resources - for quantitative analyses of texts, transcripts, and images.
• SNoW learning program
• The µ-TBL Homepage - Logic Programming Tools for Transformation-Based Learning
• ROOT: An Object-Oriented Data Analysis Framework
• CAQDAS Networking Project - Computer Assisted Qualitative Data Analysis Software
• Suffix sort
• Nb - a graphical user interface for annotating the discourse structure of spoken dialogue, monologue, and text.
• GATE - General Architecture for Text Engeneering.
• TiMBL: Tilburg Memory Based Learner
• MtRecode - The Multext character translation program
• Evalb - A bracket scoring program. It reports precision, recall, non crossing and tagging accuracy for given data.
• The OC1 decision tree software system
• IND Version 2.0 - creation and manipulation of decision trees from data
• Paai’s text utilities
• Shoebox 3.0 for Windows and Macintosh - A database program oriented to the needs of a field linguist’s dictionary.
• Teaching materials for statistical NLP by Chris Brew, Language Technology Group, Human Communication Research Centre, University of Edinburgh
• Introducing environmentalism and post-fordism into NLP (NeuroTran)
• Tools for Estonian Language
• Dan Melamed’s Page - Simulated Annealing Program, XTAG morpholyzer post-processors for English Stemming, Good-Turing Smoothing Software, 150 miscellaneous text processing tools, 75 text statistics and bitext geometry tools.
• TOOLDIAG: Pattern recognition toolbox
• The DN2 Home Page - DN2 is an intelligent self-relating free format database system which accepts data in human text format, and retrieves it in response to human requests, like Where is London?
• Software Announcements
• Tools for drawing and graphically editing trees
• Paul Nation’s vocabulary programs
• syllable prediction code (a simple lisp function)
• Pratt - a pattern discovery tool
• XGobi - A system for multivariate data visualization.
• NODElib - Neural Optimization Development Engine library