首页 > 参考知识 > 探访现代海量词典的制作进行方式

探访现代海量词典的制作进行方式

来源:厚厚参考网

近年来,伴随着人工智能技术不断发展,海量词典的制作方式也在不断地进行升级。目前,现代海量词典的制作主要分为三个步骤:数据收集、语义处理、词典发布。

在数据收集方面,现代海量词典会利用爬虫技术针对包括网页、论坛、新闻等多个数据源进行数据的收集和筛选,产生原始的语料库。

在语义处理方面,主要是通过自然语言处理技术对原始的语料库进行处理,经过分词、词性标注、关键词提取、命名实体识别等一系列操作,生成词汇表和词典。

在词典发布方面,主要通过软件应用、数据库和API的方式,将生成的词典发布出去,供各类需求方使用。

值得一提的是,现代海量词典并不是简单的拼凑,他是在数据量大的前提下,依靠现代高科技手段进行高效加工处理,从而生成具有应用价值的词典。

相关信息