目录
摘要 II
关键词 II
Abstract III
引言
引言 1
1 日语分词 1
1.1 课题研究的背景和意义 1
1.2 国内外研究现状与分析 1
1.3 课题任务和论文结构 2
2 基于规则的日语分词 2
2.1 概述 2
2.2 日语词语特征 3
2.3 邻接属性与词典构成 3
2.5 基于规则的词性标注 3
3 基于统计的日语分词 4
3.1 概述 4
3.2 基于马尔可夫模型的方法 5
3.3 字符标记法 6
3.4 混合方法 7
4 日语分词系统设计与实践 10
4.1 系统设计与原则 10
4.2 算法实现 10
4.3 增量训练 11
4.3 测试 12
5 讨论 13
6 结论 13
致谢 14
参考文献 14
基于规则和统计的日语分词研究
摘要
与西方语言（如英语）不同的是，日语词语间不存在空格等标志，故分词是日语自然语言分析相关研究首先需要进行的工作。日语分词是跨语言信息检索、信息抽取、情感分析、机器翻译等自然语言处理领域的基础。
基于规则和统计方法的结合是当前自然语言处理的主要方法，同时实现分词和词性标注对分词结果的准确率的提高有很大帮助。本文使用基于马尔可夫、字符标记法的混合算法实现分词，并加入了词语的邻接属性特征，辅以词典构成，实现了一个基本分词系统，使准确率获得提高。
JAPANESE WORD SEGMENTATION BASED ON RULES AND STATISTICS
ABSTRACT
Unlike Western languages (such as English), there are no spaces and other signs between Japanese words, so word segme *51今日免费论文网|www.51jrft.com +Q: ^351916072# 
ntation is the first work required for research related to Japanese natural language analysis. Japanese word segmentation is the foundation of natural language processing fields such as crosslanguage information retrieval, information extraction, sentiment analysis, and machine translation.
The combination of rulebased and statistical methods is currently the main method of natural language processing. At the same time, partofspeech tagging is very helpful to improve the accuracy of word segmentation results. In this paper, a hybrid algorithm based on Markov and character notation is used to achieve word segmentation, and the adjacent attribute characteristics of words are added, supplemented by dictionary composition, and a basic word segmentation system is implemented to improve the accuracy.
Key words: Japanese word segmentation; Japanese partofspeech tagging; statistical natural language processing; Markov model
引言
1 日语分词
1．1 课题研究的背景和意义
随着近些年来互联网的快速发展，网络信息爆炸增长，随之全球交流与合作越来越频繁，这使得单一语言信息已然不太足够。其中，对于日文信息的处理是非常必要的。非母语语言处理任务从词、短语、句子到篇章等多层面的信息加工[1]。在处理跨语言相关信息时，用户要获取得到的语料中的内容，必须对词法、句法、上下文语义等进行多层次的加工处理。
故首先要处理的是语义表达的基本单位——词，但是日语词语间不存在如空格等的显示标志来明显划分词的界限。也就是说日语分词和词性标注是所有日文自然语言处理系统首先要进行的步骤，才可以初步降低日语NLP的门槛与整体难度，也会对日语NLP各方面形成非常大的推动作用，如在跨语言信息检索、情感分析、机器翻译、信息抽取、文本分类、自动摘要与校对等自然语言处理应用领域都将产生十分关键的作用，此类方向取得的进步将会帮助人们更好跨越语言障碍，使人们可以越来越便于获取信息。鉴于中日在分析需求上的相似性，也会对中文NLP方面产生积极影响。
即要使日文自然语言处理系统在实现“智能”上走出第一步必须解决分词问题，后续分析方式才可继续进行。其中，自动分词就是把输入的文本字串分割成词串，而词性标注就是为识别分割出来的每个词为其加上恰当的标记。

原文链接：http://www.jxszl.com/jsj/xxaq/606990.html