python jieba函数怎么用

九、jieba库的使用

1. jieba库：优秀的中文分词第三方库

-中文文本需要通过分词获得单个的词语

-jieba是第三方库，需要额外安装：

-pip install jieba

2. jieba分词的原理

-利用了一个中文词库，确定汉字之间的关联概率

-汉字间概率大的组成词组，形成分词结果

-除了分词，用户还可以添加自定义的词组

3.jieba分词的三种模式

-精确模式：把文本精确地分开，不存在冗余的单词

-全模式：把一段文本中所有可能的词语都扫描出来，存在冗余

-搜索引擎模式：在精确模式的基础上，对于长词进行再切分

4.jieba库常用函数

jieba.lcut(s)、jieba.lcut(s , cut_all=True)、jieba.lcut_for_search(s)

import jieba

a = jieba.lcut("冬天到了春天还会远吗") #精确模式

b = jieba.lcut("冬天到了春天还会远吗" , cut_all=True) #全模式

c = jieba.lcut_for_search("中华人民共和国是一个伟大的国家") #搜索引擎模式

print(a)

print(b)

print(c)

#输出：

['冬天', '到', '了', '春天', '还会', '远', '吗']

['冬天', '到', '了', '春天', '还', '会', '远', '吗']

['中华', '华人', '人民', '共和', '共和国', '中华人民共和国', '是', '一个', '伟大', '的', '国家']

还可以向分词词典中添加新词：jieba.add_word(s)

jieba.add_word("dzzhyk")

a = jieba.lcut("dzzhyk是一名学生")

print(a)

#输出：

['dzzhyk', '是', '一名', '学生']