当前位置:首页 > 服务端 > 如何运用jieba库分词

如何运用jieba库分词

2022年11月08日 19:06:12服务端20

使用jieba库分词

一.什么是jieba库

 

 1.jieba库概述 

 

jieba是优秀的中文分词第三方库,中文文本需要通过分词获得单个词语。

2.jieba库的使用:(jieba库支持3种分词模式)

通过中文词库的方式识别

精确模式:把文本精确的切分开,不存在冗余单词

全模式:把文本所有可能的词语都描述出来,有冗余

搜索引擎模式:在精确模式的基础上,对长词进行切分

3.jieba库是属于python中优秀的中文分词第三方库,需要额外安装

二.安装jieba库

途径1:百度jieba库下载(百度上很多jieba库的安装教程,可以参考一下)

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

 

 方法2:在计算机命令行输入

pip install jieba

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

按下回车就会自动安装,稍微等待就可以了

 

三.函数库的调用

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

jieba库在python的 IDLE中运行时可以使用两种导入方式

(1)

导入库函数:import  <库名>

使用库中函数:<库名> . <函数名> (<函数参数>)

例如:import jieba

jieba.lcut()

jieba.lcut(" ",cut_all=True)

jieba.lcut_for_search()

 

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

(2) 导入库函数:from  <库名>  import * ( *为通配符 )

使用库中函数:<函数名> (<函数参数>)

例如:from jieba import *

lcut()

lcut(" ",cut_all=True)

lcut_for_search()

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

四.jieba库的实际应用(对文本的词频统计)

文本是水浒传,百度上下载的

 1 from jieba import *
 2 excludes=lcut_for_search("头领两个一个武松如何只见说道军马众人那里")
 3 txt=open("水浒传.txt","r").read()
 4 words=lcut(txt)
 5 counts={}
 6 for word in words:
 7     if len(word)==1:
 8         continue
 9     elif word =="及时雨" or word == "公明" or word =="哥哥" or word == "公明曰":
10         rword ="宋江"
11     elif word =="黑旋风" or word =="黑牛":
12         rword ="李逵"
13     elif word =="豹子头" or word == "林教头":
14         rword ="林冲"
15     elif word =="智多星" or word =="吴用曰":
16         rword ="吴用"
17     else:
18         rword=word
19         counts[word]=counts.get(word,0)+1
20 for word in excludes:
21     del(counts[word])
22 items=list(counts.items())
23 items.sort(key=lambda x:x[1],reverse=True)
24 for i in range(10):
25     word,count=items[i]
26     print("{0:<10}{1:>5}".format(word,count))

 

 运行结果:(有些多余的词语未做好排除,代码仍需要改进)

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

 

五.词云图(jieba库与wordcloud库的结合应用)
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from jieba import *
 
# 生成词云
def create_word_cloud(filename):
    text = open("{}.txt".format(filename)).read()
    font = 'C:\Windows\Fonts\simfang.ttf'
    wordlist = cut(text, cut_all=True) # 结巴分词
    wl = " ".join(wordlist)
 
    # 设置词云
    wc = WordCloud(
        # 设置背景颜色
        background_color="black",
        # 设置最大显示的词云数
        max_words=200,
        # 这种字体都在电脑字体中,一般路径
        font_path= font,
        height=1200,
        width=1600,
        # 设置字体最大值
        max_font_size=100,
        # 设置有多少种随机生成状态,即有多少种配色方案
        random_state=100,
    )
 
    myword = wc.generate(wl)  # 生成词云
    # 展示词云图
    plt.imshow(myword)
    plt.axis("off")
    plt.show()
    wc.to_file('img_book.png')  # 把词云保存下
 
 
if __name__ == '__main__':
    create_word_cloud('水浒传')
 
  

 运行结果 

如何运用jieba库分词 _ JavaClub全栈架构师技术笔记

 

 
  

 



 

作者:xiayiLL
来源链接:https://www.cnblogs.com/xiayiLL/p/10645323.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68573.html

标签: jieba分词
分享给朋友: