当前位置:首页 > 服务端 > python中jieba库的使用

python中jieba库的使用

2022年11月08日 22:29:41服务端18

英文的词频统计

英语中我们可以通过.split()对字符串进行分割,从而获取到单词的列表。
比如如下代码对哈姆雷特中前10英文单词频率进行了统计排序

#CalHamletV1.py
def getText():
    txt = open("word frequency/hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

hamletTxt = getText()
words  = hamletTxt.split()
counts = {}
for word in words:			
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

运行看下效果,发现the出现次数最多
python中jieba库的使用 _ JavaClub全栈架构师技术笔记

jieba库的使用

那么在中文中,因为每个汉字连在一起,没有空格,所以就不适用了。我们可以引用python第三库中的jieba库来解决这个问题。

基本介绍

Jieba是优秀的中文分词第三方库,它能够对中文文本进行分词或得单个的词语,因为是第三方库,所以需要额外安装。命令:pip install jieba

分词原理

Jieba分词依靠的是一个强大的中文库,确定汉字自检的关联概率,概率大的组成词组,形成了分词的结果。除了分词呢,用户还可以添加自定义的词组。
Jieba分词有三种模式:
精确模式:把文本精确的切分开,不存在冗余单词
全模式:把文本中所有可能的词语都扫描出来,有冗余
搜索引擎模式:在精确模式基础上,对长词再次切分
Jieba库

函数 描述
jieba.lcut(s) 精确模式,返回一个列表类型的分词结果
jieba.lcut(s,cut_all=True) 全模式,返回一个列表类型的分词结果,存在冗余
jieba.luct_for_search(s) 搜索引擎模式,返回一个列表类型的分词结果,存在冗余
jieba.add_world(w) 向分词词典增加新词w

简单应用

python中jieba库的使用 _ JavaClub全栈架构师技术笔记

利用jieba统计三国演义人名出线频率

#CalThreeKingdomsV2.py
import jieba
excludes = {"将军","却说","荆州","二人","不可","不能","如此"}
txt = open("word frequency/threekingdoms.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
for word in excludes:
    del counts[word]
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))

运行看下效果:
python中jieba库的使用 _ JavaClub全栈架构师技术笔记

作者:whoim_i
来源链接:https://blog.csdn.net/whoim_i/article/details/103284422

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68601.html

标签: jiebaPython
分享给朋友:

“python中jieba库的使用” 的相关文章

Python 树表查找

Python 树表查找

什么是树表查询? 借助具有特殊性质的树数据结构进行关键字查找。 本文所涉及到的特殊结构性质的树包括: 二叉排序树。 平衡二叉树。 使用上述树结构存储数据时,因其本身对结点之间的关系以及顺序有特殊要求,也得益于这种限制,在查询某一个结点时...

python中对切片的理解

字符串还支持 切片。索引可以提取单个字符,切片 则提取子字符串: >>> >>> word[0:2] # characters from position 0 (included) to 2 (exclu...

Selenium学习第一章:搭建测试环境

Selenium学习第一章:搭建测试环境

一:下载python,官网地址:https://www.python.org/,傻瓜式安装(最好不要装在C盘)   二:配置环境变量 右击“计算机”—“属性”—“环境变量”,在系统变量“Path”中添加你安装python的这两个地址(中间隔开用英文分号)...

python环境变量自动配置脚本(setx使用)

前言 setx不是windows系统自带的工具,需要到微软官网下载,但是有的系统也会自带。(是官方提供的,可放心食用) set和setx都可以用来配置环境变量。他们的不同点在于,set只是临时的修改环境变量,控制台关闭之后效果就消失,setx则可以永久改变环境变量(自动修改...

关于anaconda的opencv环境的配置问题

我本身电脑安装采取的是已有Python的环境配置下,然后安装了anaconda的配置,并在环境中配置了anaconda的环境变量,在此情况下安装opencv变量,我尝试了两种安装方法 1.直接安装pip install opencv-python 2.下载相关文件,然后直接...

python笔记

python笔记

网上推荐使用python3:     安装python之后(安装过程参考“菜鸟教程”),配置环境变量,这样可以在cmd中的任何目录调用python的执行程序。 查询python版本:    ...

Django的下载和安装

Django的下载和安装

Django的下载和安装 1.官网链接  https://www.djangoproject.com/download/ 2.下载后,解压,将解压包放在Python的安装目录。(前提是安装了Python)   3.进入Django,执...

Anaconda安装之环境变量配置

Anaconda安装之环境变量配置

1.在此之前先把python安装完成,并配置好环境变量。Anaconda默认大家都已经安装完成,没安装的可以直接去Anaconda官网下载(网速较慢,不建议),这里可以去清华大学开源软件镜像站下载。 2.记住Anaconda安装的目录:   (1)Anaconda安装路径(...

Python环境准备(安装python解释器)

Python环境准备(安装python解释器)

上篇文章介绍了Python的相关知识,本章就开始着手操作,创建第一个Python程序,在这之前,首先需要配置Python的运行环境,也就是安装python解释器 ------------- 完美的分割线 --------------- 1.python环境准备 ...

二、安装Spark与Python练习

二、安装Spark与Python练习

一.安装spark 1.检查基本环境Hadoop、jdk 2.配置文件,环境变量       3.试运行python代码     &n...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。