当前位置:首页 > 服务端 > 中文分词利器 -- jieba / 简单使用

中文分词利器 -- jieba / 简单使用

安装
pip install jieba
pip install wordcloud
分词模式

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

自定义词典
  • 添加一个 .txt 以utf-8编码格式的文件
  • 文件内一个词占一行,每一行分三部分:词语 词频 词性(可省略,ns为地点名词),用空格隔开
    eg. 多瑙河畔 1 n
  • 加载自定义词典
  • 示例
jieba.load_userdict('myword.txt')
jieba.lcut(str_text)
关键词提取

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

去除停用词

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

使用sklearn计算TF-IDF值

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

词云展示示例

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记
中文分词利器 -- jieba / 简单使用 _ JavaClub全栈架构师技术笔记

作者:兴宁阿哥
来源链接:https://blog.csdn.net/baidu_41390359/article/details/105819970

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/67905.html

标签: jieba分词
分享给朋友: