当前位置:首页
> jieba
jieba 分词 生成词云
2023年03月27日 21:07:46服务端
今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况。 这是好友的QQ空间10年说说内容,基本有一个大致的印象了。 爬取动态内容 因为动态页面的内容是动态加载出来的,所以我们需要不断下滑,加载页面 切换到当前内容的fram...
jieba分词-红楼梦
2023年03月27日 13:36:43服务端
import jieba excludes = {"什么","一个","我们","那里","你们","如今","说道","知道","起来","姑娘","这里","出来","他们","众人","自己", "一面","只见","怎么","两个","没有","不是","不知","这个","听见","这样"...
python jieba函数怎么用
2023年03月26日 21:13:16服务端
九、jieba库的使用 1. jieba库:优秀的中文分词第三方库 -中文文本需要通过分词获得单个的词语 -jieba是第三方库,需要额外安装: -pip install jieba 2. jieba分词的原理 -利用了一个中文词库,确定汉字之间的关联概率 -汉字间概率大的组成词组,形成分词结果 -...
中文分词库jieba的三种模式介绍
2023年03月26日 20:34:50服务端
jieba分词的三种模式 精准模式 jieba.cut(test_text, cut_all=False): 试图将句子最精确地分开,适合文本分析 全模式 jieba.cut(test_text, cut_all=True): 把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义 搜...
Python-jieba库
2023年03月26日 14:57:36服务端
jieba库基本介绍 jieba库概述 jieba是优秀的中文分词第三方库 中文文本需要通过分词获得单个的词语 jieba是优秀的中文分词第三方库,需要额外安装 jieba库提供三种分词模式,最简单只需掌握一个函数 jieba库安装 pip install jieba jieba分词原理 jieb...
LTP与jieba词性标注对比
2023年03月25日 09:31:22服务端
词性标注对比¶ LTP 使用的是863词性标注集,其各个词性含义如下表。 Tag Description Example Tag Description Example a adjective 美丽 ni organization name 保险公司 b other noun-modifier 大型...
Jieba分词词性标注以及词性说明
2023年03月24日 08:17:46服务端
1 import jieba 2 3 import jieba.analyse 4 5 import jieba.posseg 6 7 8 9 def dosegment_all(sentence): 10 11 ''' 12 13 带词性标注,对句子...
python jieba分词及中文词频统计
2023年03月23日 22:15:22服务端
这篇博客用来记录一下自己学习用python做词频统计的过程,接上篇的英文词频统计 上篇:python词频统计并按词频排序 参考资料:jieba参考文档 目录 一、jieba库简介 二、一些准备工作 三、中文词频统计 四、jieba自定义分词、词性分析 一、jieba库简介 jieba是Python中...
jieba库常用函数及解析实例
2023年03月23日 11:09:35服务端
中文文本需要通过分词获得单个的词语 jieba是优秀的中文分词第三方库,需要额外安装 在(cmd命令行)情况下 运行 pip install jieba 进行安装 jieba分词原理 利用一个中文词库,确定汉字之间的关联概率 汉字间概率大的组成词组,形成分词结果 除了分词,用户还可以添加自定义的词组...
自然语言处理-jieba
2023年03月22日 20:53:20服务端
jieba中文处理 1.基本分词函数的用法 jieba.cut接收分词的三种输入参数: 1)需要分词的字符串 2)cut_all参数用来控制是否采用全模式,即从前往后切分,所有在词典中出现的词都会被切分出来; 精确模式:按最合理的方式进行切分; 3)HMM参数用来控制是否使用HMM模型 jieba....