当前位置:首页 > 服务端 > jieba分词(标注词性)

jieba分词(标注词性)

2022年11月09日 15:13:54服务端7

本人初学python代码不够规范 望见谅

本段代码可以完成对文本信息的分词(标注词性)、去停用词、以及存储到本地TXT文件中

 1 # coding:utf-8
 2 import re
 3 import json
 4 import jieba.posseg as pseg
 5 import string
 6 import datetime
 7 import zhon.hanzi
 8 import get_comment.SQL
 9 
10 #   要清洗掉的中文标点
11 ignoring_words = list(zhon.hanzi.punctuation)+list(string.punctuation)
12 #   数据库表中没有存储评论的表名称
13 ignoring_table = ['phone_info', 'phone_url', 'error_table']
14 
15 
16 #   将分词后的数据储存到本地
17 def text_save(content, filename, mode='a'):
18     file = open(filename, mode)
19     file.write(str(content))    # 存储为str格式
20     # 此处为存储为json格式
21     # js = json.dumps(content)
22     # file.write(js)
23     file.close()
24 
25 
26 #   获取数据库中的评论
27 def get_comments(phones_id, i):
28     mysql = get_comment.SQL.save_mysql()    # 调用数据库操作
29     comment = mysql.read_comment_phone(phones_id, i)
30     for ob in comment:
31         return str((ob[0]))
32 
33 
34 #   调用jieba分词包进行分词
35 def jieba_cut(phones_id, i):
36     comment = get_comments(phones_id, i)
37     comments_dict = dict(pseg.cut(comment))
38     return comments_dict
39 
40 
41 #   获取数据库中的所有储存评论信息的表名
42 def get_phone_table():
43     mysql = get_comment.SQL.save_mysql()
44     phone_id_list = list(mysql.select_all_table('jd'))
45     for table in phone_id_list:
46         if table[0] in ignoring_table:
47             phone_id_list.remove(table)
48     phone_id_list.pop()
49     return phone_id_list
50 
51 
52 #   调用其他函数完成数据的存储,格式为txt
53 def save_file(phone_id1):
54     with open('E:\\PythonFile\\tingyongci.txt') as ti:
55         ti_list = list(ti.read())  # 获取停用词表(综合哈工大停用词词表)
56     for i in range(1, 1000):
57         with open('E:\\PythonFile\\tingyongci.txt') as ti:
58             ti_list = list(ti.read())  # 获取停用词表(综合哈工大停用词词表)
59         for i in range(1, 1000):
60             try:
61                 new_dic = {}
62                 new_dic1 = jieba_cut(phone_id1, i)
63                 for key, value in new_dic1.items():
64                     if key not in ti_list:
65                         new_dic[key] = value
66                     else:
67                         pass
68             except:
69                 continue
70             print(new_dic)
71             text_save(new_dic, 'E:\\PythonFile\\jd\\phone\\%s.txt' % phone_id1)
72     print('----------------------id=%s---------------------------' % phone_id)
73 
74 
75 if __name__ == "__main__":
76         start_time = datetime.datetime.now()
77         phone_table_lists = get_phone_table()
78         for phone_table_name in phone_table_lists:
79             phone_id = re.sub("\D", "", phone_table_name[0])    # 获取表名中的phone_id
80             save_file(int(phone_id))
81             print("--------------id=%s--------------" % phone_id)
82         end_time = datetime.datetime.now()
83         print('运行时间:')
84         print(end_time - start_time)

附部分运行后的存储结果:

jieba分词(标注词性) _ JavaClub全栈架构师技术笔记

注:jieba分词的词性表如下:

  另附词性标注表如下:

1. 名词 (1个一类,7个二类,5个三类)
  名词分为以下子类:
    n 名词
    nr 人名
    nr1 汉语姓氏
    nr2 汉语名字
    nrj 日语人名
    nrf 音译人名
    ns 地名
    nsf 音译地名
    nt 机构团体名
    nz 其它专名
    nl 名词性惯用语
    ng 名词性语素
2. 时间词(1个一类,1个二类)
    t 时间词
    tg 时间词性语素
3. 处所词(1个一类)
    s 处所词
4. 方位词(1个一类)
    f 方位词
5. 动词(1个一类,9个二类)
    v 动词
    vd 副动词
    vn 名动词
    vshi 动词“是”
    vyou 动词“有”
    vf 趋向动词
    vx 形式动词
    vi 不及物动词(内动词)
    vl 动词性惯用语
    vg 动词性语素
6. 形容词(1个一类,4个二类)
    a 形容词
    ad 副形词
    an 名形词
    ag 形容词性语素
    al 形容词性惯用语
7. 区别词(1个一类,2个二类)
    b 区别词
    bl 区别词性惯用语
8. 状态词(1个一类)
    z 状态词
9. 代词(1个一类,4个二类,6个三类)
    r 代词
    rr 人称代词
    rz 指示代词
    rzt 时间指示代词
    rzs 处所指示代词
    rzv 谓词性指示代词
    ry 疑问代词
    ryt 时间疑问代词
    rys 处所疑问代词
    ryv 谓词性疑问代词
    rg 代词性语素
10. 数词(1个一类,1个二类)
    m 数词
    mq 数量词
11. 量词(1个一类,2个二类)
    q 量词
    qv 动量词
    qt 时量词
12. 副词(1个一类)
    d 副词
13. 介词(1个一类,2个二类)
    p 介词
    pba 介词“把”
    pbei 介词“被”
14. 连词(1个一类,1个二类)
    c 连词
    cc 并列连词
15. 助词(1个一类,15个二类)
    u 助词
    uzhe 着
    ule 了 喽
    uguo 过
    ude1 的 底
    ude2 地
    ude3 得
    usuo 所
    udeng 等 等等 云云
    uyy 一样 一般 似的 般
    udh 的话
    uls 来讲 来说 而言 说来
    uzhi 之
    ulian 连 (“连小学生都会”)
16. 叹词(1个一类)
    e 叹词
17. 语气词(1个一类)
    y 语气词(delete yg)
18. 拟声词(1个一类)
    o 拟声词
19. 前缀(1个一类)
    h 前缀
20. 后缀(1个一类)
    k 后缀
21. 字符串(1个一类,2个二类)
    x 字符串
    xx 非语素字
    xu 网址URL
22. 标点符号(1个一类,16个二类)
    w 标点符号
    wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <
    wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >
    wyz 左引号,全角:“ ‘ 『
    wyy 右引号,全角:” ’ 』
    wj 句号,全角:。
    ww 问号,全角:? 半角:?
    wt 叹号,全角:! 半角:!
    wd 逗号,全角:, 半角:,
    wf 分号,全角:; 半角: ;
    wn 顿号,全角:、
    wm 冒号,全角:: 半角: :
    ws 省略号,全角:…… …
    wp 破折号,全角:—— -- ——- 半角:--- ----
    wb 百分号千分号,全角:% ‰ 半角:%
    wh 单位符号,全角:¥ $ £ ° ℃ 半角:$

作者:倚楼灬风细
来源链接:https://www.cnblogs.com/muty/p/8528440.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/68928.html

标签: jieba分词
分享给朋友:

“jieba分词(标注词性)” 的相关文章

jieba分词的几种形式

1、精确模式:试图将句子最精确地分开,适合文本分析 seg_list = jieba.cut(test_text, cut_all=False) seg_list = " ".join(seg_list) print("cut_all=F...

jieba的一些使用

最近处理中文数据集经常用到jieba,记录一下遇到的问题。 1.分词 最常用的就是jieba.cut(text) 一般还会使用jieba.posseg进行词性过滤 词性表: Ag 形语素...

NLP-jieba篇

和拉丁语系不同,亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候,大部分情况下,词汇是我们对句子和文章理解的基础,因此需要一个工具去把完整的文本中分解成粒度更细的词。 jieba就是这样一个非常好用的中...

Lucene.net(4.8.0) 学习问题记录五: JIEba分词和Lucene的结合,以及对分词器的思考

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的。不过好在Lucene....

Python笔记 之 jieba模块

更详细的解释及举例请查看官方文本:jieba参考文档 jieba分词 支持四种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析; 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; 搜索引擎模式,在精确...

jieba库安装我和你干上了

jieba库安装我和你干上了

最近老是遇到第三方库安装不上。比如jieba库。 1. jieba库能干嘛 jieba“结巴”中文分词:做最好的 Python 中文分词组件 “Jieba” (Chinese for “to stutter”) Chinese text...

Python中文分词 jieba

Python中文分词 jieba

三种分词模式与一个参数 以下代码主要来自于jieba的github,你可以在github下载该源码 import jieba seg_list = jieba.cut("我来到北京清华大学", cut_all=True, HMM=False) #jieba.c...

jupyter怎么安装jieba

最近用到 jieba ,在anaconda 怎么也安装补上,在网上找了一下,发现有几篇文章写得很好,但是为了怕自己以后再浪费时间,这里还是做个记录。 通常安装模块直接用pip install jieba,或者conda install jieba,但是有一些模块...

发布了一个基于jieba分词的ElasticSearch插件

github地址: https://github.com/hongfuli/elasticsearch-analysis-jieba 基于 jieba 的 elasticsearch 中文分词插件。 集成到ElasticSearch git clone git@git...

jieba初步了解

http://www.gowhich.com/blog/147 jieba自带词典:dict.txt 一个词占一行;每一行分三部分,一部分为词语,另一部分为词频,最后为词性(可省略),用空格隔开 例如:词 频率 词性 一不注意 3 i一不留神 3 i一专多能 2...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。