jieba 分词 生成词云
今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说，并把这些内容存在txt中，然后读取出来生成云图，这样可以清晰的看出朋友的状况。
这是好友的QQ空间10年说说内容，基本有一个大致的印象了。
爬取动态内容
-
因为动态页面的内容是动态加载出来的，所以我们需要不断下滑，加载页面
-
切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况
-
获取页面源数据，然后放入xpath中，然后读取
# 下拉滚动条，使浏览器加载出动态加载的内容， # 我这里是从1开始到6结束 分5 次加载完每页数据 for i in range(1,6): height = 20000*i#每次滑动20000像素 strWord = "window.scrollBy(0,"+str(height)+")" driver.execute_script(strWord) time.sleep(4) # 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame， # 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素 driver.switch_to.frame("app_canvas_frame") selector = etree.HTML(driver.page_source) divs = selector.xpath('//*[@id="msgList"]/li/div[3]')所有的注释都在代码中，所以也就不作详情说明，
昨天的模拟登录大家都应该掌握了，没有掌握的自己再去复习一下
.Python爬虫：学习Selenium并使用Selenium模拟登录知乎
爬取说说的完整代码
#coding:utf-8import timefrom selenium import webdriverfrom lxml import etree#这里一定要设置编码格式，防止后面写入文件时报错import sysreload(sys)sys.setdefaultencoding( "utf-8" )friend = 'XXX' # 朋友的QQ号，朋友的空间要求允许你能访问user = 'XXX' # 你的QQ号pw = 'XXXX' # 你的QQ密码#获取浏览器驱动driver = webdriver.Firefox()# 浏览器窗口最大化driver.maximize_window()# 浏览器地址定向为qq登陆页面driver.get("http://i.qq.com")# 所以这里需要选中一下frame，否则找不到下面需要的网页元素driver.switch_to.frame("login_frame")# 自动点击账号登陆方式driver.find_element_by_id("switcher_plogin").click()# 账号输入框输入已知qq账号driver.find_element_by_id("u").send_keys(user)# 密码框输入已知密码driver.find_element_by_id("p").send_keys(pw)# 自动点击登陆按钮driver.find_element_by_id("login_button").click()# 让webdriver操纵当前页driver.switch_to.default_content()# 跳到说说的url, friend你可以任意改成你想访问的空间driver.get("http://user.qzone.qq.com/" + friend + "/311")next_num = 0 # 初始“下一页”的idwhile True: # 下拉滚动条，使浏览器加载出动态加载的内容， # 我这里是从1开始到6结束 分5 次加载完每页数据 for i in range(1,6): height = 20000*i#每次滑动20000像素 strWord = "window.scrollBy(0,"+str(height)+")" driver.execute_script(strWord) time.sleep(4) # 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame， # 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素 driver.switch_to.frame("app_canvas_frame") selector = etree.HTML(driver.page_source) divs = selector.xpath('//*[@id="msgList"]/li/div[3]') #这里使用 a 表示内容可以连续不清空写入 with open('qq_word.txt','a') as f: for div in divs: qq_name = div.xpath('./div[2]/a/text()') qq_content = div.xpath('./div[2]/pre/text()') qq_time = div.xpath('./div[4]/div[1]/span/a/text()') qq_name = qq_name[0] if len(qq_name)>0 else '' qq_content = qq_content[0] if len(qq_content)>0 else '' qq_time = qq_time[0] if len(qq_time)>0 else '' print qq_name,qq_time,qq_content f.write(qq_content+"\n") # 当已经到了尾页，“下一页”这个按钮就没有id了，可以结束了 if driver.page_source.find('pager_next_' + str(next_num)) == -1: break # 找到“下一页”的按钮，因为下一页的按钮是动态变化的，这里需要动态记录一下 driver.find_element_by_id('pager_next_' + str(next_num)).click() # “下一页”的id next_num += 1 # 因为在下一个循环里首先还要把页面下拉，所以要跳到外层的frame上 driver.switch_to.parent_frame()这样所有的说说内容就可以爬取到了。并且存到了同级目录中
生成词云
生成词云需要用到的库：
wordcloud, 生成词云
matplotlib， 生成词云图片
jieba ，这个库可用可不用，但我因为中文一直显示不出来，后来加上了这个库，就能显示中文了。
#coding:utf-8"""使用结巴分词生成云图 说明这里 1.生成词云一定要设置字体样式，否则汉字出现乱码或者不显示 2.我不知道为什么本机一直显示不了中文，后面我加了jieba分词词库就可以显示中文了"""from wordcloud import WordCloudimport matplotlib.pyplot as pltimport jieba#生成词云def create_word_cloud(filename): text= open("{}.txt".format(filename)).read() # 结巴分词 wordlist = jieba.cut(text, cut_all=True) wl = " ".join(wordlist) # 设置词云 wc = WordCloud( # 设置背景颜色 background_color="white", # 设置最大显示的词云数 max_words=2000, # 这种字体都在电脑字体中，一般路径 font_path='C:\Windows\Fonts\simfang.ttf', height= 1200, width= 1600, # 设置字体最大值 max_font_size=100, # 设置有多少种随机生成状态，即有多少种配色方案 random_state=30, ) myword = wc.generate(wl) # 生成词云 # 展示词云图 plt.imshow(myword) plt.axis("off") plt.show() wc.to_file('py_book.png') # 把词云保存下if __name__ == '__main__': create_word_cloud('word_py')
另外:回复关键词：京东图书评价，获取京东图书评论内容，看看一本图书是否值得购买。
推荐阅读：
作者：坦桑尼亚奥杜威峡谷能人
来源链接：https://blog.csdn.net/l1159015838/article/details/81300813
版权声明：
1、JavaClub（https://www.javaclub.cn）以学习交流为目的，由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容，包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网，本站不享有版权，版权归原作者所有。
2、本站提供的内容仅用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站（javaclubcn@163.com），我们将第一时间核实后及时予以删除。
