Python-爬虫元尊小说

说在前面

早就听闻Python强大的爬虫功能,于是就想学习一波,有了上次在并夕夕成功的购买经历,于是我就又买了一本《Python3网络爬虫开发实践》。emmmm结果并不怎么样,写的并不是通俗易懂,全部都是专有名词,只能去求助连央视都夸的知名学习网站bilibili,成功入门!

bilibili网页链接: python新手强烈推荐教程:爬虫入门

下面记录一下这次学习过程:

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import requests #requests库是用来获取html的库
import re #使用到正则表达式和删除不必要元素的库
url='http://www.ishisetianxia.com/chaojishenxiang/' #元尊小说地址
output=open('YuanZun.out','w',1,'utf-8') #元尊小说保存地址
response=requests.get(url) #获取网站的所有反馈
response.encoding='utf-8' #使用'utf-8'编码格式
html=response.text #.text可以返回网站反馈里面的网站html代码
datas=re.findall(r'<dd><a href="(.*?)" target="_blank">(.*?)</a></dd>',html,re.S)
#使用正则表达式获取每一章的网址和章节名,并用元组保存到datas里面
for one in datas: #遍历每一个章节
new_url="http://www.ishisetianxia.com%s" %one[0] #拼接成完整的章节网址
new_response=requests.get(new_url) #获取单个章节的url地址
new_response.encoding='utf-8' #使用'utf-8'编码格式
new_html=new_response.text #获取本章节的html源码
new_datas=re.findall(r'<div id="BookText">(.*?)<script type=
"text/javascript" src="/tb.js"></script>',new_html,re.S)[0]
#使用正则表达式获取小说内容
new_datas=new_datas.replace(' ','')
new_datas=new_datas.replace("['",'')
new_datas=new_datas.replace("']",'')
new_datas=new_datas.replace("<p>",'')
new_datas=new_datas.replace("</p>",'')
new_datas=new_datas.replace("&nbsp;",'')
new_datas=new_datas.replace("<!--nextpage-->",'')
new_datas=new_datas.replace("本章完看《元尊》,就在www.ishisetianxia.com",'')
#使用replace删除小说中多余字符
output.write(str(one[1]))
output.write(str(new_datas))
#文件输出章节名和小说内容
  • 大概就是这样,其实爬虫复杂的很,还需要慢慢的学习才行,总之加油吧!