Python爬取糗事百科源代码1.0

糗事百科爬虫源代码1.0

'''
#=============================================================================
#     FileName: qiushibaike.py
#         Desc: 
#       Author: modys
#        Email: http://www.modys.top
#     HomePage: http://www.modys.top
#      Version: 1.0
#   LastChange: 2020-08-23 19:11:02
#      History:
#=============================================================================
'''
# 爬去糗事百科段子
from urllib import request
import re

headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0')
opener = request.build_opener()
opener.addheaders = [headers]
# 安装全局
request.install_opener(opener)
fh = open('C:\\Users\\Administrator\\Desktop\\qiushibaike.txt', 'w', encoding='utf-8')
# 爬去前5页
for i in range(0, 5):
    url = 'https://www.qiushibaike.com/text/page/' + str(1+i)
    req = request.urlopen(url).read().decode('utf-8', 'ignore')
    print(len(req))
    print(url)
    pat = '<div class="content">.*?<span>(.*?)</span>.*?</a>'
    rst = re.compile(pat, re.S).findall(req)
    for i in range(0, len(rst)):
        # print(rst[i].strip())
        # print(rst[i].strip() + "\n", end="---------\n")
        fh.write(str(rst[i].strip()) + "\n-----------\n")

        
fh.close()

python正则表达式使用方法

表示字符

字符功能
. 匹配任意1个字符(除了 \n)
[ ] 匹配[ ]中列举的字符
\d 匹配数字,即0-9
\D 匹配非数字,即不是数字
\s 匹配空白,即 空格,tab键
\S 匹配非空白
\w 匹配单词字符,即a-z、A-Z、0-9、_
\W 匹配非单词字符

表示数量

字符功能
*匹配前一个字符出现0次或者无限次,即可有可无
+匹配前一个字符出现1次或者无限次,即至少有1次
?匹配前一个字符出现1次或者0次,即要么有1次,要么没有
{m}匹配前一个字符出现m次
{m,}匹配前一个字符至少出现m次
{m,n}匹配前一个字符出现从m到n次

表示边界

字符 功能
^ 匹配字符串开头
$ 匹配字符串结尾
\b 匹配一个单词的边界
\B 匹配非单词边界

匹配分组

字符 功能
| 匹配左右任意一个表达式
(ab) 将括号中字符作为一个分组
\num 引用分组num匹配到的字符串
(?P) 分组起别名
(?P=name) 引用别名为name分组匹配到的字符串

贪婪和非贪婪

在"*","?","+","{m,n}"后面加上?,使贪婪变成非贪婪。

工作3年的时候,有没有想辞职

有没有和我一样,在一个地方工作超过3年就不想呆了。
这份工作是在17年的7月份入职,刚开始的职位算是集团,工作还是很轻松,对于我这4线城市,工资还算可以。
到18年初,要组织一个部门,把我调过去,辅助行政一类的工作,倒霉从此开始,由于招了一批年轻人,当时玩王者荣耀很上头,刚开始只是中午玩,时间一长,都开始感觉自己很牛逼,上班的时候也开始玩,被其他部门反映,领导直接全部开除,我也被牵连,剩下我一个人一个办公室。
到了8月份左右,我被调到其他部门,还是原来的工作,工资给降了,到19年8月份我熬到经理,工资算是又回来了,虽然升职,工作稍微多点,也就那样,还算是不用很加班;到20年1月份,总监换了,我的噩梦算是开始,不仅每天加班,就连我的公休也休不完,我的心情可想而知;工作好了没事,要是哪里做不好,就开始挨怼。
作文不及格,也懒得打字,就这……