Python爬虫笔记

Requests模块

  • urllib模块
  • requests模块
    • requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用：模拟浏览器发请求。
    • requests模块的编码流程：
      • 指定URL
        • UA伪装
        • 请求参数的处理
      • 发起请求
      • 获取响应数据
      • 持久化存储
    • requests模块的环境安装：
      • pip install requests

聚焦爬虫

爬取页面中指定的页面内容

  • 编码流程：
    • 指定URL
    • 发起请求
    • 获取响应数据
    • 数据解析
    • 持久化存储

数据解析

  • 数据解析分类
    • 正则表达式解析
    • bs4
    • xpath
  • 数据解析原理概述
    • 解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储
    • 进行指定标签的定位
    • 标签或者标签对应的属性中存储的数据值进行提取（解析）
  • 正则表达式解析
    • 糗图百科网站中选取某一图片，发现class为thumb的是图片，选取其中一段源代码如下：
<div class="thumb">
<a href="/article/121721100" target="_blank">
<img src="//pic.qiushibaike.com/system/pictures/12172/121721100/medium/DNXDX9TZ8SDU6OK2.jpg" alt="指引我有前进的方向">
</a>
</div>

使用正则表达式聚焦爬取糗图百科中的图片：

ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'

爬虫源代码

# -*- coding:utf-8 -*- #
import requests
import re
import os
if __name__ == "__main__":

    # 创建文件夹
    if not os.path.exists('./qiutuLibs'):
        os.mkdir('./qiutuLibs')

    # 选取指定的url
    url = 'https://www.qiushibaike.com/imgrank/page/%d/'

    # 进行UA伪装
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}

    # 获取热图标签下 所有页码内的图片 （实际观察有13个页码）
    for page_num in range(1,14):

        # 对应页码的url 
        new_url = format(url%page_num)
        page_text = requests.get(url=new_url, headers=headers).text

        # 使用聚焦爬虫，将页面中所有的糗图进行解析/提取
        ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
        img_src_list = re.findall(ex, page_text, re.S)
        for src in img_src_list:

            # 拼接出一个完整的图片url
            src = 'https:' + src

            # 请求到了图片的二进制数据
            img_data = requests.get(url=src,headers=headers).content

            # 生成图片名称
            img_name = src.split('/')[-1]

            # 指定图片路径
            img_path = './qiutuLibs/' + img_name
            with open(img_path,'wb') as fp:
                fp.write(img_data)
                print(img_name,'下载成功！！！')

bs4进行数据解析

  • 数据解析的原理：
    • 标签定位
    • 提取标签、标签属性中存储的数据值
  • bs4数据解析的原理：
    • 实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
    • 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
  • bs4环境安装：
    • pip install bs
    • pip install lxml
  • 如何实例化BeautifulSoup对象：
    • from bs4 import BeautifulSoup
    • 对象的实例化：
      1. 将本地的html文档中的数据加载到该对象中
        • fp = open('./test.html','r',encoding='utf-8')
        • soup = BeautifulSoup(fp,'lxml')
      2. 将互联网上获取的页面源码加载到该对象中
        • page_text = response.text
        • soup = BeatifulSoup(page_text,'lxml')
    • 提供的用于数据解析的方法和属性：
      • soup.tagName：返回的是文档中第一次出现的tagName对应的标签
      • soup.find()：
        • find(tagName)：等同于soup.div
        • 属性定位：
          • soup.find('div',class_/id/attr='song')
      • soup.find_all('tagName')：返回符合要求的所有标签（列表）
    • select：
      • select(‘某种选择器(id,class,标签…选择器)’)，返回的是一个列表。
      • 层级选择器：
        • soup.select('tang > ul > li > a')：表示的是一个层级
        • soup.select('.tang > ul a')：空格表示的多个层级
    • 获取标签之间的文本数据：
      • soup.a.text/string/get_text()
      • text/get_text()：可以获取某一个标签中所有的文本内容
      • string：只可以获取该标签下面直系的文本内容
    • 获取标签中属性值：
      • soup.a['href']

xpath解析

最常用且最便捷高效的一种解析方式，具有通用性。

  • xpath解析原理：
    • 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
    • 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。
  • 环境的安装：
    • pip install lxml
  • 如何实例化一个etree对象：from lxml import etree
    • 将本地的html文档中的源码数据加载到etree对象中：
      • etree.parse(filePath)
    • 可以将从互联网上获取的源码数据加载到该对象中
      • etree.HTML('page_text')
      • xpath('xpath表达式')
  • xpath表达式:
    • /：表示的是从根节点开始定位。表示的是一个层级。
    • //：表示的是多个层级。可以表示从任意位置开始定位。
    • 属性定位：//div[@class='song']  tag[@attrName="attrValue"]
    • 索引定位：//div[@class="song"]/p[3] 索引是从1开始的。
    • 取文本：
      • /text()：获取的是标签中直系的文本内容
      • //text()：标签中非直系的文本内容（所有的文本内容）
    • 取属性：
      • /@attrName ==> img/src

标签: