应用背景

我们爬取数据的目的肯定不是单纯地为爬而爬，终极目标还是需要把这些数据用起来。毋庸置疑，数据被应用的大前提就是先要按需求被保存。如何保存呢？

保存成本地文件？没问题，当然可以，对于不熟悉数据库的用户来说这是一个非常好的方案。但是对于大数据环境下的数据应用而言，就不能不利用数据库了。

数据库的好，谁用谁知道！那么，如何把爬取到的数据存入到数据库呢？以下enjoy~~~

python数据库基础

本文以单机版的mysql为例，其他的数据库本质相同，有兴趣的同学可以自行百度呦（读者：讨厌，又是自己百度，难道就不能一次说全么！笔者：额，还是自己百度吧，数据分析的基本技能之一就是多动手~~~）。

1 MySQL安装和配置

教程可参阅：https://www.cnblogs.com/laumians-notes/p/9069498.html ，需要注意的是cmd需要以管理员身份运行，避免出现命令被拒绝执行的问题。

2 MySQL连接工具SQLyog安装

本文使用是SQLyog，之所以选择这个，是因为可以导出表结构，具体的信息可以自己百度下。不过鄙人在安装时，遇到报错信息：plugin caching_sha2_password could not be loaded，这个问题的处理可参阅:https://blog.csdn.net/qq_54202620/article/details/122729704 。

3 Python连接MySQL

本文使用的是pymysql库，在Jupyter中可以通过下面的方式安装，命令行工具直接pip即可。

!pip install pymysql  # Jupyter中安装使用!pip install xxx

安装完毕后，就可以导入使用，代码示例如下所示。

import pymysql  # 导入工具包

# 通过pymysql.connect()函数连接数据库
db = pymysql.connect(host='localhost',   # MySQL服务器地址
                     port=3306,   # 数据库的端口
                     user='root',  # 数据库的用户名
                     password='123456',   # 数据库的密码
                     database='python_data',   # 数据库名称
                     charset='gb2312')  # 编码方式
cur = db.cursor()  # 模拟执行SQL语句的固定写法，只有引入会话指针后才能接着调用SQL语句
sql = 'INSERT INTO shlpractice1(company, title, href, source, date) VALUES (%s, %s, %s, %s, %s)'
# %s称为占位符，有几个元素就写几个%s。每一个%s代表一个字符串，之后可以传入相应的具体内容 
cur.execute(sql, (company, title[i], href[i], source[i], date[i]))  # 执行SQL语句并传入相应的内容
db.commit()  # 更新数据表的固定写法
# 最后需要关闭之前引入的会话指针cur和数据库连接
cur.close()
db.close()    

完整代码

'''
## =========================================
## Title:  3.2 用Python存储数据到数据库
## Author: 职教之光
## Date:   2022-04-29
## ==========================================
'''

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import os

os.chdir('D:/3.DA/Finance Bigdata mining and analysis with Python')  # 变更工作目录
print('项目工作目录为：\n%s'% os.getcwd())  # 获取当前工作目录
print(66 * '-')  #  分割线

import requests
import re
import pymysql
import time

# UA代表访问网站的浏览器是哪种浏览器，可以通过在地址栏中输入“about:version”获取
# “\”是行连接符,
headers = {'User-Agent':
          'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
           AppleWebkit/537.36 (KHTML, like Gecko) \
           Chrome/100.0.4896.127 Safari/537.36'}  

def baiduinfo(company, page):
    num = (page - 1) * 10  # 参数规律是（页数-1）*10
    url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company + '&pn=' + str(num)
    web = requests.get(url, headers=headers, timeout=10).text  # 设置超时为10s，避免程序挂死
    # print(url)

    page_href = '<h3 class="news-title.*?<a href="(.*?)"'
    href  = re.findall(page_href, web, re.S)  # re.S作用是在使用findall()查找时，可以自动考虑到换行的影响，使得．*？可以匹配换行
    
    page_title = '<h3 class="news-title.*?aria-label="(.*?)"'
    title = re.findall(page_title, web, re.S)
    
    page_date = '<span class="c-color.*?aria-label="发布于：(.*?)"'
    date = re.findall(page_date, web, re.S)
    
    page_source = '<span class="c-color-gray" aria-label="新闻来源：(.*?)"'
    source = re.findall(page_source, web, re.S)   
    
    for i in range(len(title)):  # range(len(title)),这里因为知道len(title) = 10，所以也可以写成for i in range(10)
        title[i] = title[i].strip()  # strip()函数用来取消字符串两端的换行或者空格，不过这里好像不太需要了
        title[i] = re.sub('<.*?>', '', title[i])  # 核心，用re.sub()函数来替换不重要的内容
        print(str(i + 1) + '.' + title[i] + '(' + date[i] + '-' + source[i] + ')')
        print(href[i])
    
    # 将数据存入数据库
    for i in range(len(title)):
        db = pymysql.connect(host='localhost', 
                             port=3306, 
                             user='root', 
                             password='123456', 
                             database='python_data', 
                             charset='gb2312')
        cur = db.cursor()  
        sql = 'INSERT INTO shlpractice1(company, title, href, source, date) VALUES (%s, %s, %s, %s, %s)'
        cur.execute(sql, (company, title[i], href[i], source[i], date[i]))
        db.commit()
        cur.close()
        db.close()    
        
companys = ['北京科锐', '新世界']

# 为了防止程序因为偶然的异常而终止运行，使用try/except异常处理语句
for company in companys:
    for i in range(5):
        try:
            baiduinfo(company, i+1)  # i是从0开始的序号，所以要写成i+1表示第几页
            print(company + '第' + str(i+1) + '页爬取成功！')
        except:
            print(company + '百度新闻爬取失败！')

这一坨代码执行成功的结果打印如下，数据库中的记录见上面SQLyog的示意图。

一起动手练

下面又到了动动手环节，小伙伴们，一起敲起来呦~~~

欢迎交流与探讨！