当前位置：网站首页 > 技术文章 > 正文

Linux系统Python编程实践(四)——python3爬取数据

itomcoil 2025-01-03 16:31 66 浏览

摘要：Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用，包含怎么利用Python3爬取网站数据，怎么与Mysql数据库连接，并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json，pymysql和requests模块，json是python自带的，pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注：代码中的JSON字段解释如下：

属性名	属性值类型	说明
dateline	String	时间
caption	String	标题
content	String	英文内容
fenxiang_img	String	合成图片，分享微博用的
note	String	中文内容
picture	String	图片地址
picture2	String	大图片地址
translation	String	词霸小编
tts	String	音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

linux查看python版本信息

上一篇：Linux:Ubuntu22.04上安装python3.11，简单易上手
下一篇：Python 操作 SQLite

相关推荐

MySQL修改密码_mysql怎么改密码忘了怎么办: 拥有原来的用户名账户的密码mysqladmin-uroot-ppassword"test123"Enterpassword:【输入原来的密码】忘记原来root密码第一...

数据库密码配置项都不加密?心也太大了吧!: 先看一份典型的配置文件...省略...##配置MySQL数据库连接spring.datasource.driver-class-name=com.mysql.jdbc.Driverspr...

Linux基础知识_linux基础入门知识: 系统目录结构/bin：命令和应用程序。/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/dev：dev是Device(设备)的缩写,该目录...

MySQL密码重置_mysql密码重置教程: 之前由于修改MySQL加密模式为mysql_native_password时操作失误，导致无法登陆MySQL数据库，后来摸索了一下，对MySQL数据库密码进行重置后顺利解决，步骤如下：1.先停止MyS...

Mysql8忘记密码/重置密码_mysql密码忘了怎么办?: Mysql8忘记密码/重置密码UBUNTU下Mysql8忘记密码/重置密码步骤如下：先说下大概步骤：修改配置文件，使得用空密码可以进入mysql。然后置当前root用户为空密码。再次修改配置文件，不能...

MySQL忘记密码怎么办?Windows环境下MySQL密码重置图文教程: 有不少小白在使用Windows进行搭建主机的时候，安装了一些环境后，其中有MySQL设置后，然后不少马大哈忘记了MySQL的密码，导致在一些程序安装及配置的时候无法进行。这个时候怎么办呢？重置密码呗？...

10种常见的MySQL错误，你可中招?_mysql常见错误提示及解决方法: 【51CTO.com快译】如果未能对MySQL8进行恰当的配置，您非但可能遇到无法顺利访问、或调用MySQL的窘境，而且还可能给真实的应用生产环境带来巨大的影响。本文列举了十种MySQL...

Mysql解压版安装过程_mysql解压版安装步骤: Mysql是目前软件开发中使用最多的关系型数据库，具体安装步骤如下：第一步：Mysql官网下载最新版（mysql解压版（mysql-5.7.17-winx64）），Mysql官方下载地址为：https...

MySQL Root密码重置指南:Windows新手友好教程: 如果你忘记了MySQLroot密码，请按照以下简单步骤进行重置。你需要准备的工具：已安装的MySQL以管理员身份访问命令提示符一点复制粘贴的能力分步操作指南1.创建密码重置文件以管理员...

安卓手机基于python3搜索引擎_python调用安卓so库: 环境：安卓手机手机品牌：vivox9s4G运行内存手机软件:utermux环境安装:1.java环境的安装2.redis环境的安装aptinstallredis3.elasticsearch环...

Python 包管理 3 - poetry_python community包: Poetry是一款现代化的Python依赖管理和打包工具。它通过一个pyproject.toml文件来统一管理你的项目依赖、配置和元数据，并用一个poetry.lock文件来锁定所有依赖的精...

Python web在线服务生产环境真实部署方案，可直接用: 各位志同道合的朋友大家好，我是一个一直在一线互联网踩坑十余年的编码爱好者，现在将我们的各种经验以及架构实战分享出来，如果大家喜欢，就关注我，一起将技术学深学透，我会每一篇分享结束都会预告下一专题最近经...

官方玩梗:Python 3.14(πthon)稳定版发布，正式支持自由线程: IT之家10月7日消息，当地时间10月7日，Python软件基金会宣布Python3.14.0正式发布，也就是用户期待已久的圆周率（约3.14）版本，再加上谐音梗可戏称为π...

第一篇:如何使用 uv 创建 Python 虚拟环境: 想象一下，你有一个使用Python3.10的后端应用程序，系统全局安装了a2.1、b2.2和c2.3这些包。一切运行正常，直到你开始一个新项目，它也使用Python3.10，但需要...

我用 Python 写了个自动整理下载目录的工具: 经常用电脑的一定会遇到这种情况：每天我们都在从浏览器、微信、钉钉里下各种文件，什么截图、合同、安装包、临时文档，全都堆在下载文件夹里。起初还想着“过两天再整理”，结果一放就是好几年。结果某天想找一个发...

一周热门

最近发表

首页
收录
顶部