当前位置：网站首页 > 技术文章 > 正文

Linux系统Python编程实践(四)——python3爬取数据

itomcoil 2025-01-03 16:31 36 浏览

摘要：Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用，包含怎么利用Python3爬取网站数据，怎么与Mysql数据库连接，并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json，pymysql和requests模块，json是python自带的，pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注：代码中的JSON字段解释如下：

属性名	属性值类型	说明
dateline	String	时间
caption	String	标题
content	String	英文内容
fenxiang_img	String	合成图片，分享微博用的
note	String	中文内容
picture	String	图片地址
picture2	String	大图片地址
translation	String	词霸小编
tts	String	音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

linux查看python版本信息

上一篇：Linux:Ubuntu22.04上安装python3.11，简单易上手
下一篇：Python 操作 SQLite

相关推荐

Python Qt GUI设计:将UI文件转换Python文件三种妙招(基础篇—2): 在开始本文之前提醒各位朋友，Python记得安装PyQt5库文件，Python语言功能很强，但是Python自带的GUI开发库Tkinter功能很弱，难以开发出专业的GUI。好在Python语言的开放...

Connect 2.0来了，还有Nuke和Maya新集成: ftrackConnect2.0现在可以下载了--重新设计的桌面应用程序，使用户能够将ftrackStudio与创意应用程序集成，发布资产等。这个新版本的发布中还有两个Nuke和Maya新集成，...

Magicgui:不会GUI编程也能轻松构建Python GUI应用: 什么是MagicguiMagicgui是一个Python库,它允许开发者仅凭简单的类型注解就能快速构建图形用户界面(GUI)应用程序。这个库基于Napari项目,利用了Python的强大类型系统,使得...

Python入坑系列:桌面GUI开发之Pyside6: 阅读本章之后，你可以掌握这些内容：Pyside6的SignalsandSlots、Envents的作用，如何使用？PySide6的Window、DialogsandAlerts、Widgets...

Python入坑系列-一起认识Pyside6 designer可拖拽桌面GUI: 通过本文章，你可以了解一下内容：如何安装和使用Pyside6designerdesigner有哪些的特性通过designer如何转成python代码以前以为Pyside6designer需要在下载...

pyside2的基础界面（pyside2显示图片）: 今天我们来学习pyside2的基础界面没有安装过pyside2的小伙伴可以看主页代码效果...

Python GUI开发:打包PySide2应用（python 打包pyc）: 之前的文章我们介绍了怎么使用PySide2来开发一个简单PythonGUI应用。这次我们来将上次完成的代码打包。我们使用pyinstaller。注意，pyinstaller默认会将所有安装的pack...

使用PySide2做窗体，到底是怎么个事?看这个能不能搞懂: PySide2是Qt框架的Python绑定，允许你使用Python创建功能强大的跨平台GUI应用程序。PySide2的基本使用方法：安装PySide2pipinstallPy...

pycharm中conda解释器无法配置（pycharm安装的解释器不能用）: 之前用的好好的pycharm正常配置解释器突然不能用了？可以显示有这个环境然后确认后可以conda正在配置解释器，但是进度条结束后还是不成功！！试过了pycharm重启，pycharm重装，anaco...

Conda使用指南:从基础操作到Llama-Factory大模型微调环境搭建: Conda虚拟环境在Linux下的全面使用指南：从基础操作到Llama-Factory大模型微调环境搭建在当今的AI开发与数据分析领域，conda虚拟环境已成为Linux系统下管理项目依赖的标配工具。...

Python操作系统资源管理与监控（python调用资源管理器）: 在现代计算环境中，对操作系统资源的有效管理和监控是确保应用程序性能和系统稳定性的关键。Python凭借其丰富的标准库和第三方扩展，提供了强大的工具来实现这一目标。本文将探讨Python在操作系统资源管...

本地部署开源版Manus+DeepSeek创建自己的AI智能体: 1、下载安装Anaconda，设置conda环境变量，并使用conda创建python3.12虚拟环境。2、从OpenManus仓库下载代码，并安装需要的依赖。3、使用Ollama加载本地DeepSe...

一文教会你，搭建AI模型训练与微调环境，包学会的!: 一、硬件要求显卡配置：需要Nvidia显卡，至少配备8G显存，且专用显存与共享显存之和需大于20G。二、环境搭建步骤1.设置文件存储路径非系统盘存储：建议将非安装版的环境文件均存放在非系统盘（如E盘...

使用scikit-learn为PyTorch 模型进行超参数网格搜索: scikit-learn是Python中最好的机器学习库，而PyTorch又为我们构建模型提供了方便的操作，能否将它们的优点整合起来呢？在本文中，我们将介绍如何使用scikit-learn中的网格搜...

如何Keras自动编码器给极端罕见事件分类: 全文共7940字，预计学习时长30分钟或更长本文将以一家造纸厂的生产为例，介绍如何使用自动编码器构建罕见事件分类器。现实生活中罕见事件的数据集：背景1.什么是极端罕见事件？在罕见事件问题中，数据集是...

一周热门

最近发表

首页
收录
顶部