当前位置：网站首页 > 技术文章 > 正文

Linux系统Python编程实践(四)——python3爬取数据

itomcoil 2025-01-03 16:31 28 浏览

摘要：Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的使用，包含怎么利用Python3爬取网站数据，怎么与Mysql数据库连接，并将爬取古来的数据库保存打数据库中等内容。详细情况请参考下文。

一、登录系统

1、登陆linux系统

2、查看默认的Python

二、Mysql数据库创建数据表

1、登陆数据库

2、创建数据表

执行指令创建数据表iciba_daily_sentence。执行效果如下

三、Python3爬取网站数据

1、安装Python3爬取工具包

Python爬取数据使用到的模块有json，pymysql和requests模块，json是python自带的，pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块。如下图

执行pip3指令安装requests模块。如下图

2、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

备注：代码中的JSON字段解释如下：

属性名	属性值类型	说明
dateline	String	时间
caption	String	标题
content	String	英文内容
fenxiang_img	String	合成图片，分享微博用的
note	String	中文内容
picture	String	图片地址
picture2	String	大图片地址
translation	String	词霸小编
tts	String	音频地址

执行指令# python iciba.py的效果如下图

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

linux查看python版本信息

上一篇：Linux:Ubuntu22.04上安装python3.11，简单易上手
下一篇：Python 操作 SQLite

相关推荐

解锁WPS神秘函数:FACTDOUBLE，你真的会用吗?: 函数界的隐藏高手：FACTDOUBLE在WPS的函数大家庭中，FACTDOUBLE函数就像是一位低调的武林高手，虽然不像SUM（求和）、VLOOKUP（数据查找）等函数那般被频繁使用、广为人知...

24点纸牌第一期:2 5 10 10（纸牌24点游戏大全）: 24点纸牌数学游戏是一种益智游戏，一般随机抽4张牌，通过基本的加、减、乘、除四则运算，计算出结果为24。需要强调两点是：1.随机抽4张牌；2.只能用基本的加、减、乘、除四则运算，不能用高阶算法比如开根...

纯纯的干货知识，十二生肖的雅号，你知道多少呢: 今天给大家分享古人对于十二生肖的雅号的理解，学着这些知识，不仅仅能够提高品味还能让自己的知识库提升一个阶乘，何尝不是一件美妙的事情呢，感兴趣的点个赞哦。1.子鼠：社君，是老鼠在古代的尊称，因为古人认为...

常见的10种算法（常见的10种算法有哪些）: 常见的10种算法数据结构研究的内容：就是如何按一定的逻辑结构，把数据组织起来，并选择适当的存储表示方法把逻辑结构组织好的数据存储到计算机的存储器里。算法研究的目的是为了更有效的处理数据，提高数据运算效...

24点趣味多，4张最多凑法(超20)的牌(1，2，3，4): 1、2、3、4凑24点的趣味性：数学游戏的“黄金组合”这四张看似普通的数字牌，却被称为24点游戏的“魔法牌组”——解法多样、规则灵活，甚至能让人感受到数学的创造力和游戏化的惊喜。以下是它的独特趣味所...

语言EI会议!速投指南（ei会议中文）: 【推荐会议】会议名称：IEEEInternationalConferenceonNaturalLanguageProcessingandKnowledgeEngineering(N...

### **零代码入门:如何用AutoML快速构建测试模型**: ---**——基于GoogleAutoML与TeachableMachine的实战指南**---####**引言：AutoML如何赋能黑盒测试？**作为黑盒测试工程师，我们的核心任务是验证软件功...

电子通信类EI新人友好刊!（电子通信学报）: 期刊推荐电子通信领域新人友好期刊：《IEEECommunicationsLetters》-刊号：ISSN1089-7798|CN（国内无独立刊号）-影响因子：最新影响因子为3.5（JCR...

「数字化」机器学习可轻松处理繁琐的压裂数据: 机器学习技术可准确高效地识别出压裂曲线中的数据节点，帮助工程师们处理繁琐的压裂数据。编译丨TOM影子在水力压裂作业期间，每隔一秒就会记录泵送数据，并将之传输到现场，以csv格式保存。原始泵送数据中包...

基于计算机视觉的棋盘图像识别（基于计算机视觉的棋盘图像识别工具）: 本期我们将一起学习如何使用计算机视觉技术识别棋子及其在棋盘上的位置我们利用计算机视觉技术和卷积神经网络（CNN）为这个项目创建分类算法，并确定棋子在棋盘上的位置。最终的应用程序会保存整个图像并可视化的...

如何利用DeepSeek高效完成论文写作:从选题到答辩全流程指南-下: 5.数据分析与结果解释在实验部分，你需要分析数据并解释结果。你可以向DeepSeek提问：提问示例“如何分析实验数据并解释结果？”DeepSeek的回答“你可以使用准确率、召回率和F1分数等指标评估...

遥感领域!EI会议审稿周期实测!（2020年遥感国际会议）: 推荐高质量遥感EI会议：ICRSE2025会议名称：国际遥感与环境大会会议编号：#12789截稿时间：2025年3月20日召开时间/地点：2025年6月15-17日·新加坡国立大学论...

遥感EI会议·选刊密码!（遥感学术）: 【优质遥感EI会议推荐】会议名称：InternationalConferenceonRemoteSensingandGeoinformatics(ICRSG)会议编号：Conferenc...

使用BERT进行中文情感分析教程（bert 教程）: 以下是使用BERT进行中文情感分析的步骤详解和示例代码：1.环境准备安装所需库：bashpipinstalltransformerstorchpandassklearn2.数据准备准备C...

遥感测绘方向:EI会议避坑清单!（测绘遥感信息）: 推荐高性价比EI会议国际遥感技术与应用研讨会（ICRTA2025）会议号：#12345截稿日期：2025年4月30日召开时间：2025年8月15-17日举办地点：新加坡论文集出版：Spr...

一周热门

最近发表

首页
收录
顶部