python爬虫09 | 上来，自己动!这就是 selenium 的牛逼之处
itomcoil 2025-09-01 04:13 3 浏览
作为一个男人
在最高光的时刻
就是说出那句
之后
还不会被人打
...
虽然在现实生活中你无法这样
但是在这里
就让你体验一番
那种呼风唤雨的感觉
我们之前在爬取某些网站的时候
使用到了一些 python 的请求库
模拟浏览器的请求
我们需要抓包啥的
能不能不这样
可不可以就写几行代码
让它自己去打开浏览器
自己去请求我们要爬取的网站
自己去模拟我们的一些搜索
等等
反正就是
老子躺着，让它自己动
躺好
让 selenium 满足你的要求
怎么玩呢？
那么接下里就是
学习 python 的正确姿势
什么是 selenium ？
其实它就是一个自动化测试工具，支持各种主流的浏览器
直到遇到了 python
转身一变
selenium 变成了爬虫利器
我们先来安装一下
pip install selenium接着我们还要下载浏览器驱动
小帅b用的是 Chrome 浏览器
所以下载的是 Chrome 驱动
当然你用别的浏览器也阔以
去相应的地方下载就行了
Chrome:https://sites.google.com/a/chromium.org/chromedriver/downloadsEdge:https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/Firefox:https://github.com/mozilla/geckodriver/releasesSafari:https://webkit.org/blog/6900/webdriver-support-in-safari-10/
下载完之后
要配置一下环境变量
接着打开 pycharm
撸点代码
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
input = driver.find_element_by_css_selector('#kw')
input.send_keys("苍老师照片")
button = driver.find_element_by_css_selector('#su')
button.click()运行一下
可以看到
它自己打开了 Chrome 浏览器
访问了百度
搜索了苍老师的照片
这就是 selenium 的魅力
我们来看下我们刚刚写的代码
我们导入了 web 驱动模块
from selenium import webdriver接着我们创建了一个 Chrome 驱动
driver = webdriver.Chrome()有了实例之后
相当于我们有了 Chrome 浏览器了
接着使用 get 方法打开百度
driver.get("https://www.baidu.com")打开百度之后
我们获取到输入框
至于怎么获取
等等会讲
获取到输入框之后我们就往里面写入我们要搜索的内容
input = driver.find_element_by_css_selector('#kw')
input.send_keys("苍老师照片")输入完了之后呢
我们就获取到搜索这个按钮
然后点击
button = driver.find_element_by_css_selector('#su')
button.click()就这样完成了一次自动的百度搜索
当我们使用驱动打开了一个页面
这时候其实没什么鸟用
因为我们要对那些元素进行操作
就像刚刚我们要获取输入框然后输入一些内容
还有获取按钮点击什么的
selenium 提供了挺多方法给我们获取的
当我们要在页面中获取一个元素的时候
可以使用这些方法
- find_element_by_id
- find_element_by_name
- find_element_by_xpath
- find_element_by_link_text
- find_element_by_partial_link_text
- find_element_by_tag_name
- find_element_by_class_name
- find_element_by_css_selector
想要在页面获取多个元素呢
就可以这样
- find_elements_by_name
- find_elements_by_xpath
- find_elements_by_link_text
- find_elements_by_partial_link_text
- find_elements_by_tag_name
- find_elements_by_class_name
- find_elements_by_css_selector
比如我们打开了一个页面
是这样的 HTML
<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input class="login" name="continue" type="submit" value="Login" />
</form>
</body>
<html>可以通过 id 获取 form 表单
login_form = driver.find_element_by_id('loginForm')通过 name 获取相应的输入框
username = driver.find_element_by_name('username')
password = driver.find_element_by_name('password')通过 xpath 获取表单
login_form = driver.find_element_by_xpath("/html/body/form[1]")
login_form = driver.find_element_by_xpath("//form[1]")
login_form = driver.find_element_by_xpath("//form[@id='loginForm']")通过标签获取相应的输入框
input1 = driver.find_element_by_tag_name('input')通过 class 获取相应的元素
login = driver.find_element_by_class_name('login')用 Chrome 浏览器的审核元素
可以很方便获取相应的属性
直接 copy 就完事了
如果你觉得
find_element_by_xxx_xxx
太长了
那么你还可以这样
driver.find_elements(By.ID, 'xxx')By.属性和上面的是一样的
ID = "id"
XPATH = "xpath"
LINK_TEXT = "link text"
PARTIAL_LINK_TEXT = "partial link text"
NAME = "name"
TAG_NAME = "tag name"
CLASS_NAME = "class name"
CSS_SELECTOR = "css selector"当然
我们玩的是爬虫
要的就是源代码
我们已经知道
通过
driver = webdriver.Chrome()可以拿到浏览器对象
那么要获取源代码还不简单么？
获取请求链接
driver.current_url获取 cookies
driver.get_cookies()
获取源代码
driver.page_source获取文本的值
input.textok
以上就是 selenium 的常用方法
想要了解更多相关 selenium 的可以到官方文档查看
https://selenium-python.readthedocs.io/
下一次
小帅b将带你使用它来爬取网站
本篇完
再见
近期文章
python爬虫08 | 第二个爬虫，爬取豆瓣最受欢迎的250部电影慢慢看
python爬虫07 | 有了BeautifulSoup，妈妈不担心我的正则表达式
关注我呀！！！
学习 Python 没烦恼
坚持原创
给小帅b来个赞！！！
相关推荐
- 「满满干货」让你的Win10变得更好用的3款小软件
-
大家好我是非凡资源-李李，休息两天这又来给大家带来几款好用的电脑软件，电脑小白也好还是老手都能用的到的。开始吧快来看看吧。一.XMediaRecode软件介绍XMediaRecode是一款免费的视...
- AI指导:打造第一个Python应用(4)_第一个python例子
-
眼瞅着迈过几个里程碑，与目标越来越近。尽管过程中照旧因返工而心焦，而欣喜与急躁比例，是喜悦运大于焦虑。从初次熟悉智能大模型，尝试编程起步，不定期进行复盘反思，这是小助手指导编程的第四篇。复盘以为记。需...
- AI超助:打造第一个Python应用(III)
-
这是小助手指导编程的第三篇。第一篇AI辅助编程，依照步骤；学习编程同时开展编程乐趣与挑战。第一篇围绕如何熟悉智能大模型，尝试起步，能否坚持下来，其实心中没底。以文稿方式披露，也就是一种自我监督。第二篇...
- LPL比赛数据可视化，完成这个项目，用尽了我的所有Python知识
-
LPL比赛数据可视化效果图完成这个项目，我感觉我已经被掏空了，我几乎用尽了我会的所有知识html+css+javascript+jQuery+python+requests+numpy+mysql+p...
- AI,Gpt4.0教你编程，实现清理文件工具
-
它不需要任何编程基础，也不需要懂计算机知识，只要你对编程感兴趣，希望通过自己编写一些简单的程序来处理重复性的工作任务，就可以学。今天这个任务是，实现清理文件工具，能实批量处理文件，批量重命名文件、自动...
- 收藏 | 20个Pycharm最实用最高效的快捷键(动态展示)
-
大家好，我是【Python当打之年】本期为大家带来20个Pycharm非常实用的快捷键，希望对你有所帮助。01、Ctrl+/快速注释，如果已经是注释语句，执行后为取消注释，也可以选中代码块（多行...
- Python文件、文件夹删除之os、shutil
-
20221219星期一:方式一：shutil.rmtree(path)，暴力删除，直接删除文件夹，不管是否为空方式二：os.remove(),os.rmdir()，保留最外层文件夹方式三：os.rem...
- 第四课:Python运算符大全与pycharm常用快捷键合集
-
pycharm中常用的快捷键1.Ctrl+c复制2.Ctrl+v粘贴3.Ctrl+d直接将本行复制粘贴至下一行4.Ctrl+/(?)注释（被注释的代码将无法被运行，跟被删掉差不多，但代码依然保...
- HTTPS性能困局:TLS 1.3是加速器还是绊脚石?
-
一、21%加载延迟背后的真相2024年某第三方测试数据显示，部分移动端设备在启用TLS1.3后页面加载时间增加21%，这一结论引发业界对HTTPS性能的重新审视。但深入分析发现，该数据源于特定场景：...
- 爬虫中的那些反爬虫措施以及解决方法
-
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理1、UserAgentUserAgent的设置能使服务器能够识别客户使用的操作系统及版本、CPU...
- Web性能的计算方式与优化方案(二)
-
通过前面《Web性能的计算方式与优化方案（一）》几个小节的学习，我们了解到如果我们想最终在浏览器显示我们所期望的页面和交互效果，那我们首先需要的是我们应用代码、资源、脚本一切准备好，才后续页面的渲染和...
- APP测试过程中Proxifier代理方法_app检测代理,如果突破
-
0x01Proxifier代理介绍1.1**首先介绍下Proxifier：**Proxifier是一款功能非常强大的代理客户端，支持WindowsXP/Vista/Win7/Win10和M...
- python爬虫09 | 上来，自己动!这就是 selenium 的牛逼之处
-
作为一个男人在最高光的时刻就是说出那句之后还不会被人打...虽然在现实生活中你无法这样但是在这里就让你体验一番那种呼风唤雨的感觉我们之前在爬取某些网站的时候使用到了一些python的请求库模拟浏览...
- 用ChatGPT高效学习:7天入门Python网络爬虫
-
用ChatGPT高效学习：7天入门Python网络爬虫以前不懂编程，但经常要从互联网上批量下载一些文件图片视频、收集整理数据等，手工操作耗时耗力。用ChatGPT入门了Python编程后，就寻思着可以...
- 一文看懂WebRTC建连过程_webrtc断线重连
-
WebRTC（WebReal-TimeCommunications）是Google公司开源的一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to...
- 一周热门
- 最近发表
- 标签列表
-
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)
- shutil.copy() (33)