百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

(译)让 python 代码一键转为 wasm

itomcoil 2024-12-31 12:24 26 浏览

自五年前开始创建Wasmer以来,我们一直致力于通过WebAssembly使更多的语言能够针对Web及其超越Web的应用。

其中最受欢迎的语言之一就是Python,并且虽然确实可以在WebAssembly中运行Python程序,但就性能而言,它并不理想。

以下是基准测试

今天,我们非常高兴地宣布推出py2wasm:这是一款将你的Python程序转化为WebAssembly的编译器(感谢Nuitka!),避免了解释器的开销,使其运行速度比基础解释器快3倍!

下面是你如何使用它的方式:

$ pip install py2wasm
$ py2wasm myprogram.py -o myprogram.wasm
$ wasmer run myprogram.wasm

注意: py2wasm需要在Python 3.11环境中运行. 你可以使用pyenv在你的系统中轻松设置Python 3.11:

pyenv install 3.11 && pyenv global 3.11.

基准测试

让我们尝试运行著名的pystone.py基准测试,来比较本机Python,常规WebAssembly和py2wasm。

注意:你可以在以下链接检查用于基准测试的代码:https://gist.github.com/syrusakbary/b318c97aaa8de6e8040fdd5d3995cb7c

Python深度分析运行可能的策略来优化WebAssembly中的Python工作负载。

如何加速Python在WebAssembly中的运行速度
有许多方法可以优化运行时速度:

  • 使用可以编译成性能代码的Python子集
  • 在Python内使用JIT
  • 使用静态分析来优化生成的代码

将Python子集编译为Wasm

我们可能只想目标定向Python的子集,而不是支持Python的全部功能。这是因为并不需要支持所有的功能,并且我们可以承受一些捷径:

? 可以生成非常高效的代码
? 不支持全部的语法或模块
使用这种策略的最常见选择是:CPython,RPython(PyPy)和Codon。

CPython: 可以创造性能高效的模块,正常运行你的Python代码库。然而,我们希望允许从我们的程序创建完全独立的WebAssembly二进制文件,所以很遗憾Cython对于加速Wasm中的Python可执行文件是行不通的。

RPython: RPython将类型代码转化为C,然后使用正常的C编译器进行编译。对于RPython中的Python程序能够运行的程度,限制是非常严格的,比如字典需要被完全类型化,这严重限制了我们可以使用它的程序。

Codon: Codon将Python代码的一个子集转化为LLVM IR。Codon是最有前途也是提供最多提速(从10到100倍)的备选方案。然而,他们支持的Python子集还有许多缺失的特性,这阻止了在大部分Python代码中使用它。

Python JIT

另一种策略是在Python中使用JIT,这样当执行复杂计算时,热路径就会被编译为WebAssembly。

? 运行速度过快
? 需要预热
? 不容易支持Webassembly(但是可能)
最常见(如果不是最常见的)的方法就是PyPy。

PyPy是一种Python解释器,它可以比标准的CPython解释器以更快的速度执行你的Python程序。一旦涉及到复杂的计算,他会通过JIT (即时编译器) 把执行速度变得超快。运行一个JIT在WebAssembly是不容易的,但可能.

大约五年前,pypyjs.org项目通过创建一个新的针对Javascript/Asm.js(而不是x86_64或arm64/aarch64)的PyPy后端来显示这种可能性。

对于我们的案例,我们需要从输出Javascript代码便到Webassembly。

实现一个PyPy的Wasm后端是完全可能的,就像Pypy.js所证明的那样,但不幸的是,这并不是一件轻而易举的事情(这可能需要几周到一个月的工作时间)。

静态分析

最后一种策略我们可以尝试加快Python在WebAssembly中的执行速度是:静态分析。静态分析可以让我们提前分析/自动检测程序的类型,这样代码就可以转译成更高效的特殊形(通常是通过Python到C的转译)。

? 与任何Python代码和应用程序大部分兼容
? 只能提高1.5-3倍的速度
? 实现复杂性高(从静态分析器的角度看,有许多细微之处)
? 二进制文件较大
mypy & mypy-c: Mypy可能是最受欢迎的Python静态分析器。Mypy团队也创建了一个mypy-c,它获取了来自Mypy的所有类型信息,然后将Python代码转化为等价的C代码,性能更好。

mypy-c主要针对的是Python模块,这样可以在Python代码库旁边运行。然而,在我们的用例中,我们希望允许从我们的程序创建新的完全独立的WebAssembly二进制文件,所以不幸的是,mypy-c可能不能适用于我们的用例。

Nuitka: Nuitka通过将程序做的Python调用转化为C,使用内部的CPython API调用。它支持大多数Python程序,因为将Python代码转为对应的CPython调用。

在经过了对所有选项的深入分析后,我们意识到,通过Nuitka将Python运行在WebAssembly中可能是最快的选项。

使用Nuitka将Python编译为WebAssembly
当我们试着运行生成的Wasm文件时,发现另一个问题:由于Nuitka的翻译器是在一个64位的架构中执行的,但生成的代码是在一个32位的架构中运行的(WebAssembly),所以事情并没有按照预期地工作。

一旦我们修复了这两个问题,原型就完全工作了!万岁!

我们已经创建了一个PR尝试将更改推送到Nuitka的上游,欢迎在这里查看:https://github.com/Nuitka/Nuitka/pull/2814

?? 目前py2wasm 是使用Nuitka的一个分支,但是一旦更改被集成到上游,我们的目标是让py2wasm成为在Nuitka之上的一个独立层。

我们首先满足了自己的需求,因为我们想将Python执行速度提升到最大,这样我们可以将Python Django后端从Google Cloud移至 Wasmer Edge。

py2wasm让我们(以及许多其他国家)更接近在Edge上运行Python后端应用程序,提供了一种远优于当前Cloud Provider的经济高性能Hosting这些应用程序的替代方案。

未来路线图

在未来,我们计划将py2wasm发布为Wasmer的一个包,这样你只需要简单地执行以下命令来操作。敬请留意!

wasmer run py2wasm --dir=. -- myfile.py -o myfile.wasm
我们希望你喜欢这篇展示py2wasm的文章,我们已经迫不及待地想听到你在Hacker News和Github上的反馈了!

本文翻译自wasmer 官方的文章:https://wasmer.io/posts/py2wasm-a-python-to-wasm-compiler

感兴趣的可以读原文。

了解更多

作为一个 python 爱好者,我会经常性分享和翻译各种高质量的文章和博客,希望把好的内容带给大家,让读者可以高质量低成本的获取知识,降低走弯路的成本,这是我写技术文章的初衷,如果对我的内容感兴趣想了解更多技术知识可以关注我的技术专栏,更多有深度的内容都会更新到专栏。

相关推荐

selenium(WEB自动化工具)

定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7,8,9,10,11),MozillaF...

开发利器丨如何使用ELK设计微服务中的日志收集方案?

【摘要】微服务各个组件的相关实践会涉及到工具,本文将会介绍微服务日常开发的一些利器,这些工具帮助我们构建更加健壮的微服务系统,并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...

高并发系统设计:应对每秒数万QPS的架构策略

当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时,大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...

2025 年每个 JavaScript 开发者都应该了解的功能

大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...

JavaScript Array 对象

Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0,第二个索引值为1,以此类推。更多有...

Gemini 2.5编程全球霸榜,谷歌重回AI王座,神秘模型曝光,奥特曼迎战

刚刚,Gemini2.5Pro编程登顶,6美元性价比碾压Claude3.7Sonnet。不仅如此,谷歌还暗藏着更强的编程模型Dragontail,这次是要彻底翻盘了。谷歌,彻底打了一场漂亮的翻...

动力节点最新JavaScript教程(高级篇),深入学习JavaScript

JavaScript是一种运行在浏览器中的解释型编程语言,它的解释器被称为JavaScript引擎,是浏览器的一部分,JavaScript广泛用于浏览器客户端编程,通常JavaScript脚本是通过嵌...

一文看懂Kiro,其 Spec工作流秒杀Cursor,可移植至Claude Code

当Cursor的“即兴编程”开始拖累项目质量,AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维:需求-设计-任务三件套一次生成,文档与代码同步落地,复杂项目不...

「晚安·好梦」努力只能及格,拼命才能优秀

欢迎光临,浏览之前点击上面的音乐放松一下心情吧!喜欢的话给小编一个关注呀!Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...

JavaScript 中 some 与 every 方法的区别是什么?

大家好,很高兴又见面了,我是姜茶的编程笔记,我们一起学习前端相关领域技术,共同进步,也欢迎大家关注、点赞、收藏、转发,您的支持是我不断创作的动力在JavaScript中,Array.protot...

10个高效的Python爬虫框架,你用过几个?

小型爬虫需求,requests库+bs4库就能解决;大型爬虫数据,尤其涉及异步抓取、内容管理及后续扩展等功能时,就需要用到爬虫框架了。下面介绍了10个爬虫框架,大家可以学习使用!1.Scrapysc...

12个高效的Python爬虫框架,你用过几个?

实现爬虫技术的编程环境有很多种,Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫,为什么呢?因为Python确实很适合做爬虫,丰富的第三方库十分强大,简单几行代码便可实...

pip3 install pyspider报错问题解决

运行如下命令报错:>>>pip3installpyspider观察上面的报错问题,需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...

PySpider框架的使用

PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统,它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...

「机器学习」神经网络的激活函数、并通过python实现激活函数

神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下:左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。用数学式来表示感知机:上面这个数学式子可以被改写:...