这份工具清单,令Python 提速N倍,简直太好用了

在众多编程语言中,Python的社区生态是其中的佼佼者之一。几乎所有的技术痛点,例如优化代码提升速度,在社区内都有很多成功的解决方案。本文分享的就是一份可以令 Python 变快的工具清单,值得了解下。

这份工具清单,令Python 提速N倍,简直太好用了

 

 

一、序言

这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。

当然这些并不能代替算法设计,但是还是能让Python加速很多倍。

其实前面讲算法的文章,也有提到过。比如适用于双向队列的 deque,以及在合适的条件下运用 bisect 和 heapq 来提升算法的性能。

而且前面也提到过,Python提供了当今最高级也是最有效的排序算法(list.sort)。

另外还有一个功能多样又迅速的散列表(dict)。而且如果写迭代器封装、功能性代码或者是某种额外扩展的时候,或许 CyToolz可以用得到。当然在itertools和 functools模块 中,还有很多函数可以带来很高效的代码。

这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的Python解释器。

当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下Python wiki上的关于Parallel Processing的内容。

接下来,会说一些关于Python加速工具的选单。

二、正文

1、NumPy、SciPy、Sage和Pandas

先说,NumPy。它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。

SciPy和Sage都将NumPy内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。

Pandas是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到Pandas相关的工具,比如Blaze。

2、PyPy、Pyston、Parakeet、Psyco和Unladen Swallow

让代码运行的更快,侵入性最小的就是使用实时编译器(JIT编译)。以前的话我们可以直接安装Psyco。安装之后导入psyco,然后调用psyco.full()。代码运行速度就可以明显提升。运行Python代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。

现在好多Psyco等加速器的项目已经停止维护了,不过类似的功能在PyPy中得到了继承。

PyPy为了方便分析、优化和翻译,用Python语言将Python重新实现了一遍,这样就可以JIT编译。而且PyPy可以直接将代码翻译成像C那样的性能更高的语言。

Unladen Swallow是一个Python的JIT编译器。是Python解释器的一本版本,被称为底层虚拟机(LLVM)。不过这个开发已经停止了。

Pyston是一个与LLVM平台较为接近的Python的JIT编译器。很多时候已经优于Python的实现,但不过还有很多地方不完善。

3、GPULib、PyStream、PyCUDA和PyOpenCL

这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是从硬件层面上进行加速,如果有一个强大的GPU,我们可以用GPU来计算,从而减少CPU宝贵的资源。

PyStream古老一点。GPULib提供了基于GPU的各种形式的数据计算。

如果用GPU加速自己的代码,可以用PyCUDA和PyOpenCL。

4、Pyrex、Cython、Numba和Shedskin

这四个项目都致力于将Python代码翻译为C、C++和LLVM的代码。Shedskin会将代码编译为C++语言。Pyrex、Cython编译的主要目标是C语言。Cython也是Pyrex的一个分支。

而且,Cython还有NumPy数组的额外支持。

如果面向数组和数学计算的时候,Numba是更好的选择导入时会自动生成相应的LLVM的代码。升级版本是NumbaPro,还提供了对GPU的支持。

5、SWIG、F2PY和Boost.Python

这些工具可以将其他的语言封装为Python的模块。第一个可以封装C/C++语言。F2PY可以封装Fortran。Boost.Python可以封装C++语言。

SUIG只要启动一个命令行工具,往里面输入C或者C++的头文件,封装器代码就会自动生成。除了Python,而且可以成为其他语言的封装器,比如Java和PHP。

6、ctypes、llvm-py和CorePy2

这些模块可以帮助我们实现Python底层对象的操作。ctypes模块可以用于在内存中构建编译C的对象。并且调用共享库中的C的函数。不过ctypes已经包含在Python的标准库里面了。

llvm-py主要提供LLVM的Python接口。以便于构建代码,然后编译他们。也可以在Python中构建它的编译器。当然搞出自己编程语言也是可以的。

CorePy2也可以进行加速,不过这个加速是运行在汇编层的。

7、Weave、Cinpy和PyInline

这三个包,就可以让我们在Python代码中直接使用C语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用Python代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。

8、其他工具

如果我们要节省内存,就不能使用JIT了。一般JIT都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点。

至于其他的一些东西,比如Micro Python项目,这个是用在嵌入式设备或者微控制器上面使用的。

兄弟们,今天的分享就到这里了,债见!

 
 
文章不过瘾?试试看视频吧!

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:这份工具清单,令Python 提速N倍,简直太好用了 - Python技术站

(0)
上一篇 2023年4月2日 下午5:15
下一篇 2023年4月2日 下午5:15

相关文章

  • 快过年了,Python实现12306查票以及自动购票….

    马上就要过年了,听说还有人买不到票? 不要慌,今天咱们来用Python做一个自动查票抢票的脚本,24小时抢票,谁抢的过你!   准备工作 环境 Python 3.8 Pycharm 插件 谷歌浏览器驱动 模块 需要安装的第三方模块,直接pip安装即可。 requests # 数据请求模块 prettytable # 打印好看一些 selenium # 模拟人…

    Python开发 2023年3月31日
    00
  • 为了快速了解原神,我用Python爬取了原神所有角色信息!

    原神是由米哈游制作发行的一款开放世界冒险游戏,号称全球玩家5600W,可以说是非常热门了,朋友都说好玩,哎,但我就是不玩,就是皮…       但是,今天我就要用python来打开“原神世界”的大门!探索一下游戏角色! 话不多说直接开整! 准备工作 这是本次需要使用到 的工具 nodejs pyexecjs requests 编辑器:pycharm环境:Py…

    Python开发 2023年3月31日
    00
  • 我用Python做了个动图生成器,把一千个MM生成了GIF设置桌面,只为每天愉悦心情

    现在的年轻人都开始每天保温杯里泡枸杞,这怎么能行呢? 想要每天过的好,美女必然少不了,每天看美女,只为了愉悦心情,心情好了,才长寿。 于是怀揣着愉悦心情的想法,我开始制作GIF动图生成器,想要用Python来做成美女壁纸,行动起来。 这个小工具制作的目的是为了将多张图片组合后生成一张动态的GIF图片。设置界面化的操作,只需要将选中的图片导入最后直接生成动态图…

    Python开发 2023年3月31日
    00
  • 重温Python基础——列表

    哈喽,兄弟们,今天让我们一起来重温一下Python基础中的列表,看看你还记得多少呢? 列表是什么 列表有一系列特定顺序排列的元素组成。可以包含字母表中的所有字母,数字等。其中的元素之间可以没有任何联系,列表通常包含多种元素。 在Python中用方括号([])表示列表,用逗号分隔其中的元素。 a=[‘wo’,’ai’,’xue’,’xi’,13,14]   访…

    Python开发 2023年4月2日
    00
  • Python告别pip手动安装模块,实现全自动安装第三方库,彻底解放你的双手

    兄弟们,为了帮助大家更加高效的摸鱼,今天分享一个骚操作,Python自动安装第三方库! 为了体现小编在懒上的造就,今天再分享一个骚操作:Python自动安装第三方库,全自动不需要你动! pip手动安装 一说Python要安装哪个模块,我们第一反应,win+r输入cmd,pip instll 安装~ 没毛病,必须的! 但是如果换电脑了(土豪才换电脑,我都换朋友…

    Python开发 2023年4月2日
    00
  • 网易云VIP歌曲没权限?还好我会Python,一分钟一个歌单,硬盘有点不够用了~

    人生苦短,我用Python 人之初,喜白嫖。大家都喜欢白嫖,我也喜欢,那么今天就来试试怎么白嫖抑云~       我不是,我没有,别瞎说~       一、你需要准备 1、环境 Python3.6以上 pycharm2019以上 2、模块 requests # 发送请求模块 第三方模块 exec js # 调用JS的模块   二、效果展示 可以看到,这两个是…

    2023年4月2日
    00
  • Python做一个英汉翻译小字典

    每天一句小诗词 阳明四句:无善无恶心之体,有善有恶意之动,知善知恶是良知,为善去恶是格物。 今天教大家用Python做一个英汉翻译小字典,输入英文,返回对应中文。 二、知识点 文件读写 基础语法 异常处理 循环语句 字符串处理 三、代码展示 导入模块 import platform # 我还给大家准备了这些资料:Python视频教程、100本Python电子…

    Python开发 2023年4月2日
    00
  • 花了一个月终于整理出来了,800道Python习题,试试你能做对多少道!

    最近沉寂的太久了,只为了给大家准备这一套试题,这大概是全网最全面的了,各位学这么久Python,检验学习成果的时间到了!! 话不多说我们直接开始把! 一、填空题 001、Python安装扩展库常用的工具是__________和conda,其中后者需要安装Python集成开发环境Anaconda3之后才可以使用,而前者是Python官方推荐和标配的; 我还给大…

    Python开发 2023年4月2日
    00
合作推广
合作推广
分享本页
返回顶部