导读: 简要说一下自己的思路 1,有两个代理可用,所以爬的时候随机选取一个 2,复制了一些User-agnet,随机选一个 3,爬一次随机睡眠3~6s 这样大概爬200次左右,就不能再 爬了
对于Python 的科学计算有哪些提高运算速度的技
一:学会正确使用numpy scipy。 numpy scipy...
简要说一下自己的思路 1,有两个代理可用,所以爬的时候随机选取一个 2,复制了一些User-agnet,随机选一个 3,爬一次随机睡眠3~6s 这样大概爬200次左右,就不能再 爬了
对于Python 的科学计算有哪些提高运算速度的技
一:学会正确使用numpy scipy。 numpy scipy写好的绝不自己写,比如矩阵运算等操作,pylab的实现还算不错。各种函数都有,尽量使用他们可以避免初学者大部分的速度不足问题。因为这些函数大部分都是预编译好的。
根据我几年前的测试,python的矩阵运算速度并不慢,(因为你运行的是动态链接库里面的函数而不是脚本)比mathematica快,和matlab持平。
大部分新手不擅长看文档啥都自己造轮子是不好的。当然老手把效率写的比开源库高也不算啥新闻,毕竟有对特定程序的优化
二:减少for的使用,多使用向量化函数,np.vectorlize可以把函数变成对数组逐元素的操作,比for效率高几个华莱士。
三:对内存友好,操作大矩阵的时候减少会引起整矩阵对此copy的操作
四:系统最慢的大部分时候是io,包括上面说的内存操作和频繁的读入读出以及debug输出。避免他们,在需要实时处理的时候引入类似于gpu的pipeline管线机制或者使用灵活的多线程编程可以起到奇效。
五:matplotlib的绘图效率并不高明,在使用交互绘图(plt.ion)的时候减少不必要的刷新率。
转载请注明出处:访客,如有疑问,请联系(762063026)。
本文地址:https://office-vip.com/post/22918.html