大数跨境
0
0

Python性能调优的一次记录

Python性能调优的一次记录 CDA数据分析师
2016-02-08
1
导读:一次记录
微信添加CDA为好友(ID:joinlearn),拉你入500人数据分析师交流群,点击阅读原文可查看CDA数据分析师交流群规范与福利,期待你来~

文 | 朱念洋

来源 | Vimer的程序世界


最近在grahite上看到响应时间变得很长,虽说之前没有特意去优化性能,但是感觉也不应该这么差才对。



我们的服务器框架用的就是我之前开源的 maple,每个命令字都对应一个入口函数,如下:




所以只要找到一种方法分析这个函数对应的内部调用情况就可以了。


很方便的,python内置了cProfile类来完成我们想要的功能,我给封装成为一个装饰器,用起来更方便一些,当然在django和flask中也可以直接用。



执行到对应的函数后,就会将统计写到函数名对应的stat文件中,比如 login.stat。


相应的,我也封装了一个分析工具:



用起来非常简单,执行一下:



输出结果如下:



可以明显看到时间消耗在 time.sleep 上。


好了,上面只是一个简单的示例,接下来看今天解决的问题的真实情况。


下面两张图分别是牌桌内有2人和7人的情况下的调用图。


2人:



7人:




异常的部分均使用颜色加亮了,可以看出几个端倪:


随着人数变多,有些部分的请求翻了几倍


读取数据库和redis的调用量太大


既然知道了是与存储通信的问题,那么接下来就来看看是哪些地方调用了 get_db_user,get_user_from_db。


cProfile 提供了一个方法:




所以通过这种方法拿到:





所以接下来就去看下上面的代码中这些数据库调用是否是必要就可以了。


基本就是这样了。


另外之前也出现过python内存泄漏的定位,可惜没有写下来文档,只记得是用 objgraph,不过用起来也比较简单,等下次遇到再说吧。


原文链接:http://www.vimer.cn?p=3038


点击阅读原文可查看CDA数据分析师交流群规范与福利

【声明】内容源于网络
0
0
CDA数据分析师
🌸全国30万数据分析从业人员,有10万在CDA数据分析师 🌺CDA会员俱乐部有1000个数据库,成为持证人即可获得相关数据信息 🌹未来两样东西最有价值:一个是数据,一个是GPU
内容 9451
粉丝 0
CDA数据分析师 🌸全国30万数据分析从业人员,有10万在CDA数据分析师 🌺CDA会员俱乐部有1000个数据库,成为持证人即可获得相关数据信息 🌹未来两样东西最有价值:一个是数据,一个是GPU
总阅读2.5k
粉丝0
内容9.5k