大数跨境
0
0

怎样看pytorch源码最有效?

怎样看pytorch源码最有效? 极市平台
2021-06-06
2
导读:笔者总结了一些专家的经验并结合自己看的一些项目,打算总结一下如何探索和深入一个深度学习项目库。
↑ 点击蓝字 关注极市平台

作者丨pprp
来源丨GiantPandaCV
编辑丨极市平台

极市导读

 

现在深度学习项目代码量越来越大,并且单个文件的量也非常的大。笔者总结了一些专家的经验并结合自己看的一些项目,打算总结一下如何探索和深入一个深度学习项目库。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

1. 基础知识

首先,需要保证有一定的深度学习基础知识,吴恩达的深度学习课还有斯坦福大学的CS231n都是不错的入门教程,只需要有大学数学的基础就可以看懂。

然后,需要对Linux系统使用有一定的了解,一般选择Ubuntu系统作为主力系统,了解一下基础的系统命令就可以了,比如rm,ls,cd,cat,vim,sudo,find,df,top等,在B站上搜索一下Linux的视频,很快就可以入门。之后遇到新的命令只需要查询API即可。

其次,还需要保证对python语言和深度学习框架的了解,python上手是很快的,可以看一下菜鸟教程或者莫烦python教程,上首页很快。深度学习框架方面可以买一些书籍,边看边敲,找一个小项目敲一敲,了解一下大部分API就已经达到上手水平了。深度学习框架一般选tensorflow、pytorch,因为大部分项目大多是基于这两个框架的。他们官方网站的教程也是非常不错的参考,可以看看官方提供的教程,跑一下github上提供的demo。

最后,营造科研的环境,可以关注一些领域相关的大牛、公众号,也可以加入一些交流群,多和群友交流,尽可能提升领域的常识。不要乱问问题,一定要有自己的思考和想法,然后再到群里问问题和交流。

2. 项目分析阅读

从Github上拿到一个项目,可以按照以下的步骤进行分析和阅读。

  • 项目背景调研:

  • 项目是否是对应一篇论文?如果对应论文,可以先阅读一下Paper,对背景和项目的细节有一个大概的了解。

  • 项目是否有说明文档?一般比较大型的项目,比如pytorch,nni,mmdetection等较多人维护的项目是会在readthedoc上提供说明书,建议优先阅读说明。

  • 项目是否有README?README文件通常包含了项目创建者想要告诉你的信息,对于一些专业的项目库而言,阅读README文件绝对对你理解整个项目代码有帮助。

  • 什么都没有??极少数会遇到这种情况,但如果遇到的话,就进行下一个阶段吧。

  • 通过文件命名分析:

  • 数据处理、数据加载部分,通常命名可能有xxx_dataloader.py等

  • 网络模型构建部分,通常命名可能为 resnet20.py model.py等

  • 训练部分脚本,通常命名可能为train.py等

  • 测试部分脚本,通常命名可能为test.py eval.py 等

  • 工具库,通常命名为utils文件夹。

  • 根据文件夹、文件的命名,判断其可能的功能。一般在深度学习项目中,通常有几部分组成:

  • 举个例子,以once for all项目为例:

.├── build.sh # 环境构建├── eval_ofa_net.py├── eval_specialized_net.py # 验证专用网络├── figures│   ├── cnn_imagenet_new.png│   ├── diverse_hardware.png│   ├── imagenet_80_acc.png│   ├── ofa-tutorial.jpg│   ├── overview.png│   └── video_figure.png├── LICENSE├── ofa │   ├── imagenet_classification │   │   ├── data_providers # 数据加载│   │   ├── elastic_nn # 算法核心模块│   │   ├── __init__.py│   │   ├── networks # 网络构建│   │   └── run_manager # 训练代码核心逻辑│   ├── __init__.py│   ├── model_zoo.py # 模型库│   ├── nas # nas相关工具│   │   ├── accuracy_predictor│   │   ├── efficiency_predictor│   │   ├── __init__.py│   │   └── search_algorithm│   ├── tutorial # 教程│   │   ├── accuracy_predictor.py│   │   ├── evolution_finder.py│   │   ├── flops_table.py│   │   ├── imagenet_eval_helper.py│   │   ├── __init__.py│   │   └── latency_table.py│   └── utils # 工具库│       ├── common_tools.py│       ├── flops_counter.py│       ├── __init__.py│       ├── layers.py│       ├── my_dataloader│       ├── my_modules.py│       ├── pytorch_modules.py│       └── pytorch_utils.py├── README.md # 项目介绍,初次接触需要阅读├── requirements.txt # 环境文件├── setup.py # pip构建环境所需文件├── train_ofa_net.py # 训练脚本└── tutorial # 教程    ├── local_lut.npy    ├── ofa.ipynb    ├── ofa_resnet50_example.ipynb    └── README.md
  • 找到程序运行入口:

    • 第一类bug,环境不兼容导致的bug,严格按照作者提供的运行环境,并对照环境的版本信息,对齐本地环境和作者要求的环境。
    • 第二类bug,深度学习框架带来的bug,这部分bug可以在bing上进行搜索,查看解决方案。
    • 第三类bug,项目本身相关的bug,这类bug最好是在github的issue区域进行查找,如果无法解决可以在issue部分详细描述自己的问题,等待项目库作者的解答。
    • 通过上一步的分析,找到了项目的介绍的话,在自己机器上完成环境配置。
    • 一般可以找到项目运行的主入口,比如train.py,试着运行项目。
    • 遇见bug怎么办?
    • 运行顺利的话,代表可以进行debug操作,对文件某些细节不确定的话,可以通过debug的方式查看变量详细内容。
  • 用IDE打开项目:

    • 阅读入口文件的逻辑,查看调用到了哪些包。
    • 通过IDE的功能跳转到对应类或者函数进行继续阅读,配合代码注释进行分析。
    • 分析过程可能会需要软件工程的知识,比如画一个类图来表述项目的关系。
    • 一开始可以泛读,大概了解整体流程,做一些代码注释。而后可以精读,找到文章的核心,反复理解核心实现,抽丝剥茧,一定可以对这个项目有进一步的理解。
    • 笔者是vscode党,推荐使用vscode+scp+mobaxterm+远程服务器的方式进行运行。
    • 打开项目以后,从运行入口(通常是train.py)开始阅读:
  • 实在读不懂怎么办?

    • 在Github的issue上进行提问。
    • 如果有项目作者的联系方式,可以联系作者,发邮件提问。
    • 看看有没有其他人写过相关的博客。

参考

https://www.zhihu.com/question/26480537

https://www.zhihu.com/question/29416073/answer/44301979

https://github.com/phodal/articles/issues/14

如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取最新CV干货

公众号后台回复“CVPR2021 Oral”获取CVPR2021 Oral论文合集~



极市干货
YOLO教程:一文读懂YOLO V5 与 YOLO V4大盘点|YOLO 系目标检测算法总览全面解析YOLO V4网络结构
实操教程:PyTorch vs LibTorch:网络推理速度谁更快?只用两行代码,我让Transformer推理加速了50倍PyTorch AutoGrad C++层实现
算法技巧(trick):深度学习训练tricks总结(有实验支撑)深度强化学习调参Tricks合集长尾识别中的Tricks汇总(AAAI2021
最新CV竞赛:2021 高通人工智能应用创新大赛CVPR 2021 | Short-video Face Parsing Challenge3D人体目标检测与行为分析竞赛开赛,奖池7万+,数据集达16671张!


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart2)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~  
【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读5.7k
粉丝0
内容8.2k