分类 Python 下的文章

训练常用命令


训练常用命令nohup python train.py > outLog.log &nohup挂后台运行,退出Xshell连接无影响,防止断网> outLog.log将输出输出到outLog.log文件&追加模式一般运行该命令后会提示如下:(base) root@d9dcc1730df7:~/data1/fmujie/dpl/cal_fgvc# python train_distributed.py > outNA2245628.log & [1] 14131 (base) root@d9dcc1730df7:~/data1/fmujie/dpl/cal_fgvc# nohup: ignoring input and redirecting stderr to stdout如果忘记这个进程号也没关系ps -aux | ...

Python"傻瓜式"处理PPT


业界有一句话,Python除了不能生孩子,其他的都能做。最近处理模型的热图,需要将有无损失函数的图片生成然后放到PPT里去对比,从百十个类别中挑图就很费时间了,调完还需要贴到PPT里,我开始是把每个类别中比较好的图片名记下来,应该当时直接复制到PPT里的,但想着统计一下嘛,后来还得根据类名+图片名从源文件夹中挑,当然,挑了一阵子我感觉不能这么干,还得写个脚本让它自己挑如下:import os import shutil txt_path = "./contrastive.txt" with open(txt_path, 'r', encoding='utf-8') as file: for line in file: print(line.strip()) split_list = line.st...

脚本辅助消融实验


常规来说,模型的train.py文件里会用argparse这个包,parser.add_argument()给模型规定一些数据集名称,还有一些超参的值。调试的时候一般在pycharm里手动改,平常训练,我一般就python train.py再或者后台挂起nohup python train.py > outXXX.log &但即使是后台挂起,不用维持SSH连接(一般是xshell SSH连集群),让你电脑可以关机(不会有人用自己电脑的显卡跑AI吧,这有点太伤了,比挖矿还难受。),但是在消融实验和对比实验的时候仍然不方便,这时候,用个脚本,让它自动检测显卡有没有被占用(每隔一段时间,我设的1分钟),然后没被占用就跑实验,占用就等待,这样可以不用随时盯着,即使是知道了大概时间,有时候也会忘掉,而且有时候它是半夜才停,别问我怎么知道的,我之前还定了闹钟...

Python print 格式化输出 转义字符 赋值


# 1.用法1 print("hello word!!!") name = "小白" print(name) help(print) """ hello word!!! 小白 Help on built-in function print in module builtins: print(*args, sep=' ', end='\n', file=None, flush=False) Prints the values to a stream, or to sys.stdout by default. sep string inserted between values, default a space. end string...

16、卷积残差模块算子融合


R-Drop: Regularized Dropout for Neural NetworksDropout is a powerful and widely used technique to regularize the training of deep neural networks. Dropout在训练和推理时存在不一致的问题(集成学习)R 对每个子模型的分布做一个KL散度import numpy as np def train_r_drop(ratio, x, w1, b1, w2, b2): # 输入复制一份 x = torch.cat([x, x], dim=0) layer1 = np.maximum(0, np.dot(w1, x) + b1) mask1 = np.random.binomial(1, 1...

召唤看板娘