训练常用命令nohup python train.py > outLog.log &nohup挂后台运行，退出Xshell连接无影响，防止断网> outLog.log将输出输出到outLog.log文件&追加模式一般运行该命令后会提示如下：(base) root@d9dcc1730df7:~/data1/fmujie/dpl/cal_fgvc# nohup python train_distributed.py > outNA2245628.log & [1] 14131 (base) root@d9dcc1730df7:~/data1/fmujie/dpl/cal_fgvc# nohup: ignoring input and redirecting stderr to stdout如果忘记这个进程号也没关系ps -...

业界有一句话，Python除了不能生孩子，其他的都能做。最近处理模型的热图，需要将有无损失函数的图片生成然后放到PPT里去对比，从百十个类别中挑图就很费时间了，调完还需要贴到PPT里，我开始是把每个类别中比较好的图片名记下来，应该当时直接复制到PPT里的，但想着统计一下嘛，后来还得根据类名+图片名从源文件夹中挑，当然，挑了一阵子我感觉不能这么干，还得写个脚本让它自己挑如下：import os import shutil txt_path = "./contrastive.txt" with open(txt_path, 'r', encoding='utf-8') as file: for line in file: print(line.strip()) split_list = line.st...

常规来说，模型的train.py文件里会用argparse这个包，parser.add_argument()给模型规定一些数据集名称，还有一些超参的值。调试的时候一般在pycharm里手动改，平常训练，我一般就python train.py再或者后台挂起nohup python train.py > outXXX.log &但即使是后台挂起，不用维持SSH连接(一般是xshell SSH连集群)，让你电脑可以关机(不会有人用自己电脑的显卡跑AI吧，这有点太伤了，比挖矿还难受。)，但是在消融实验和对比实验的时候仍然不方便，这时候，用个脚本，让它自动检测显卡有没有被占用(每隔一段时间，我设的1分钟)，然后没被占用就跑实验，占用就等待，这样可以不用随时盯着，即使是知道了大概时间，有时候也会忘掉，而且有时候它是半夜才停，别问我怎么知道的，我之前还定了闹钟...

# 1.用法1 print("hello word!!!") name = "小白" print(name) help(print) """ hello word!!! 小白 Help on built-in function print in module builtins: print(*args, sep=' ', end='\n', file=None, flush=False) Prints the values to a stream, or to sys.stdout by default. sep string inserted between values, default a space. end string...

R-Drop: Regularized Dropout for Neural NetworksDropout is a powerful and widely used technique to regularize the training of deep neural networks. Dropout在训练和推理时存在不一致的问题（集成学习）R 对每个子模型的分布做一个KL散度import numpy as np def train_r_drop(ratio, x, w1, b1, w2, b2): # 输入复制一份 x = torch.cat([x, x], dim=0) layer1 = np.maximum(0, np.dot(w1, x) + b1) mask1 = np.random.binomial(1, 1...