上海网站邮箱制作网站怎么更改关键词

上海网站邮箱制作,网站怎么更改关键词,目前网站建设用哪种语言,做视频上传到网站怎么赚钱由于存在随机性#xff0c;在同一台机子上#xff0c;即使完全一致的代码#xff0c;默认情况下#xff0c;PyTorch每次训练的结果也有差异#xff0c;无法复现。做了少许改动后#xff0c;重新训练#xff0c;结果有微小的变化#xff0c;无法判断这变化是因改动导致的…由于存在随机性在同一台机子上即使完全一致的代码默认情况下PyTorch每次训练的结果也有差异无法复现。做了少许改动后重新训练结果有微小的变化无法判断这变化是因改动导致的还是因随机性导致的。即使代码和各种超参、配置完全相同只要存在随机性或非确定性算子PyTorch的多次训练结果几乎多少都会有所差异差异可能来自随机性、CUDA算子、并行执行、数值精度等多个层面1.权重初始化使用随机数如nn.init.xavier_uniform_2.DataLoader中的shuffle为True时以及DataLoader中的多进程worker即num_workers不为0时3.Dropout在训练时随机丢弃神经元4.数据增强中RandomCrop、RandomFlip等5.浮点数运算的非确定性如浮点数运算的顺序、浮点数运算的累积误差6.CUDA/GPU中的非确定性算子Conv2d、BatchNorm等7.cuDNN中的每次运行可能选不同kernel即使同一台机子不同GPU/驱动/CUDA版本也可能有差异可以通过设置随机种子方式(控制所有随机源)来尝试复现训练结果但无法保证在不同的PyTorch版本或不同平台上都能获得完全可复现的结果此外即使使用相同的随机种子CPU和GPU执行的结果也可能无法复现。实现及测试代码如下import torch import torch.nn as nn import numpy as np import random import os def set_seed(seed42): os.environ[PYTHONHASHSEED] str(seed) os.environ[CUBLAS_WORKSPACE_CONFIG] :4096:8 random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False torch.use_deterministic_algorithms(True) def seed_worker(worker_id): worker_seed seed worker_id np.random.seed(worker_seed) random.seed(worker_seed) return seed_worker def test_random(): data [random.random() for _ in range(4)] print(frandom: {data}) data [random.uniform(10, 20) for _ in range(4)] print(frandom: {data}) def test_numpy(): data np.random.random(4) print(fnumpy: {data}) data np.random.randn(4) print(fnumpy: {data}) class TinyNet(nn.Module): def __init__(self): super().__init__() self.fc nn.Linear(8, 6) self.initialize_weights() def initialize_weights(self): nn.init.kaiming_uniform_(self.fc.weight, nonlinearityrelu) def forward(self, x): return self.fc(x) def test_torch(): data torch.rand(4) print(ftorch: {data}) data torch.randn(4) print(ftorch: {data}) model TinyNet() weight_flat model.fc.weight.flatten() for i in range(min(4, len(weight_flat))): print(f{weight_flat[i]:.6f}, end ) print() # if num_workers is not 0 in DataLoader, then worker_init_fn and generator need to be set # worker_init_fu seed_worker # set_seed(seed) # generator torch.Generator().manual_seed(seed) if __name__ __main__: seed_worker set_seed(42) # seed_worker is used by DataLoader test_random() test_numpy() test_torch() print( execution completed )说明1.random.seed(seed)Python随机数生成器设置种子2.np.random.seed(seed)NumPy随机数生成器设置种子3.torch.manual_seed(seed)PyTorch随机数生成器为所有设备(包括CPU和CUDA)设置随机数生成器种子4.torch.cuda.manual_seed(seed)设置当前GPU生成随机数的种子。即使CUDA不可用调用此函数也是安全的在这种情况下它会被静默忽略5.torch.cuda.manual_seed_all(seed)设置所有GPU上生成随机数的种子。即使CUDA不可用调用此函数也是安全的在这种情况下它会被静默忽略6.torch.backends.cudnn.deterministic True控制CUDA使用确定性算法7.torch.backends.cudnn.benchmark False禁用基准测试功能会导致cuDNN确定性地选择一个算法但这可能会降低性能8.torch.use_deterministic_algorithms(True)避免使用非确定性算法。确定性操作通常比非确定性操作慢因此模型的单次运行性能可能会降低。在已知某个操作是非确定性操作(且没有确定性替代方案)时抛出错误9.os.environ[CUBLAS_WORKSPACE_CONFIG] :4096:8当CUDA版本10.2时需设置环境变量CUBLAS_WORKSPACE_CONFIG10.os.environ[PYTHONHASHSEED] str(seed)设置哈希种子执行结果如下图所示执行多次每次输出结果相同GitHubhttps://github.com/fengbingchun/NN_Test