1
2
3
4
5

import torch
torch.autograd.gradcheck(func, inputs, eps=1e-6, atol=1e-4, raise_exception=True)
torch.autograd.gradgradcheck(func, inputs, grad_outputs=None, eps=1e-6, atol=1e-4, raise_exception=True)
# numpy allclose
np.allclose(a, b, rtol=1e-5, atol=1e-8)