内网DNS服务器换了新服务器但coredns仍然找老的DNS服务器

我这里遇到了一个域名解析的问题,网络更换了DNS服务器,旧的DNS服务器关闭,rancher集群里的pod就都无法解析了。修改了集群所有宿主机的/etc/resolv.conf 文件,都已指向新DNS,并且手工验证解析正常,但pod还是无法正确解析,进入pod里检查解析可以正常去找coredns的服务ip,但检查coredns时发现解析找的还是老的dns服务器的ip,报错如下:

检查coredns的配置也没什么特别的:
.:53 {
errors
health {
lameduck 5s
}
ready
kubernetes cluster.local in-addr.arpa ip6.arpa {
pods insecure
fallthrough in-addr.arpa ip6.arpa
}
prometheus :9153
forward . “/etc/resolv.conf”
cache 30
loop
reload
loadbalance
}

重启coredns的pod无法解决。
请问这是什么原因,谢谢。

如果我遇到这样的情况,我会修改 coredns 的配置指定目标上游dns server

参考: