对于选项A，当导数 $f'(0)$ 存在时，曲线 $y=f(x)$ 在点 $\left(0,f(0)\right)$ 处存在切线 $y-f(0)=f'(0)(x-0)$，所以A选项正确．
对于选项B，若曲线 $y=f(x)$ 在点 $\left(0,f(0)\right)$ 处的切线是 $y$ 轴，此时导数 $f'(0)$ 不存在，所以B选项错误．
对于选项C，令 $g(x)=f\left(x^2\right)$．当导数 $f'(0)$ 存在时，因为\[\begin{aligned}
\displaystyle\lim_{x\to 0}\dfrac{g(x)-g(0)}{x-0}
&=\displaystyle\lim_{x\to 0}\left[\dfrac{f\left(x^2\right)-f(0)}{x^2-0}\cdot x\right]\\
&=f'(0)\cdot 0\\
&=0,\end{aligned}\]所以C选项正确．
对于选项D，取\[f(x)=\begin{cases}1,&0\leqslant x<1,\\ -1,&-1<x<0,\end{cases}\]则 $f\left(x^2\right)=1 (-1<x<1)$，此时 $f\left(x^2\right)$ 在 $x=0$ 时的导数等于零，但 $f(x)$ 在 $x=0$ 时不可导，所以D选项错误．