根据题意有$$f(x)=\left|\sqrt{a^2+b^2}\sin\left(x+\phi\right)-1\right|+\left|\sqrt{a^2+b^2}\cos\left(x+\phi\right)\right|,\tan\phi=\dfrac ba,$$令 $\theta=x+\phi$，不妨设 $\theta$ 为第四象限角，则$$\begin{split} f(x)&\leqslant 1+\sqrt{a^2+b^2}\cdot\left(\cos\theta-\sin\theta\right)\\&=1+\sqrt2\cdot\sqrt{a^2+b^2}\cdot\sin\left(\dfrac{\pi}{4}-\theta\right)\\&\leqslant 1+\sqrt2\cdot\sqrt{a^2+b^2}.\end{split}$$所以当 $\dfrac{\pi}4-\theta=\dfrac{\pi}2+2k\pi,k\in\mathbb Z$ 时，$f(x)$ 取得最大值 $1+\sqrt2\cdot\sqrt{a^2+b^2}$，又 $f(x)_{\mathrm{max}}=11$，因此$$1+\sqrt2\cdot\sqrt{a^2+b^2}=11,$$解得 $a^2+b^2=50.$