设 $P(m,n)$，则有$$b^2m^2-a^2n^2=a^2b^2.$$记 $\angle AOx=\theta$，则 $\tan\theta=\dfrac ba$．于是\[\begin{split} \overrightarrow{PA}\cdot\overrightarrow{PB}=&PA\cdot PB\cdot\cos\angle APB\\=&-PA\cdot PB\cdot\cos{2\theta}\\=&\dfrac{|bm-an|}{\sqrt{a^2+b^2}}\cdot\dfrac{|bm+an|}{\sqrt{a^2+b^2}}\cdot\dfrac{1-\tan^2\theta}{1+\tan^2\theta}\\=&-\dfrac{|b^2m^2-a^2n^2|}{a^2+b^2}\cdot\dfrac{1-\dfrac{b^2}{a^2}}{1+\dfrac{b^2}{a^2}}\\=&-\dfrac{a^2b^2}{a^2+b^2}\cdot\dfrac{a^2-b^2}{a^2+b^2}\\=&\dfrac{a^2b^2(b^2-a^2)}{(a^2+b^2)^2}.\end{split}\]其他解法我们熟知双曲线 $C:\dfrac{x^2}{a^2}-\dfrac{y^2}{b^2}=1$ 上任意一点到两条渐近线的距离之积为 $\dfrac{a^2b^2}{a^2+b^2}$，而 $A,B,P,O$ 四点共圆（$O$ 为坐标原点），于是$$\cos\angle APB=\dfrac{b^2-a^2}{a^2+b^2},$$因此$$\overrightarrow{PA}\cdot \overrightarrow{PB}=\dfrac{a^2b^2\left(b^2-a^2\right)}{\left(a^2+b^2\right)^2}.$$