选择 $ABCD$ 为一个单元进行讨论
情形一如果 $ABCD$ 涂 $4$ 种颜色．
第一步涂 $ABCD$，有 $\mathrm{A}_4^4=24$ 种涂色方式；
第二步涂 $E$，有 $2$ 种方式；
第三步涂 $F$ 也有 $2$ 种方式（因为 $E$ 必与 $B$ 或 $C$ 颜色相同）．
所以共有$$24\times 2\times 2=96$$种涂色方式；
情形二如果 $ABCD$ 涂 $3$ 种颜色．
第一步涂 $ABCD$，有$$\mathrm{C}_4^3\mathrm{C}_3^1\mathrm{C}_2^1\mathrm{A}_2^2=48$$种方式（选出三色、选出要用两次的颜色、选出涂同色的端点、涂剩下的端点）；
第二步涂 $E,F$，直接列举，有 $3$ 种方式．共有 $48\times 3=144$ 种涂色方式；
情形三如果 $ABCD$ 涂 $2$ 种颜色．
第一步涂 $ABCD$，有 $\mathrm{A}_4^2=12$ 种方式；
第二步涂 $E,F$，只有 $2$ 种方式．
共有 $12\times 2=24$ 种方式；
所以，所有的涂色方式有 $96+144+24=264$ 种．