解:①如右图所示,△ABC内接于⊙O,且AB=AC,且BC=8,
过A作AD⊥BC于D,连接OB、OC,
∵AB=AC,AD⊥BC,
∴BD=CD,
∴AD是BC的垂直平分线,
又∵OB=OC,
∴点O在BC垂直平分线上,
即点O在AD上,
在Rt△OCD中,OD=
=3,
OC2?CD2
∴AD=3+5=8,
∴S△ABC=
BC?AD=32.1 2
②O在△ABC外时,连接OB、OA交BC于D,
由①知BD=4,AD⊥BC,
由勾股定理得:OB2=OD2+BD2,
∴52=(5-AD)2+42,
解得:AD=2,AD=8>5(舍去),
∴S△ABC=
BC×AD=1 2
×8×2=8,1 2
故答案是32或8.