飞英塔原来位于飞英寺西侧的舍利石塔院内。寺院始建于唐懿宗咸通五年（864年），唐僖宗中和五年（885年）更名为“上乘寺”，北宋真宗景德二年（1005年）始改为今名。内塔创建于唐中和四年（884年），后来塌毁废弃，现存的石塔重建于南宋绍兴年间（1131～1162年）。外塔始建于北宋开宝年间（968～976年），绍兴二十年（1150年）塔遭雷击塌毁，南宋端平年间（1234～1236年）重新修建，元、明、清三代又经过了多次修葺。