据明万历《湖州府志》所载：“西塞山在湖州城西二十五里，有桃花坞，下有凡常湖，唐张志和游钓于此。”具体位置在今天湖州西郊10公里许樊漾湖 （即凡常湖）一带。西塞山层峦翠叠，主峰巍峨，山势连绵，林木葱茏，山坞中又有桃花掩映。山麓有樊漾湖，面积百亩，湖面浩渺，烟波迷濛。樊漾湖纳西塞山之水，还与苕溪相连，宽广的水域盛产鱼虾，引来鹬鹭栖息，又是渔父操舟，撒网捕鱼的天地，也是悠然自得垂钓的好去处，是江南山水风光的典型，可称得上是世外桃源，其意境非常符合士大夫避世离俗的情趣，所以吸引了历代文人墨客为其吟咏作画。

张志和在西塞山渔隐，自号“烟波钓徒”、“玄真子”。唐上元二年（761），时值暮春，桃花水涨，鳜鱼水美，张志和以其真情实感写下《渔歌子》词：“西塞山前白鹭飞，桃花流水鳜鱼肥，青箬笠，绿蓑衣，斜风细雨不须归。”此词吟成后，不仅一时唱和者甚众，而且还流播海外。此词传入日本后，日本平安朝嵯峨天皇有和词五首。张志和还以西塞山为题材，写《清江渔钓图》，此图已佚。南宋时，著名画家李结以奉祠请退为由，携家奉亲隐居西塞山，并作《西塞渔社图》（现藏美国大都会艺术博物馆），寄托归隐林泉之志。图成之后，又遍请时贤同僚范成大、洪迈、周必大、赵雄等题跋，共话隐逸之乐。　　

西塞山至今仍有不少古迹，山东侧原有明工部尚书严震直墓，严爱慕西塞山，所以自号西塞翁，卒后按照遗愿葬于西塞山（今山下有地名严家坟）。严墓虽已不在，但有清道光九年（1829）一对题刻石柱“名贤逸兴常垂钓，胜国忠魂可结邻”存世。山西侧有仙人石，仙人石上刻有一棋盘，传说春秋战国时齐国管仲和鲍叔牙两位成仙后在这里下棋，使西塞山又添几分仙气。

西塞山早已成为历代文人向往隐逸江湖的精神图腾，做一做“浮家泛宅，往来苕霅之间”的“烟波钓徒”是每一位文人骚客的梦想。