香山寺始建于北宋。或曰太平兴国二年（977年），或曰宣和二年（1120年）——年代久远，确切年份已湮没于方志之间，但"北宋"二字，足以让人想象：千年前，已有僧人在此结茅、诵经、听泉。明代，香火渐盛；清代，臻于鼎盛，却屡遭火患。今之所见，多为清光绪七年（1882年）重建。三进院落，沿山势而上：山门、金刚殿、大雄宝殿、观音阁、大悲楼，次第展开，如一部立体的佛典。建筑取明清宫殿格局，又兼浙南地方特色。飞檐翘角，青瓦黄墙，不张扬，却自有庄严。
