这座寺庙始建于唐代，依山而建，千百年来香火甚旺。
灵光寺内有“三绝”，一绝是“生死柏”，寺前两株1100多年树龄的柏树中，一株已枯死300多年，却没有腐烂，仍然挺立，与另一株枝繁叶茂的生柏并肩而立；二绝是大殿后面绿树繁茂，而大殿屋顶上却从来没有落叶，原因还是个谜；而这第三绝是“菠萝顶”。
灵山寺现存建筑多为明清以后所建，主殿殿顶是用一千多块长方木拼成的螺旋型藻井，俗称波罗顶。当寺内香火盛时寺外却不见一丝烟缕，而烟会顺着螺旋形藻井盘旋而上，自然扩散。如此结构精巧的建筑工艺，在全国仅有两处（另一处是北京天坛）。
