寶光塔，又叫粉塔，建于明朝萬歷4年，原塔高62.88米，共9層，呈八角形，是明代仿樓閣式磚塔的典型。塔的底座平面直徑約11米，高2.3米，塔腔為折旋上式，可以步站旋梯到達塔頂。每層都有東南西北四個小拱門。底層周圍還嵌有始建時的石浮雕21幅，內容為多種多樣，有“魚躍龍門”、“云鶴翱翔”、“梅花奔鹿”、“雙鳳朝陽”等等，這些用花崗巖雕出的畫圖，古樸純真，體現出嶺南古代民間藝術的風韻。1993年高州政府對寶光塔進行修葺，塔高增至65米多，塔貌已煥然一新。

民間流傳著不少關于寶光塔的傳說。明朝萬歷年間高州知府張邦伊，一方面聽信了形家學說，認為高州以“瀛洲墩”為象征，是一塊沖積的“排”（竹筏）地。如若有“排”無“篙”則必無安定之日。一方面又順應了佛家興建“浮屠”的請求，1576年起，發動高州六屬民眾捐獻銀兩。其中，富豪李鎧一人便捐獻白銀八萬兩，幾年內共籌集到白銀13萬兩。相傳每天搭建的泥水工整整100人，可是每餐只有99人吃飯。原來這個只做工不吃飯的就是“神仙”。用作蓋頂的那口千斤重的生鐵鐘，也是“神仙”在即將竣工的當夜，悄悄地把這大鐘蓋上塔頂的。這種近乎神話的傳說，從側面贊頌了古代勞動人民的聰明智慧。

還有一個“哥回故事”。一天，童兄童弟二人，見寄生在塔頂的榕樹上，有不少“寮哥鳥”（鴝鵒）在跳躍、飛翔，又見塔頂邊上有一鳥窩。于是，兄弟二人便拿來一塊長木板，讓弟弟站在塔內的木板一端，哥則爬到伸出塔外的另一端掏鳥窩。剛開始就抓到兩個雛鳥，哥便歡叫起來：“嗨！一出手就兩個，還有……還有……”弟弟也得意忘形了，即時上前一睹雛鳥的樣子，竟然松開了壓住木板的腳跟。木板失去了平衡，哥哥便從塔頂摔下來。從此，弟弟每天早晚都爬到塔頂，揮淚悲呼：“哥——回！哥——回！”。

明清以來，寶光塔一直成為人們結伴登高，尋幽攬勝的首選景點。登山塔頂的第九層，既可飽覽那綿亙逶迤、煙雨迷蒙的群山，又可俯瞰那鱗次櫛比、高樓林立的古郡城廓。

原高州市市長鄒繼海，曾登寶光塔，作《七律.登寶光塔》：“滄桑飽閱紀春秋，幾度崢嶸歲月稠，矩在停云鋪錦繡，規天遏浪鎮江流。滿城華彩豪情縱，四海風雷浩氣遒，揮塔蘸金描巨卷，雄篇再續志高州”。表現了新一代領導者以博大的胸懷和“規天”、“矩地”、“停云”、“遏浪”的氣魄，以藍天作“巨卷”，用寶塔作巨筆，譜寫新的歷史篇章的決心。