瑞光塔位于富川瑤族自治縣縣城南郊約500米富江西畔的急轉彎處。因塔內曾供有陰刻雕觀音像，俗稱觀音塔、觀音閣。塔為7層樓閣式六角形磚塔，高28米，塔基埋深4.8米，塔尖有重達400公斤的銅剎蓋頂。各層皆有一門，依次順時針變化門向。頂層六面有窗。塔內有螺旋式磚梯78級，可直達頂層。登塔遠眺，可觀“富川八景”中的“三景”：“富水奔濤”、“層巒聳翠”和“山泉飛瀑”。塔下林木成蔭，玉泉清冽，環境十分幽雅。
瑞光塔建于何年，尚未見到具體史料。據《光緒富川縣志》卷十二《雜記》篇載：“明嘉靖三十四年(1555年)春，雷擊瑞光塔砌面”，說明它早在那時就已存在。清咸豐五年(1855年)毀于兵火，同治十一年(1872年)重修。從明朝至今400多年來，瑞光塔歷經洪澇、地震和雷擊等災難，依舊安然無恙。民國初年，瑞光塔所在地曾辟為中山公園。1980年和1988年，縣人民政府兩次撥款維修，加固塔基。
瑞光塔旁有慈云寺，也稱鎮江慈云寺，總面積為598平方米。該寺始建于清康熙十六年(1677年)，康熙五十六年(1717年)、乾隆十一年(1746年)重修。咸豐五年(1855年)毀于戰火，同治六年(1867年)重建。民國4年(1915年)，陸榮廷帶兵由桂平到富川，游慈云寺時，倡議修一條花街路，接慈云寺至回犀橋。后經有關方面努力，終于修成。民國期間曾將寺改為“中山紀念堂”。
內有佛殿二進，東西兩側有廂房，殿間天井用卵石鋪成，每座殿堂皆由六柱抬梁構架組成。后殿有圓月門，直通瑞光塔。1980年，瑞光塔、慈云寺均被列為縣級重點文物保護單位。慈云寺現是縣文物管理所駐地，內辟兩個展覽廳，一個展覽革命文物，一個展覽古代文物。