西來寺曾稱“盤石寺”，“西來”指達摩祖師處天竺西來或佛經來自西天之意，始建年代不詳，清康熙四年（1665年）重建，雖經嘉慶二年、光緒四年和民國六年幾次修葺，終因年代遠之，已破舊不堪。1949年後也修葺幾次，不盡人意。1980年柳州市人民政府拔專款按原樣重修，增高大殿，擴展空間，重建的大雄寶殿莊重大方，更顯東方廟宇風彩。現為柳州市佛教協會會址。該寺禪師釋志禪自1953年從桂林來到西來寺擔任住持，凡40年。曾擔任中國佛教協會會理事，柳州市佛教協會會長，歷屆市政協委員，1993年圓寂後，由釋慈模法師擔任住持。 歷唐宋時期，廣西柳州盛行建佛寺造廟宇，至宋達鼎盛，這也許是柳州南通安南，西通大理地處交通千線之故。據記載：“柳州佛教寺院庵堂古化建築曾有23座，但由於歷史原因，至今遺留下來較著名的只有清代重修的西來寺大雄寶殿建築。
柳州佛教歷史始見於唐代史書記載，仙弈山（馬鞍山）山麓佛教寺廟遺址可考。唐元和十年（815年），柳宗元貶來柳州任刺史時，為改變當地人迷信巫術殺性祭神的陋習，在仙弈山下重建大雲寺（後毀於大火），以教化眾人“戒殺生”。宋哲宗元祐三年（1083年），仙弈山已擴大為十方禪林，高僧淨悟大師覺昕來柳，任靈泉寺住持，決心仿效京都寺院格局，改靈泉寺為天寧“萬壽禪寺”，相國王安中來柳撰碑記。宋紹興七年（1137年）天寧萬壽禪寺又改名為報恩光孝禪寺。西來寺承湖南岐山仁瑞寺法脈宗風，屬曹洞宗法系。該寺1995年重建，占地面積1749平方米。志禪法師1993年圓寂茶毗時，得舍利花二顆，現為鎮寺之寶。
1949年後，中共柳州市委和市人民政府執行尊重和保護公民宗教信仰自由的政策。在社會主義改造和建設中，佛教徒群眾發揚農禪並重、愛國愛教的傳統，積極參加生產勞動和社會活動，為維護民族團結起了一定作用。但是，由於受“左”的影響，有段時間佛教的正常活動受到干擾。十一屆三中全會以後，拔亂反正，西來寺獲得得重新修葺，大殿門上懸掛著中國佛教協會會長趙樸初手書“大雄寶殿”金字匾額，信佛教的人數不斷增加，1983年柳州佛教界在西來寺舉辦“世界和平法會”，到會157人。1998年6月19日，觀音菩薩成道日，到寺院裡吃齊飯的信徒群眾達四萬多人，前來敬香拜佛者近五萬之眾。反映了改革開放時期，政通人和、信仰自由的祥和氣圍。