มีตำนานเล่าว่าครั้งหนึ่ง พระเจ้าศรีธรรมาโศกราช เสด็จยกทัพมาถึงเขตอำเภอสวี ได้พบเหตุการณ์ประหลาด มีกาฝูงหนึ่งบินมาจับอยู่บนกองอิฐพากันส่งเสียงร้องและกระพือปีกอื้ออึง เมื่อรื้อกองอิฐออกก็พบฐานเจดีย์และพระบรมสารีริกธาตุ จึงโปรดให้ปฏิสังขรณ์พระเจดีย์และสมโภช ๗ วัน ๗ คืน แล้วขนานนามพระเจดีย์องค์นี้ว่า “พระธาตุกาวีปีก” (วีปีก เป็นภาษาปักษ์ใต้ หมายถึง กระพือปีก) ต่อมาจึงเรียกเพี้ยนสั้นลงว่า พระธาตุสวี  ตำนานยังเล่าอีกว่า ก่อนที่พระเจ้าศรีธรรมาโศกราชจะเสด็จยกทัพกลับ ทรงเรียกหานายทหารที่สมัครใจจะอยู่ดูแลรักษาองค์พระธาตุ เผอิญมีทหารนายหนึ่งชื่อ “นายเมือง” รับอาสา พระองค์จึงรับสั่งให้ตัดศีรษะนายเมืองเพื่อเซ่นสรวงเป็นดวงวิญญาณรักษาพระธาตุสืบไป โดยตั้งศาลไว้เรียกว่า “ศาลพระเสื้อเมือง” ปัจจุบันอยู่ทางด้านหน้าหรือทางทิศตะวันออกของพระธาตุสวี ซึ่งถัดไปจะเป็นแม่น้ำสวี เดิมเป็นอาคารไม้ก่อเป็นโรงเรือนปิดทึบ ต่อมาได้บูรณะใหม่เป็นอาคารทรงไทยหลังคาจั่วแบบตรีมุข มุงกระเบื้องดินเผาเคลือบ สำหรับวัดสวี มีประวัติว่าตั้งขึ้นเมื่อปี พ.ศ. ๒๓๒๕ ต่อมาในสมัยต้นรัชกาลที่ ๖  ยอดพระธาตุได้หักพังลง จึงมีการบูรณะครั้งใหญ่ และมีการทำนุบำรุงรักษาสืบมา