สมัยก่อนรอบเกาะรัตนโกสินทร์มีการสร้างป้อมปราการ 14 แห่งเพื่อป้องกันพระนคร เมื่อเวลาผ่านไปป้อมหมดความจำเป็น จึงถูกรื้อถอน โดยป้อมพระสุเมรุ เป็น 1 ใน 2 ป้อมที่ยังคงเหลืออยู่ อีกป้อมหนึ่ง คือ ป้อมมหากาฬโดยรอบบริเวณป้อมพระสุเมรุได้มีการปรับปรุงให้เป็นสวนสันติชัยปราการ ซึ้งเป็นสถานที่พักผ่อนและทำกิจกรรม