หอพิศัยศัลลักษณ์ เป็นอาคารทรงหอ 4 ชั้นขนาดของ 15.80 เมตร x 17.00 เมตร สูง 22 เมตร อาคารตั้งอยู่ริมกำแพงทางด้านทิศตะวันออกเฉียงใต้ ได้รับการสันนิษฐานว่า สร้างขึ้นเป็นครั้งแรกในรัชสมัยของสมเด็จพระนารายณ์มหาราช และได้พังลงก่อนเสียกรุงอยุธยาครั้งที่ 2 สมัยรัชกาลที่ 4 โปรดเกล้าฯให้สร้างขึ้นตามรากฐานเดิมแล้วพระราชทานนามว่าหอพิสัยศัลลักษณ์ ใช้เป็นที่ประทับทอดพระเนตรดวงดาว ต่อมาเมื่อพื้นที่ภานในพระราชวังจันทรเกษม ถูกใช้เป็นที่ทำการมณฑลกรุงเก่า จึงทำหน้าที่เป็นหอสังเกตุการณ์และติดเครื่องสัญญาณเตือนภัยของมณฑลกรุงเก่า