ตั้งอยู่ทางด้านทิศใต้ของกลุ่มพระที่นั่งพิมานรัตยา เป็นลักษณะอาคารแบบโถงตะวันตกหลังคามุงกระเบื้อง หอพิสัยศัลลักษณ์ เป็นอาคารทรงหอ 4 ชั้น ขนาด 15.80 เมตร x 17.00 เมตร สูง 22 เมตร ตั้งอยู่ริมกำแพงด้านทิศตะวันออกเฉียงใต้ สันนิษฐานว่าสร้างครั้งแรกในสมัยสมเด็จพระนารายณ์มหาราช และได้พังลงตั้งแต่ก่อนเสียกรุงศรีอยุธยาครั้งที่ 2 สมัยรัชกาลที่ 4 โปรดเกล้าฯ ให้สร้างขึ้นตามรากฐานเดิมแล้วพระราชทานนามว่า หอพิสัยศัลลักษณ์ ใช้เป็นที่ประทับทอดพระเนตรดวงดาว ต่อมาเมื่อพื้นที่ภายในพระราชวังจันทรเกษม ถูกใช้เป็นที่ทำการมณฑลกรุงเก่า จึงทำหน้าที่เป็นหอสังเกตุการณ์และติดเครื่องสัญญาณเตือนภัยของมณฑลกรุงเก่า