การเสด็จฯ เมืองเพชรบุรีของพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ ๔) ในเดือนอ้าย พุทธศักราช ๒๔๐๑ พระองค์ได้ทอดพระเนตรภูมิสถานของเมืองเพชรบุรีโดยตลอด จึงได้มีพระราชดำริที่จะสร้างพระราชวังขึ้น สำหรับประทับแรมในเวลาเสด็จฯ เมืองเพชรบุรีบนเขาสมณ 

          หลังจากโปรดเกล้าฯ ให้พระพรหมบริรักษ์ออกมาสำรวจพื้นที่กับเจ้าเมืองเพชรบุรีแล้ว ในพุทธศักราช ๒๔๐๑ จึงโปรดเกล้าฯ ให้จัดพิธีก่อพระฤกษ์ก่อสร้างพระที่นั่งของพระราชวังใหม่ซึ่งสร้างขึ้นบนเขาสมณ ได้พระราชทานนามพระที่นั่งองค์นั้นว่า พระที่นั่งเพชรภูมิไพโรจน์ ในหมายรับสั่งครั้งรัชกาลที่ ๔ ได้ระบุวันเวลาในการก่อฤกษ์พระที่นั่งเพชรภูมิไพโรจน์ไว้ว่า ครั้ง ณ วันขึ้น ๘ ค่ำ เดือน ๘ ปี เอกศก จุลศักราช ๑๒๒๑ เป็นปีที่ ๘ แห่งรัชกาล (ตรงกับวันที่ ๗ กรกฎาคม พุทธศักราช ๒๔๐๒)

          การก่อสร้างพระราชวังแห่งใหม่ที่เมืองเพชรบุรีในครานั้น ในพระราชพงศาวดาร ปรากฏนามบุคคลสำคัญ ๒ ท่าน ผู้มีส่วนในการก่อสร้าง ท่านแรกคือ เจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค) สมุหพระกลาโหม ดูแลหัวเมืองฝ่ายใต้ เป็นแม่กองในการก่อสร้าง พระเพชรพิไสยศรีสวัสดิ์ (ท้วม บุนนาค) ปลัดเมืองเพชรบุรี บุคคลทั้งสองนี้ ในเวลาต่อมาจะได้รับพระราชทานบรรดาศักดิ์สูงขึ้น กล่าวคือ เจ้าพระยาศรีสุริยวงศ์ ได้เป็นผู้สำเร็จราชการแผ่นดิน ในสมัยต้นรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ ๕) ก่อนจะได้รับบรรดาศักดิ์สูงสุดเป็นสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ และพระเพชรพิไสยศรีสวัสดิ์ (ท้วม บุนนาค) ต่อมาได้รับราชการในพระนคร และได้เป็นเสนาบดีว่าการต่างประเทศ บรรดาศักด์สุดท้ายคือ เจ้าพระยาภาณุวงศ์มหาโกษาธิบดี