เมื่อต้นรัชกาลสมเด็จพระนารายณ์โปรดให้เริ่มสร้างพระราชวังที่เมืองละโว้ ไว้สำหรับเป็นเมืองสำรองหากว่าเกิดเหตุการณ์ฉุกเฉินฝรั่งปิดล้อมแม่น้ำเจ้าพระยา ดังนั้นพระองค์จึงโปรดเกล้าให้วิศวกรชาวฝรั่งเศสมาออกแบบสร้างพระราชวังไว้ เมื่อเสร็จแล้วก็โปรดที่จะเสด็จมาประทับที่ละโว้มากกว่าที่กรุงศรีอยุธยา ประมาณ 7-8 เดือนต่อปีก็มักจะอยู่ละโว้ ต่อเมื่อมีพระราชพิธีสำคัญๆ จึงเสด็จกลับมาที่อยุธยา
.
ที่ละโว้นั้นเป็นสถานที่ง่ายต่อการเสด็จประพาสล่าสัตว์และจับช้างป่าต่างๆ เป็นงานที่ทรงโปรดมากที่สุด