ได้เริ่มจัดตั้งขึ้นภายหลังการย้ายเมืองนครชัยศรี จากตาบลท่านามายังบริเวณพระปฐมเจดีย์ในปลายรัชกาลสมัยสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 โดยสมเด็จพระเจ้าบรมวงศ์เธอ กรมพระยาดารง ราชานุภาพ เสนาบดีกระทรวงมหาดไทยในขณะนั้น ทรงมีพระราชดาริให้รวบรวมโบราณวัตถุในเมืองนครชัยศรีขึ้น เจ้าพระยาศรีวิไชยชนินทร์สมุหเทศาภิบาลมณฑลนครชัยศรี จึงมอบหมายให้หลวงพุทธเกษตรานุรักษ์ (จร จรณี)และหลวงไชยราษฎร์รักษา (โพธิ์ เคหะนันท์) เป็นผู้ดาเนินการ

โบราณวัตถุที่รวบรวมได้ในระยะแรกได้ถูกนามากเก็บรักษาไว้ที่ระเบียงคดรอบองค์พระปฐมเจดีย์ กระทั่งใน พ.ศ. 2454 จึงได้ย้ายไปไว้ในวิหารตรงข้ามพระอุโบสถ ซึ่งต่อมาเรียน ประปฐมเจดีย์พิพิธภัณฑสถาน (ปัจจุบันยังคงเป็นพิพิธภัณฑสถานในความดูแลของวัดพระปฐมเจดีย์) และใน พ.ศ.2477 ได้ยกฐานะเป็นพิพิธภัณฑสถานแห่งชาติหลังเดิมคับแคบ

ใน พ.ศ.2510 กรมศิลปากรได้จัดงบประมาณให้สร้างอาคาร พิพิธภัณฑสถานหลังปัจจุบันขึ้น และเคลื่อนย้ายโบราณวัตถุจากพิพิธภัณฑสถานหลังเดิมมาจัดแสดง โดยโบราณวัตถุ ส่วนใหญ่เป็นหลักฐานในสมัยทวารวดี ซึ่งเป็นช่วงอดีตที่รุ่งเรืองของดินแดนนครปฐม