วิหารโพธิ์พระเดิมเป็นหนึ่งในวิหารต้นโพธิ์ (โพธิฆระ) สองแห่งในวัดพระมหาธาตุ โดยวิหาร    หลังแรกคือวัดโพธิ์ลังกาซึ่งได้อธิบายไปก่อนหน้านี้ ตั้งอยู่ทางเหนือของพระเจดีย์ใหญ่ แต่ไม่ได้ตั้งอยู่บนแนวเดียวกับพระบรมธาตุเจดีย์อย่างเคร่งครัด ซึ่งบ่งบอกว่าน่าจะไม่ใช่เป็นส่วนหนึ่งการก่อสร้างของกลุ่มสถาปัตยกรรมเดียวกันเมื่อแรกเริ่ม สาเหตุอาจเกิดจากส่วนเหนือของวัดพระมหาธาตุเคยเป็นที่ตั้งของวัดหรือคณะสงฆ์สายอื่น ซึ่งเรียกว่า วัดพระเดิม ต่อมาได้รวมเข้ากับวัดพระมหาธาตุในสมัยอยุธยา เป็นเหตุผลที่ทำให้วิหารนี้มีชื่อว่า  โพธิ์พระเดิม ซึ่งหมายถึงต้นโพธิ์ของวัดพระเดิม ซึ่งปรากฏตำนานความศักดิ์สิทธิ์ของต้นโพธิ์ในวัดทั้งสอง ซึ่งเชื่อกันว่าสืบหน่อโดยตรงมาจากต้นพระศรีมหาโพธิ์ที่พระพุทธเจ้าได้บรรลุ  พระสัมมาสัมโพธิญาณที่โพธคยา ในภาคตะวันออกเฉียงเหนือของประเทศอินเดีย

          วิหารโพธิ์พระเดิมและวิหารโพธิ์ลังกาที่ตั้งอยู่ทางใต้ เป็นตัวอย่างของวิหารต้นโพธิ์ (โพธิฆระ)   ที่มีอายุยืนยาวที่สุดในเอเชียตะวันออกเฉียงใต้เท่าที่มีหลักฐานในขณะนี้ การขุดค้นทางโบราณคดีที่ฐานของวิหารนี้แสดงผลแบบ TL สอดคล้องกันที่ช่วง พ.ศ. 1355 - 1463, 1380 – 1488 และ 1382 - 1486 บ่งบอกว่ามีการสร้างครั้งแรกประมาณต้นพุทธศตวรรษที่ 14 - 15 ในช่วงเดียวกับที่มีการก่อสร้าง     พระบรมธาตุเจดีย์และวิหารโพธิ์ลังกาซึ่งได้รับอิทธิพลจากพุทธศาสนาฝ่ายมหายาน ในแง่ของคติทางศาสนาและรูปแบบสถาปัตยกรรม วิหารนี้มีแนวโน้มว่าได้รับอิทธิพลจากวิหารต้นโพธิ์ในอนุราธปุระ ประเทศศรีลังกา ซึ่งพุทธศาสนามหายานเจริญรุ่งเรืองเช่นกัน และมีการใช้มัญชุศรีภาษิตวาสตุวิทยาศาสตรา ซึ่งเป็นตำราสันสกฤตสำคัญเกี่ยวกับการสร้างรูปปั้นและสถาปัตยกรรมของพุทธศาสนา เช่น วิหารต้นโพธิ์ ตั้งแต่พุทธศตวรรษที่ 13 - 16

          ต้นโพธิ์ของวิหารโพธิ์พระเดิมเป็นเช่นเดียวกับวิหารโพธิ์ลังกา คือปลูกอยู่บนเนินดินแบบเปิดโล่งกลางวิหาร ซึ่งทำให้ต้นโพธิ์เจริญเติบโตเช่นในปัจจุบัน และมีระเบียงคดที่มีหลังคาเพื่อให้ผู้ศรัทธาสามารถเดินเวียนรอบ มีพระพุทธรูปเรียงรายตามแนวผนังด้านใน สำหรับหลังคากระเบื้องดินเผานั้นมีความลาดเอียงออกเพื่อช่วยระบายน้ำฝนที่ตกหนัก

          แม้ว่าระเบียงรอบต้นโพธิ์จะใช้เป็นห้องสมุดสำหรับการศึกษาพุทธศาสนา แต่ประชาชนทั่วไปยังคงให้ความเคารพและเดินเวียนรอบต้นโพธิ์อย่างมีสมาธิ ทำให้วิหารนี้ยังคงสืบสานประเพณีการสักการะต้นไม้ซึ่งดำรงอยู่ในความเชื่อพื้นเมืองและพุทธศาสนาเป็นเวลาหลายพันปี