วัดนี้พระเจ้าอู่ทองสร้างเมื่อปี พ.ศ.1900 สำหรับเป็นสำนักของพระสงฆ์ ซึ่งไปบวชเรียนมาแต่สำนักพระวันรัตน์มหาเถระในลังกาทวีป เรียกนามนิกายนี้ว่า “คณะป่าแก้ว “ จึงได้นามว่า “วัดป่าแก้ว “
ต่อมาคนทั้งหลายพากันเลื่อมใสบวชเรียน พระสงฆ์นิกายก็เจริญแพร่หลาย พระราชาธิบดีจึงตั้งอธิบดีสงฆ์นิกายนี้เป็นสมเด็จพระวันรัตน มีตำแหน่งเป็นสังฆราชฝ่ายขวาคู่กับพระพุทธโฆษาจารย์เป็นอธิบดีสงฆ์ฝ่ายคันถธุระคือสังฆราชฝ่ายซ้าย และวัดนี้เป็นที่สถิตของพระสังฆราชจึงได้ชื่อว่า “วัดเจ้าพญาไท “
วิหารพระพุทธไสยาสน์ สร้างขึ้นในสมเด็จพระนเรศวรมหาราช เพื่อเป็นที่สักการะบูชาและปฏิบัติพระกรรมฐานพระพุทธรูป ได้รับการปฏิสังขรณ์ใหม่ในปี พ.ศ.2508
สำหรับอุโบสถของวัดนี้พระเทียรราชาเคยไปเสี่ยงเทียนอธิฐานแช่งบารมีกับขุนวงศาธิราชก่อนที่จะได้ราชสมบัติ
ในแผ่นดินพระนเรศวรมหาราช พระมหาอุปราชแห่งพม่าได้ยกกองทัพเข้าตีกรุงศรีอยธยาเมื่อปี พ.ศ.2135 หมายจะปราบปรามเมืองไทยไว้ในอำนาจ สมเด็จพระนเรศวรทรงยกกองทัพออกไปต่อสู้ข้าศึก จนได้ชนช้างกับพระมหาอุปราช ที่ตำบลหนองสาหร่าย สมเด็จพระนเรศวรมหาราชมีชัยชนะทรงฟันพระมหาราชสิ้นพระชนม์บนคอช้าง
แต่ครั้งนั้นไม่สามารถตีกองทัพข้าศึกให้แตกยับเยินไปได้ เนื่องจากกองทัพต่างๆติดตามไปไม่ทันพระองค์ ครั้นเมื่อเสร็จการสงครามแล้ว สมเด็จพระนเรศวรตึงทรงพิโรธแม่ทัพนายกองเหล่านั้น จะให้ประหารชีวิตแม่ทัพนายกองที่ตามไม่ทันเสียให้หมด
สมเด็จพระวันรัตนวัดป่าแก้วทรงถวายพระพร ขอพระราชทานไว้ แล้วทูลแนะนำให้ทรงสร้างเจดีย์ไว้เป็นที่ระลึกเพื่อเฉลิมพระเกียรติ ที่ได้ชัยชนะอันยิ่งใหญ่ครั้งนั้น สมเด็จพระนเรศวรโปรดให้สร้างเจดีย์ใหญ่ที่วัดแห่งนี้ เจดีย์ที่สมเด็จพระนเรศวรทรงสร้างขึ้นที่วัดนีขนานนามว่า พระเจดีย์ชัยมงคล ต่อมาจึงเรียกวัดนี้ว่า “ วัดใหญ่ชัยมงคล “
เจดีย์สูงถึง 62.10 เมตร ทำให้มีน้ำหนักมากถึง 28,154 ตัน เป็นเหตุให้แรงอัดบนดินมหาศาล น้ำใต้ดินในบริเวณนี้จึงค่อยๆถูกดันออกไป จนเกิดโพรงโหว่ใต้ดิน นานวันเข้าพื้นดินจึงทรุดลง ส่งผลให้เจดีย์เอียงอย่างที่เห็น
ดร.พิริยะ ไกรฤกษ์ เสนอว่าเจดีย์แบบนี้ อาจจะได้รับวิธีการสร้างมาจากเปอร์เซีย ซึ่งคงแพร่เข้ามาในสมัยพระนารายณ์มหาราช ดร.พิริยะ จึงคาดว่าเจดีย์องต์นี้ อาจะสร้างขึ้นในรัชสมัยพระนารายณ์ แตกต่างจากข้อสันนิษฐานเดิม ที่เชื่อกันโดยคนทั้่วไปว่าสร้างขึ้นในสมัยสมเด็จพระนเรศวรมหาราช
เจดีย์ตั้งอยู่บนฐานสูง 15 เมตร ภายในองค์เจดีย์ก่อกลวงเป็นห้องคล้ายโดมขนาดใหญ่ สามารถเข้าไปภายในได้ คาดว่าเดิมคงใช้เป็นที่ประดิษฐานรูปเคารพหรือพระเจดีย์องค์เล็กๆ หรือใช้เป็นที่ประกอบพิธีกรรม นักวิชาการบางท่านจึงเรีนกเจดย์แบบนี้ว่า สถูป เจดีย์แบบนี้ยังพบได้อีกหลายแห่งในอยุธยา ถือเป็นเจดียอีกแบบหนึ่งที่เป็นเอกลักษณ์ของอยุธยา