จารึกจากปราสาทพระขรรค์ ระบุว่าพระเจ้าชัยวรมันที่ 7 ได้สร้างเมืองและได้ส่งพระพุทธรูปไปที่เมืองต่างๆ และหนึ่งในนั้นคือเมือง ศรีชัยวัชรปุระ ซึ่งก็คือเมืองเพชรบุรี โดยหลักฐานคือปราสาทเขมรในวัดกำแพงแลง อ.เมือง จ.เพชรบุรี ซึ่งยังเหลือปราสาท 5 หลัง คือ โคปุระ ซึ่งอยู่ทางทิศตะวันออก (ด้านซ้ายมือของภาพ) และประสาทอีก 3 หลังเรียงตัวในแนวเหนือใต้ โดยปราสาทองค์กลาง คือ ปราสาทประธาน ส่วนหลังที่ 5 อยู่ทางทิศตะวันตก (ด้านขวามือของภาพ) จากข้อสังเกตของนักวิชาการ ว่า เมืองที่พระเจ้าชัยวรมันที่ 7 สร้าง ที่ขึ้นด้วยศรี เช่น ศรีชัยวัชรปุระ (วัดกำแพงแลง เพชรบุรี) หรือ ศรีชัยสิงหบุรี (ปราสาทเมืองสิงห์ กาญจนบุรี) จะเป็นเมืองใหม่เพื่อเฉลิมพระเกียรติพระชัยวรมันที่ 7 ซึ้งจะวางผังเมืองตามเป็นรูปสี่เหลี่ยมตามแบบฉบับของเขมร ส่วนเมืองที่ไม่มีศรีได้แก่ ลไวทยปุระ(ละโว้) สุวรรณปุระ (เนินทางพระ อ.สามชุก จ.สุพรรณ) ศัมพูกะปัฏฏนะ (เมืองโบราณโกสินารายณ์ อ.บ้านโป่ง จ.ราชบุรี) ชัยราชบุรี (วัดมหาธาตุ ราชบุรี) คือเมืองที่สร้างมาก่อนหน้าไม่ได้สร้างใหม่ ปราสาทกำแพงแลงมีผังเมืองและรูปทรงของปราสาทคล้ายปราสาทเมืองสิงห์ จึงสันนิษฐานว่าน่าจะใช้พระโพธิสัตย์อวโลกิเตศวรเป็นศูนย์กลางคล้ายปราสาทเมืองสิงห์ (ในบางเมืองใช้พระนาคปรกเป็นศูนย์กลาง)
กำแพง ก่อด้วยศิลาแลงล้อมรอบทั้ง 4 ด้านรูปสี่เหลี่ยม ด้านทิศเหนือและทิศใต้ยาวด้านละ ม 97 เมตร ด้านทิศตะวันออกและตะวันตก ยาวด้านละ 72 เมตร มีประตูเข้าออกตรงกลางด้านละ 1 ประตู รวม 4 ประตู ตัวกำแพงสูง 5 ศอก กว้าง 2 ศอก ตัวกำแพงทำบัวสัดส่วนสวยงาม เนื้อที่ภายในบริเวณกำแพงประมาณ 4 ไร่เศษ ส่วนสระน้ำ 2. สระน้ำ อยู่ทางด้านตะวันออกเฉียงเหนือของกลุ่มโบราณสถานภายในเขตกำแพง เป็นสระน้ำกรุด้วยศิลาแลง จำนวน 1 สระ
ด้านขวามือสุดคือปรางค์ทิศตะวันออก(สันนิษฐานว่าอาจจะเป็นโคปุระ) ส่วนที่อยู่ด้านหลังปรางค์หลังนี้ ที่อยู่องค์กลางที่ส่วนยอดของปราสาทพังทลายแล้วคือปรางค์ประธาน
ปรางค์ที่อยู่ตรงกลางที่ยอดบนสุดพังลงมาคือปรางค์ประธาน ส่วนที่อยู่ด้านซ้าย คือปรางค์ทิศใต้ ที่อยู่ด้านขวามือ(เห็นเพียงบางส่วนคือปรางค์ทิศเหนือ)
ปรางค์ประธาน เป็นอาคารในผังรูปกากบาท ก่อด้วยศิลาแลง ตั้งอยู่บนฐานบัวลูกฟัก ส่วนยอดของปราสาทได้หักพังลง เหลือแต่หลังคาชั้นซ้อน 2 ชั้น มีนาคปักและกลีบขนุนประดับอยู่ตามมุมหลังคา ตัวเรือนธาตุเป็นรูปสี่เหลี่ยมจัตุรัสย่อมุม มีมุขเข้าคูหาด้านในทั้ง 4 ด้าน ซุ้มหน้าบันเหนือประตูด้านทิศใต้และทิศตะวันตกของตัวปราสาทคงปรากฏลวดลายปูนปั้นหลงเหลืออยู่ ภายในคูหาประดิษฐานหลวงพ่อเพชร พระพุทธรูปหินทรายสีแดง ศิลปสมัยอยุธยา ซึ่งนำมาจากวัดกุฎีทองใน อ.เมือง เพชรบุรี (ส่วนปรางค์ที่อยู่ทางขวามือของรูป คือปรางค์ทิศเหนือ)
ส่วนยอดของปรางค์ประธานเหลือเพียงชั้นซ้อน 2 ชั้น เปรียบเทียบกับปรางค์ทิศใต้ ที่ส่วนยอดของปรางต์ซึ่งมีความสมบูรณ์ตือ มีชั้นซ้อน 4 ชั้นและชั้นบัวยอดอีก 1 ชั้น รวม 5 ชั้น
ในคูหาปราสาทประธานประดิษฐานหลวงพ่อเพชร เป็นพระพุทธรูปหินทรายแดง สมัยอยุธยา
ด้านซ้ายและขวาของหลวงพ่อเพชร คิอพระโมกขลาและพระสาลีบุตร เป็นพระพุทธรูปหินทรายทั้ง 2 องค์
ในคูหาของปราสาทด้านทิศใต้ ประดิษฐานหลวงพ่อเทพประสิทธิ์และพระนอน
ปรางค์ทางทิศตะวันออก ผังรูปสี่เหลี่ยมจัตุรัสย่อมุม มีมุขยื่นออกมา 4 ทิศ เป็นมุขลด 2 ชั้น มุขแต่ละด้านมีหน้าต่างหลอก เป็นแบบลูกกรงลูกมะหวด ที่ผนังด้านข้างด้านละ 1 แห่ง สลักทึบครี่งหนึ่งให้เห็นลูกกรงทรงมะหวดเพียงครึ่งเดียว (ศิลปะแบบบายน) มีประตูเข้าออกเฉพาะด้านตะวันออกกับตะวันตก ส่วนด้านทิศเหนือกับทิศใต้เป็นประตูหลอก ลักษณะคล้ายกัน
ปรางค์ทางทิศตะวันออก ที่ผนังด้านข้างด้านละ 1 แห่ง สลักทึบครี่งหนึ่งให้เห็นลูกกรงทรงมะหวดเพียงครึ่งเดียว (ศิลปะแบบบายน)
ปรางค์ทางทิศตะวันออก ด้านทิศใต้
ปรางค์ทางทิศตะวันออกด้านตะวันตก
ปรางค์ทิศตะวันออกด้านทิศตะวันออก
ปรางค์ทิศตะวันออก ปัจจุบันเป็นที่ประดิษฐานหลวงพ่อนิล โดยประตูทางเข้าจะเข้าทางทิศตะวันตก โดยปิดทางเข้าทางทิศตะวันออก
ปราสาททางด้านทิศเหนือ มีลักษณะเหมือนปราสาททางทิศใต้ ผังเป็นรูปสี่เหลี่ยมจัตุรัสย่อมุม ฐานและเรือนธาตุชำรุดมาก มุขทางด้านตะวันออกและเรือนธาตุด้านนี้พังลงมาทั้งแถบตั้งแต่ยอด แต่จากสภาพที่เห็นยังเห็นทรวดทรงปรางค์ที่ได้สัดส่วน ลวดลายปูนปั้นยังพอให้เห็นได้ทางทิศเหนือ
ภายในคูหาของปราสาททางด้านทิศเหนือประดิษฐานพระพุทธรูป ชื่อพระพุทธเมตตา
ปราสาททั้งด้านทิศใต้ มี ชั้นซ้อนครบ ชั้นซ้อน 4 ชั้น และชั้นบัวยอดอีก 1 ชั้น เป็น 5 ชั้น
ที่ด้านใต้ของปราสาททางทิศใต้ มีพระพุทธรูปสมัยอยุธยาปางประธานอภัย น่าจะสร้างภายหลังจากการสร้างปราสาทหลังจากที่เพชรบุรีอยู่ภายใต้การปกครองของอยุธยา
ชั้นซ้อน (ฐานเหลี่ยม) 4 ชั้น + ชั้นบัวยอด (ฐานกลม) รวม 5 ชั้น
ปราสาททางทิศตะวันตก อยู่หลังปรางค์ประธานในแนวเดียวกับปรางค์ทิศตะวันออก เหลือเฉพาะส่วนฐานหรือเรือนธาตุบางส่วน แต่เดิมคงมีแผนผังเหมือนปราสาททางทิศเหนือและใต้
ประติมากรรมรูปเคารพ จากการขุดแต่งในปี พ.ศ.2530 พบประติมากรรมรูปเคารพหินทราย ได้แก่ พระโพธิสัตว์อวโลกิเตศวรเปล่งรัศมี พระพุทธรูปนาคปรก พระโพธิสัตว์อวโลกิเตศวร และนางปรัชญาปารมิตา ลักษณะศิลปะบายน อายุประมาณพุทธศตวรรษที่ 18