ถัดจาก ‘เขาคอก’ ที่เป็นแนวเขาเดียวกันและต่อเนื่องกันสูงขึ้นมาคือ ‘เขาพุหางนาค’ มีโบราณสถานสมัยทวารวดีตอนปลายที่ ‘ยอดเขารางกะปิด’ เรียกว่า โบราณสถานหมายเลข ๒ พุหางนาค ส่วน โบราณสถานหมายเลข ๑ ที่อยู่ไม่ไกลกันนั้น เป็นเจดีย์ทรงกลมสร้างด้วยอิฐแบบทวารวดีอยู่บนแนวก้อนหินที่ทำเป็นฐาน พบโบราณวัตถุพวกชิ้นส่วนสถูปจำลองและภาชนะดินเผาและอื่นๆ ที่น่าสนใจคือพบต่างหูทำจากตะกั่วและแผ่นพิมพ์รูปบุคคลทำจากตะกั่ว 

จากการศึกษาทางโบราณคดีพบว่า สร้างโดยการเรียงก้อนหินธรรมชาติจัดเรียงเป็นรูปสี่เหลี่ยมแบบเรียงหยาบๆ มีก้อนศิลาแลงและอิฐร่วมด้วย อิฐแบบทวารวดีมีจำนวนไม่น้อย นักโบราณคดีจึงสันนิษฐานรูปแบบอาคารจากการขุดแต่งเป็นฐานเขียงของสถูป เพราะพบพระพิมพ์ดินเผาอิทธิพลปาละพิมพ์เดียวกันหลายองค์ เป็นพระพิมพ์รูปพระพุทธรูปปางสมาธิ มีประภามณฑล ประทับบนบัลลังก์เหลี่ยมแวดล้อมด้วยเครื่องสูง ๕ ตำแหน่ง คือเหนือพระเศียรมีฉัตร ๑ คัน ข้างพระวรกาย มีบังแทรกหรือบังสูรย์ ๒ คัน ถัดลงมามีจามร ๒ คัน ซึ่งบรรจุอยู่ในภาชนะที่เป็นไหขนาดใหญ่โดยฝังอยู่ใต้ฐานโครงสร้างโบราณสถาน  

ยอดเขารางกะปิด ซึ่งเป็นเขาที่สูงที่สุดในบริเวณเมืองโบราณอู่ทอง

และเป็นที่ตั้งของโบราณสถานพุหางนาคหมายเลข ๒ 

มีการปรับพื้นที่บนยอดเขาเป็นพื้นเรียบ แล้วสร้างอาคารที่น่าจะเป็นพระสถูปเจดีย์

ด้านบน โดยการขุดแต่งจากกรมศิลปากรแล้ว และซ่อมเป็นฐานเขียงลดชั้นซ้อน

พบว่าเป็นอิฐแบบทวารวดีที่ผสมแกลบข้าวปนอยู่