ภายในวัดพระบรมธาตุ มีสิ่งที่น่าสนใจคือ เจดีย์พระบรมธาตุซึ่งได้รับการซ่อมแซมอยู่ตลอดมา และใบเสมาทำจากหินชนวนปักไว้โดยรอบพระอุโบสถ นับว่าเป็นร่องรอยทางศิลปกรรมที่สำคัญเมื่อพิจารณาจากลวดลายที่อยู่กึ่งกลางเสมา

ศ.ดร. สันติ เล็กสุขุม ให้ความเห็นว่า เป็นลวดลายที่มีลักษณะเฉพาะและยังไม่มีระเบียบแบบแผนที่สมดุล แต่ละใบมีการใส่ลวดลายที่ไม่เหมือนกัน เช่น ลายเทพนมเหนือดอกบัว ลายกนกผสมกับลายพันธุ์พฤกษาที่ได้รับอิทธิพลจากลวดลายจีนซึ่งพบมากในศิลปะล้านนา อีกทั้งมีความคล้ายคลึงกับลวดลายบนลายสลักหินที่พบจากใต้ฐานชุกชีวิหารหลวงวัดมหาธาตุอยุธยา หากใช้การประมาณอายุด้วยวิธีพิจารณาจากวิวัฒนาการลวดลาย กลุ่มลายเหล่านี้น่าจะมีอายุในช่วงพุทธศตวรรษที่ ๒๐-๒๑

ส่วนในโบสถ์วัดเกยไชยเหนือมีการเก็บรักษาโบราณวัตถุ บางส่วนได้จากบริเวณวัดและท้องน้ำหน้าวัด เป็นพวกเครื่องถ้วยจีนและไทยสมัยอยุธยาทั้งสิ้น

ปรางค์จำลองทำจากหินทราย พบใกล้บริเวณโบราณสถานที่พันลาน ซึ่งเป็นการยืนยันถึงการติดต่อกับภูมิภาคในเขตอีสาน โดยน่าจะมีการนำมาไว้ในท้องถิ่นนี้อย่างชัดเจนที่สุด บริเวณบ้านพันลานพบโบราณสถานที่ยังไม่เป็นที่รู้จักนัก ในบริเวณสำนักสงฆ์เป็นพระปรางค์ ห่างจากริมแม่น้ำน่าน หรือแควใหญ่มาทางฝั่งตะวันออกราว ๕๐๐ เมตร ก่อนถึงวัดพันลานเล็กน้อย และต่ำกว่าปากน้ำเกยไชยราว ๗-๘ กิโลเมตร

ใบเสมาทำจากหินชนวนปักไว้โดยรอบพระอุโบสถ วัดเกยไชยเหนือ

ตัวโบราณสถานจากสภาพเท่าที่เห็น ฐานที่น่าจะเป็นตัวปรางค์หรือเจดีย์ก่อด้วยอิฐขนาดใหญ่เป็นรูปสี่เหลี่ยมจัตุรัส เป็นฐานเขียงที่ไม่มีการลดชั้นหรือย่อมุม ต่อด้วยอาคารก่ออิฐซึ่งคาดว่าน่าจะเป็นรูปสี่เหลี่ยมผืนผ้า มีการก่ออิฐปิดต่อกับตัวฐานเจดีย์หรือปรางค์ มีการขุดฐานอาคารบริเวณนี้พบว่า เป็นการก่อปิดเชื่อมต่อกันภายหลัง 

ส่วนด้านบนของเจดีย์หรือปรางค์มีการขุดกรุภายใน ทำให้เห็นว่าฐานเดิมก่อด้วยศิลาแลงขนาดใหญ่แล้ว จึงมีการก่ออิฐปิดในภายหลัง นับว่าเป็นรูปแบบอาคารที่แปลกและสันนิษฐานรูปแบบและการใช้งานได้ยาก นอกจากจะทำการขุดแต่งศึกษากันอย่างจริงจัง

โบราณวัตถุที่ได้จากกรุอาคารด้านในที่ทำจากศิลาแลงคือพระพุทธรูปที่เป็นพระพิมพ์ และชิ้นส่วนของสถาปัตยกรรมที่ตกอยู่ภายนอกโบราณสถานคือ ปรางค์จำลองทำจากหินทราย ส่วนใหญ่พบในภาคตะวันออกเฉียงเหนือ เช่นที่สถานพระนารายณ์ 
 

โบราณสถานที่พันลาน ฐานน่าจะเป็นปรางค์หรือเจดีย์ก่ออิฐขนาดใหญ่