ส่วนทับหลังประตูด้านทิศตะวันตกหล่นอยู่บนพื้นเป็นรูปนารายณ์ทรงครุฑ ปรางค์องค์ทิศใต้ยังคงมีทับหลังของเดิมเหนือประตูหลอก ด้านทิศเหนือเป็นภาพเทวดานั่งชันเข่าในซุ้มเรือนแก้วเหนือหน้ากาล 

นอกจากนี้ ทางด้านหน้ายังมีทับหลังภาพพระอิศวรประทับนั่งบนหลังโค และมีเสานางเรียงด้วย สันนิษฐานว่า กู่พระโกนาเดิมจะมีสะพานนาคและทางเดินประดับเสานางเรียงทอดต่อไปจากซุ้มประตูหน้าไปยังสระน้ำหรือบารายซึ่งอยู่ห่างออกไปประมาณ ๓๐๐ เมตร จากรูปแบบลักษณะทางศิลปกรรมทั้งหมดของภาพสลักและเสากรอบประตู ซึ่งเป็นศิลปะขอมแบบบาปวน มีอายุในราว พ.ศ. ๑๔๖๐–๑๖๓๐ สันนิษฐานว่ากู่พระโกนาคงจะสร้างขึ้นในราวพุทธศตวรรษที่ ๑๖

กู่พระโกนามีภาพสลักประดับตามส่วนต่าง ๆ ของปราสาทงดงามน่าชม เช่น ลายบัวแปดกลีบที่อกเลาประตูหลอก (อกเลา คือ ไม้สันคมตรงกลางของประตูหน้าต่าง เพื่อใช้เป็นตัวประกบระหว่างบานประตู) ลายก้านขด/ลายก้านต่อดอกที่เสาซุ้มประตูปราสาท เป็นต้น

ถึงแม้โบราณสถานแห่งนี้จะพังทลายตามกาลเวลาและมีการซ่อมแซมในสมัยหลัง แต่ยังมีภาพสลักเล่าเรื่องที่งดงามปรากฏอยู่ ได้แก่ ภาพสลักนารายณ์บรรทมสินธุ์ หรือวิษณุอนันตศายินปัทมนาภะ ซึ่งเป็นเรื่องราวการบรรทมของพระวิษณุเหนือพญาอนันตนาคราชเพื่อสร้างโลก ณ เกษียรสมุทรหรือทะเลน้ำนมอันเป็นที่ประทับของพระองค์ โดยตามความเชื่อของฮินดูกล่าวว่า เมื่อโลกถึงกลียุคพระศิวะจะทำลายล้างโลก จากนั้นพระวิษณุ (พระนารายณ์) จะสร้างโลกใหม่โดยกระทำโยคะนิทราจนบังเกิดเป็นดอกบัวทองผุดจากพระนาภี (สะดือ) ภายในดอกบัวมีพระพรหมประทับอยู่และจะทำหน้าที่สร้างโลกต่อไป

ภาพสลักพระนารายณ์บรรทมสินธุ์ที่กู่พระโกนาพบบนทับหลังด้านทิศตะวันออกของปราสาทองค์เหนือ ซึ่งปัจจุบันปราสาทดังกล่าวมีการสร้างอาคารครอบไว้ ทับหลังของปราสาทองค์นี้มีความพิเศษพบได้น้อยมาก กล่าวคือ เป็นทับหลังซ้อนกัน ๒ ชิ้น สลักแยกกัน ชิ้นที่ ๑ อยู่ด้านล่างมีขนาดใหญ่ สลักภาพบุคคลที่กึ่งกลางทับหลังซึ่งลบเลือนไปแล้วแต่ยังปรากฏท่อนพวงมาลัย/พวงอุบะ และลายพรรณพฤกษา ชิ้นที่ ๒ อยู่ด้านบนมีขนาดเล็กกว่าสลักภาพนารายณ์บรรทมสินธุ์ โดยลักษณะทับหลังที่มี ๒ ชิ้น ซ้อนกันแบบนี้นิยมในพุทธศตวรรษที่ ๑๕ แต่พบว่าทับหลังปราสาทบางองค์ในพุทธศตวรรษที่ ๑๖ ก็ยังคงปรากฏอยู่ ดังเช่นปราสาทองค์เหนือที่กู่พระโกณาแห่งนี้