ภาพเขียนจากสีแดงและสีขาว-เทา รูปธรรมจักรบริเวณภายในถ้ำ

และที่สำคัญไปกว่านั้นคือ คุณมนัส โอภากุล ชี้ว่าบนยอดเขามีถ้ำเล็ก ผนังถ้ำมีภาพเขียนสีเป็นรูปดอกไม้และธรรมจักร สันนิษฐานว่าเป็นภาพเขียนสียุคสมัยทวารวดีที่มีความหมายถึงอริยสัจสี่และมรรคแปด เมื่อติดตามไปสำรวจภายในถ้ำพบว่า เป็นถ้ำขนาดเล็กและมีร่องรอยการเกลาปากถ้ำและพื้นผนังถ้ำให้กว้างขึ้นและเรียบขึ้น ถ้ำนี้อาจจะเคยบรรจุพระพุทธรูปมาก่อน อันอาจจะเป็นร่องรอยของการไว้ชื่อว่า ‘เขาพระ’ มาแต่อดีตนั่นเอง ภายในมีการเขียนสีด้วยลายเส้นสีแดงจากแร่เฮมาไทต์และแร่สีขาวที่อาจทำมาจากดีบุก เป็นรูปธรรมจักรขนาดต่างๆ พบผนังถ้ำทั้งเพดานด้านบนและด้านข้าง ทั้งชัดเจนและลบเลือน นับได้น่าจะไม่ต่ำกว่า ๘-๑๐ วง

สิ่งที่สำคัญอย่างมากของ ‘เขาพระ’ ก็คือ บนยอดเขามีฐานอาคารทำด้วยหินก้อนใหญ่ เรียงอย่างประณีต ขนาดราว ๑๑ x ๒๓ เมตร บริเวณตรงกลางมีร่องรอยของฐานอิฐและกระเบื้องกาบกล้วยเนื้อแกร่งเหลืออยู่ไม่มากนัก ไม่แน่ใจว่าเป็นฐานของพระสถูปหรือไม่ หากใช่ก็น่าจะมีรูปลักษณ์และระเบียบแบบแผนไม่ต่างไปจากโบราณสถานตั้งแต่ ‘เขาพุหางนาค’ ที่มีอายุค่อนข้างเก่าที่สุดในกลุ่มโบราณสถานบนภูเขาคือในราวพุทธศตวรรษที่ ๑๔-๑๕ บนยอด เขาทำเทียม ที่มีร่องรอยของพระพิมพ์อาจจะอยู่ในช่วงหลังพุทธศตวรรษที่ ๑๕-๑๖ 

ส่วนกลุ่มโบราณสถานที่ เขาพระหรือวัดเขาวง นี้ น่าจะอยู่ในช่วงสมัยเดียวกับ โบราณสถานที่เขาดีสลัก ซึ่งกำหนดอายุไว้ราวพุทธศตวรรษที่ ๑๖-๑๗ สืบเนื่องต่อมาในภายหลังอย่างชัดเจนกับแนวคิดของการจาริกแสวงบุญตามแนวเทือกเขาเลียนแบบการจาริกแสวงบุญสู่ ‘ปุษยคีรี’ จากรัฐโอดิชาหรือกลิงคะโบราณที่ปรากฏในอาณาบริเวณเมืองอู่ทองในช่วงยุคปลายสมัยทวารวดีที่ร่วมสมัยกับยุคศรีวิชัยที่ได้รับอิทธิพลพุทธศาสนาแบบมหายานแบบปาละที่แพร่เข้ามาสู่ลุ่มเจ้าพระยาและเข้าสู่ภาคอีสานในช่วงนี้อย่างชัดเจน