จากความเชื่อตามตำนานอุรังคธาตุ ตำนานความเชื่อที่คนโบราณจำนวนมากเชื่อว่าโบราณสถานแห่งนี้เกี่ยวพันกับพุทธศาสนามาโดยตลอดถึง ๔ ช่วงสมัย สมัยที่ ๑ กล่าวถึงพระพุทธเจ้าเสด็จมาบริเวณที่เรียกว่า ดอยแท่น หลังจากที่ได้ทรงเทศนาธรรมแก่พระสุวรรณภิงคารแล้ว 

สมัยที่ ๒ หลังจากพระพุทธเจ้าเสด็จปรินิพพานแล้วบรรดาชาวเมืองหนองหารหลวง และเมืองหนองหารน้อยก่ออุโมงค์แข่งขันกัน อุโมงค์เมืองหนองหารน้อย คือ องค์พระธาตุภูเพ็กแห่งนี้ 

สมัยที่ ๓ พระมหากัสสปะนำพระอรหันต์ ๕๐๐ รูป ได้นำอุรังคธาตุประดิษฐานที่ดอยแท่นก่อนแยกย้ายไปบิณฑบาต ในเมืองหนองหารหลวง หนองหารน้อย 

สมัยที่ ๔ คือ สมัยหลังจากพระพุทธเจ้าปรินิพพานไปได้ ๕๐๐ ปี ท้าวพระยาและฤาษี ๒ ตน คือ อมรฤาษี และโบธิกฤาษี ได้นำก้อนหินที่ดอยแท่นไปร่วมปฏิสังขรณ์พระธาตุพนมดอยภูกำพร้า ความเชื่อดังกล่าว ทำให้เกิดการเชื่อมโยง อธิบายสถานที่สำคัญๆ เช่น ‘แค้นแท้’ เป็นบริเวณลานหินขนาดกว้างอยู่ห่างจากตัวปราสาท ไปทางทิศตะวันตกสุดขอบไหล่เขาที่ตั้งตัวปราสาท บริเวณแห่งนี้มีทั้งก้อนหิน ที่ถูกเครื่องมือโบราณสกัดขาดแล้วเป็นก้อนขนาดใหญ่รอการเคลื่อนย้าย และที่อยู่ระหว่างสกัดเห็นเป็นร่องๆ จำนวนมาก แสดงให้เห็นว่าช่างผู้สร้างปราสาทแห่งนี้มิได้นำก้อนหินมาจากเชิงเขาแต่อย่างใด แต่หากสกัดหินจากยอดเขาแห่งนี้ด้วยความพยายาม ที่เรียกบริเวณนี้ว่า แค้นแท้ เพราะผู้สกัดหินถูกเพื่อนๆ หลอกลวงว่าอุโมงค์ของสตรีที่หนองหารหลวงสร้างเสร็จแล้ว ดาวเพ็กขึ้น แล้วให้วางมือจากการก่อสร้าง ต่อเมื่อรู้ว่าเสียรู้สตรีจึงมีแต่ความแค้นในอก

ในปี พ.ศ. ๒๔๗๖ กรมศิลปากรส่งคณะเจ้าหน้าที่มาสำรวจเพื่อทำแผนผังตัวปราสาทหินภูเพ็กและบริเวณรอบๆ คณะดังกล่าวได้สลักข้อความไว้ที่ขอบประตูว่า มาราชการสนาม ลงวันที่ ๗/๑๐/๒๔๗๖ กรมศิลปากรประกาศขึ้นทะเบียนโบราณสถานเจดีย์ภูเพ็ก หรือพระธาตุภูเพ็ก ตามประกาศในราชกิจจานุเบกษา เล่มที่ ๕๒ ตอนที่ ๗๕ เมื่อวันที่ ๘ มีนาคม พ.ศ. ๒๔๗๘ กำหนดเขตที่ดินเนื้อที่โบราณสถาน ประมาณ ๑๙ ไร่ ๑ งาน ๔๓ ตารางวา ประกอบด้วยรายละเอียดสิ่งก่อสร้าง ๓ อย่างคือ ปรางค์ประธาน ฐานศิลาแลง (ความจริงเป็นหินทราย) และสระน้ำ ต่อมาได้ประกาศราชกิจจานุเบกษาเพิ่มเติม เพื่อกำหนดขอบเขตโบราณสถาน เมื่อวันที่ ๓๐ มิถุนายน พ.ศ. ๒๕๒๔ 

พระธาตุภูเพ็ก มีเส้นทางขึ้นภูเขาสูงคดเคี้ยวสูงจากระดับน้ำทะเล ๕๒๐ เมตร  สันนิษฐานว่าสร้างขึ้นราวพุทธศตวรรษที่ ๑๖ เพื่อเป็นศาสนสถานในศาสนาฮินดู แต่ภายหลังดัดแปลงเป็นพุทธศาสนสถาน

เป็นปราสาทขอมขนาดใหญ่ องค์พระธาตุก่อสร้างด้วยหินทราย เรือนธาตุตั้งอยู่บนฐานยกสูง ตอนหน้าของปราสาทมีฐานหินเป็นก้อนเรียงซ้อนๆ กัน ยื่นออกคล้ายกากบาท เรียกว่า โคปุระ สูงกว่าฐานของเรือนฐานเล็กน้อย ตัวเรือนธาตุทั้งสี่ด้านย่อมุมๆ ละ ๕ เหลี่ยม หน้าอาคารปราสาทหันไปทางทิศตะวันออกและมีบันไดหินก่อปูนขึ้นบนยอดเขาประมาณ ๔๙๑ ขั้น ตามตำนานสันนิษฐานว่าสร้างขึ้นสมัยเดียวกับพระธาตุนารายณ์เจงเวง 
 

พระธาตุนารายณ์เจงเวง ตามตำนานสันนิษฐานว่าสร้างสมัยเดียวกับ