ในช่วงเวลาหนึ่งของเดือนมีนาคมและกันยายนในทุกปี พระอาทิตย์จะขึ้นที่ขอบฟ้าทางทิศตะวันออกแท้ตรงกับแกนหลักของปราสาทพอดี ซึ่งก็เหมือนกันกับการหมุนหน้าหรือหมุนทิศของปราสาทเทวาลัยในวัฒนธรรมของเขมรโบราณโดยทั่วไป ที่ส่วนใหญ่ก็จะเริ่มต้นจากการรังวัดหามุมแสงของพระอาทิตย์ตอนเช้า ซึ่งอยู่ในระบบความเชื่อโดยวางแผนผังตามแนวแสงของพระอาทิตย์ในเวลาเช้าทาบเป็นเงาจากหลักหมุดหนึ่งไปยังอีกหลักหนึ่งตามแนวเงาไปทางทิศตะวันตก เพื่อเตรียมการก่อสร้างอาคารศาสนสถานตามแนวหลักที่กำหนดขึ้นจากแสงอาทิตย์ สอดรับกับคติความเชื่อเก่าแก่ที่สืบทอดกันตั้งแต่ยุคก่อน

สำหรับ ศิวลึงค์ (Shiva Linga) ขนาดใหญ่ที่มีโครงสร้างอันซับซ้อน เป็นสัญลักษณ์สำคัญแทนองค์พระศิวะ มีร่องรอยของการจัดวางหมู่อาคารศาสนสถานล้อมรอบอาคารที่เป็นจุดศูนย์กลางอย่างปราสาทประธาน ด้วยระบบของอาคารระเบียงคดที่มีแผนผังรูปสี่เหลี่ยมล้อมปริมณฑลศักดิ์สิทธิ์ และอาจประกอบด้วยอาคารอื่นๆ ทั้งบรรณาลัย พลับพลาและอาคารเรือนเครื่องไม้
 

ประติมากรรมหินทราย ๒ ชิ้น คือ ศิวลึงค์ กับ ครรภบัตร
พบที่ปราสาทภูเพ็ก ที่มา: กรมศิลปากร

บันไดต้นทาง (Stairway) ด้านหน้าสุดของระดับชั้นล่างตามแนวแกนหลักของปราสาทภูเพ็ก จากตระ-พักเขาด้านล่างทางทิศตะวันออก น่าจะเป็นบันไดที่ทำขึ้นจากหินทราย เป็นชั้นเริ่มต้นอยู่ใกล้กับลานจอดรถของวัดพระธาตุภูเพ็ก ถัดขึ้นมาเป็นชาลาทางเดิน หรืออาจมีการทำเป็นหัวนาคที่หน้าบันได เรียกว่า สะพานนาค (Naga Bridge) บุด้วยหินทรายเป็นก้อนวางเรียงเป็นแนว ซึ่งหากสร้างเสร็จสมบูรณ์ก็อาจมีการวางเสานางเรียง (Cumval) เช่นเดียวกับปราสาทบนยอดเขาหลังอื่นๆ ด้านในของชาลาทางเดินใช้ดินบดอัดและนำหินทรายภูเขามาวางจัดเรียงปูทับไว้เป็นพื้นทางเดินด้านบน 

ด้านบนสุดของยอดเขา มีร่องรอยของการปรับพื้นที่เขาธรรมชาติให้เป็นลานเรียบเสมอกัน ทางด้านขวาของบันไดทางขึ้น มีร่องรอยของสระน้ำที่ไม่มีการกรุขอบสระด้วยหิน เรียกว่า สระแก้ว ซึ่งเป็นลักษณะของบ่อน้ำกินน้ำใช้ของผู้คนที่มาเป็นแรงงานสร้างปราสาท ไม่ใช่สระน้ำศักดิ์สิทธิ์ ติดกับสระน้ำใกล้กับหน้าผา มีลานหินขนาดไม่ใหญ่นัก ลานเพ็กมุสา 

บริเวณมุขกระสันของปราสาทหินภูเพ็ก ปรากฏประติมากรรมหินทราย ๒ ชิ้น คือ ศิวลึงค์ กับ ครรภ-บัตร ที่มีความสำคัญสามารถทำให้ทราบถึงลัทธิทางศาสนาของปราสาทแห่งนี้ได้ว่าสร้างขึ้นในศาสนาพราหมณ์ลัทธิไศวนิกายซึ่งนับถือพระศิวะเป็นเทพเจ้าสูงสุด

ครรภบัตรเป็นแท่นหินรูปสี่เหลี่ยมจัตุรัส ด้านบนตรงกลางเจาะเป็นช่องสี่เหลี่ยมจัตุรัสกว้างด้านละ ๒๒ ซม. และมีช่องสี่เหลี่ยมขนาด ๕ X ๕ ซม. เจาะเรียงเป็นแนวรอบช่องสี่เหลี่ยมตรงกลาง ด้านละ ๕ ช่อง รวมทั้งสิ้น ๑๖ ช่อง ถือเป็นแท่นหินสำหรับบรรจุสัญลักษณ์มงคล สำหรับประกอบพิธีฝังอาถรรพ์ก่อนการประดิษฐานรูปเคารพ โดยจะอยู่ภายในแท่นที่ประดิษฐานรูปเคารพอีกชั้นหนึ่ง ช่องเหล่านี้เจาะสำหรับบรรจุแผ่นโลหะ หิน รัตนชาติ หรือสิ่งของอื่นๆ ที่เป็นสัญลักษณ์ของอนุภาคทั้งหลายในจักรวาล ตามตำแหน่ง ทิศ และระดับความสำคัญ 

ครรภบัตรที่มีการบรรจุสัญลักษณ์อย่างถูกต้องจะทำหน้าที่เป็นมณฑล หรือแผนผังจักรวาล ในรูปย่อที่รวมของพลังอำนาจและความศักดิ์สิทธิทั้งหลายในจักรวาล อันจะส่งกระแสถ่ายทอดความศักดิ์สิทธิ์ให้แก่รูปเคารพที่ประดิษฐานอยู่ด้านบน รูปเคารพนั้นจะเกิดมีชีวิตและพลังอำนาจกลายสภาพเป็นตัวแทนสมบูรณ์ขององค์พระผู้เป็นเจ้า