บนยอดเขาพิหารแห่งนี้สันนิฐานว่าเดิมคงเป็นที่ตั้งของอุโบสถหลังเก่า ซึ่งต่อมาในราวกลางพุทธศตวรรษที่ 25 ได้ย้ายอุโบสถมาสร้างที่เชิงเขาด้านล่าง (หลังที่เห็นอยู่ในปัจจุบัน) และได้สร้างเจดีย์ครอบ "หลวงพ่อดำ" ซึ่งเป็นพระประธานของอุโบสถเดิมเอาไว้  เจดีย์นี้มีลักษณะเป็นเจดีย์ทรงระฆัง ก่ออิฐถือปูนมีลวดลายปูนปั้นประดับ  อันเป็นฝีมือช่างท้องถิ่นภาคใต้ และมีทางเข้าสู่คูหาที่ประดิษฐานพระพุทธรูปทางด้านทิศตะวันออก
    กรมศิลปกรได้ประกาศขึ้นทะเบียนเจดีย์บนยอดเขาพิหาร เป็นโบราณสถานของชาติเมื่อ 15 กันยายน 2540 และได้บูรณะซ่อมแซมเจดีย์ พร้อมทั้งปรับปรุงภูมิทัศน์รอบองค์เจดีย์ในปี พ.ศ. 2544 - 2545