ข้อห้ามเกี่ยวกับอาหารของพราหมณ์
พราหมณ์เมืองพัทลุงจะไม่กินเนื้อและปลาไหลเพราะพราหมณ์ถือว่าวัวเป็นสัตว์ที่ศักดิ์สิทธิ์ เป็นพาหนะของพระอิศวรซึ่งเป็นเทพเจ้าของพราหมณ์ส่วนเนื้อปลาไหล ที่พราหมณ์ไม่รับประทาน เพราะมีเรื่องเล่าทำนองนินทาว่า ในสมัยหนึ่งพระอิศวรเสด็จประพาสป่า ทรงพบกวางคู่หนึ่งกำลังร่วมสังวาสกันอยู่ พระอิศวรเกิดความกำหนัดขึ้นมาจึงแปลงกายเป็นกวางตัวผู้ร่วมสังวาสกับกวางตัวเมียต่อมาพระอิศวรเกิดความละอายใจจึงตัดอวัยวะสืบพันธ์ทิ้งไป ก็เกิดเป็นปลาไหล ด้วยความเชื่อนี้เองพราหมณ์จึงไม่กินปลาไหล
รูปเคารพของพราหมณ์พัทลุง เท่าที่เหลือในปัจจุบัน คือ รูปพระอิศวรหล่อสำริดปางนาฏราชศิลปะอินเดียพระพิฆเนศวร พระอุมา และยังมีรูปพระโพธิสัตว์มัญชุศรีของพระพุทธศาสนาลัทธิมหายานร่วมอยู่ด้วยโดยพราหมณ์เข้าใจว่าเป็นรูปพระอิศวร”
จากตำนานพราหมณ์เมืองพัทลุงที่ยกมาอ้างดังกล่าว พอจะโยงใยไปถึงการก่อตั้งสำนักเขาอ้อได้เนื่องจากตามหลักฐานพบว่าพราหมณ์เคยไปอยู่ละแวกอำเภอควนขนุน คือ ในเขตใกล้เคียงกับเขาอ้อและที่ว่าพราหมณ์ชอบตั้งที่พำนักสูง ๆ เพราะถือว่าตัวเองเป็นชนชั้นสูงโดยเฉพาะพราหมณ์ผู้เรืองเวทย์ด้วยแล้ว ยิ่งต้องการที่สูงอาศัยอยู่และต้องการสถานที่สงบเงียบเพื่อการบำเพ็ญพรต ในละแวกอำเภอควนขนุน
เขาอ้อถือเป็นชัยภูมิที่ดีมากแห่งหนึ่ง เส้นทางคมนาคมในอดีต คือ ลำคลองผ่านหน้าเขาภายในเขามีถ้ำกว้างใหญ่ เย็น สบาย รอบ ๆ เขาเป็นที่อยู่ของชาวบ้านและที่สำคัญอยู่ไม่ห่างตัวเมืองพัทลุงเก่ามากนักด้วยเหตุนี้อาจจะมีพราหมณ์ผู้เรืองเวทสักกลุ่มได้ตั้งสำนักขึ้นเพื่อถ่ายทอดวิทยาการของพราหมณ์สู่ลูกหลานพราหมณ์รวมทั้งลูกหลานกษัตริย์ซึ่งเป็นหน้าที่ของพราหมณ์โดยตรงที่จะต้องทำหน้าที่ราชครูให้เหล่าพระวงศ์และองค์รัชทายาทในเมืองต่างๆ ด้วยเหตุนี้วัดเขาอ้อ แม้ต่อมาเปลี่ยนเป็นวัด มีพระเป็นเจ้าอาวาสแล้วเจ้าเมืองต่างๆ ก็นิยมส่งลูกหลานไปเรียน
