Nhiều cựu phu trầm kể rằng, truyền thuyết xứ Trầm hương ghi nữ thần Thiên Y A Na (Bà Cô) trấn 4 cây kỳ nam khổng lồ tại 4 ngọn núi thiêng ở 4 hướng đông-tây-nam-bắc. Một trong 4 cây kỳ nam ấy tọa ở núi Hoàng Ngưu thuộc địa phận huyện Diên Khánh, tỉnh Khánh Hòa.