豪山鄉位于安仁縣東南部，西北距縣城40公里，海拔高度：257米。與炎陵、資興、永興三縣接壤。全境為山區，群山環抱，高峰聳立，海拔1000米以上的高山有4座，最高處的金紫仙海拔達1433米。浦陽河、蓮花江由南而北貫穿全境。2014年7月1日吉衡鐵路安仁火車站建成通車，結束了安仁縣不通火車的歷史，從安仁站坐火車去西部偏北70公里處的衡陽只要12.5元，1個小時。