靈山鄉隸屬望奎縣管轄。位于縣境北部，北與海倫市毗連。海望公路縱貫鄉境。鄉政府駐地距縣城11公里。靈山鄉名源于古寺名。在后頭村西北1．5公里處，1923年建一座寺院，稱“靈山寺”（土改時被拆毀），由此得名。東北淪陷后期，設靈山村。1945年“九三”抗日戰爭勝利后，設定靈山區，1951年4月改為第三區。1956年4月，設定靈山鄉。1958年9月，改稱紅星人民公社。1980年12月，更名為靈山公社。1984年4月，改為靈山鄉。