阿尔山市位于内蒙古自治区兴安盟西北部。阿尔山市横跨大兴安岭西南山麓，是兴安盟林区的政治、经济、文化中心，也是全国纬度最高的城市之一。阿尔山市前身是兴安盟科右前旗的一个建制镇，1992年12月5日经自治区人民政府批准成立阿尔山经济开发区，实行计划单列。
阿尔山市东邻呼伦贝尔市所辖扎兰屯市和兴安盟扎赉特旗，南至兴安盟科右前旗，西与蒙古国接壤，北和呼伦贝尔市新巴尔虎左旗、鄂温克族自治旗毗连。东西长142公里，南北长118公里，总面积7408.7平方公里，辖区内中蒙边境线长93.434公里。
截至2020年，阿尔山市下辖4个街道，4个镇，有林海街道，新城街道，温泉街道，伊尔施街道，天池镇，白狼镇，五岔沟镇，明水河镇。
阿尔山市处于特殊的地理环境，海拔高度由西南向东北逐渐升高，全年主要受东南海洋暖湿气流与西北干寒气流影响，属寒温带大陆性季风气候，又处于大陆型高山气候区，地方小气候特征明显。全年气温较低，无霜期短，气温日差较大。