象山乃以山状大势如象而得名。南宋乾道五年（1169）修成的《四明图经》，其卷六“山”云：“象山……山中间起一峰，有水源流，观望形状如象，因以为名。”南宋宝庆三年（1227）修成的《四明志》，其卷二十一“叙县”中之“沿革论”云：“海曲有山，形如象。”

明嘉靖《象山县志》卷三“山川纪”列“象山”一目：“象山……山南七十步为县治……旧山腰有水曰象潭。峰顶极圆，又名圆峰。”又列与“象山”有关联的一目“凤跃山”：“凤跃山。即象山之联峰。唐乾符二年，有凤翔于上，因名。”

此卷另列“炼丹山”一目：“炼丹山。县西半里，又名蓬莱山……丹灶遗址犹存……”。与“炼丹山”有关的尚有“千丈岩”、“仙掌岩”、“桂花岩”等三目。千丈岩目：“千丈岩。县西炼丹山上，高处有巨人迹，棋枰痕存焉。”仙掌岩目：“仙掌岩。在丹山上，有仙人手迹，因名。”桂花岩目：“桂花岩。炼丹山上。”

民国《象山县志》卷二“山脉图说”引乾隆《象山县志》叙“象山”云：“……象山，邑之主山。其峰圆耸，又名圆峰。唐乾符二年，有凤翔于山之颠，又名凤跃峰，四望五行俱备……山腰平岗数里，曰西岭，亦曰后岭……东有老大岩……岭之下，长坡迤逦而垂，谓之象鼻，其下即县治也。”文下有原按语云：“郡志俱云象山外有凤跃山，不知凤跃峰即象鼻之高峰也。

今据《四明宝庆志》正之。又山为邑来脉，禁民取土……”其下叙“凤跃溪”、“乐妙山”、“象潭”：“凤跃溪之水，其源出象山，流最长，历寒暑不涸”；“象山之半，起小山曰乐妙山。山之后又起小山，有象潭，常盈不竭。”此卷接下来叙“炼丹山”，云：“象山稍西，中峙一峰，曰炼丹山，旧名蓬莱山。其颠有丹灶、炼丹亭址。相传陶弘景炼丹于此。下有丹井……亦曰丹山赤水。更上有大炼丹山……其侧有仙掌岩，掌迹隐然。又有千丈岩，上有巨人迹，棋枰痕。山半有石屋……西麓有蓑衣岩……”其下叙“蓬莱溪”、“濯缨溪”：“炼丹山水绕城而西，合彭姥岭、石屋诸水，至迎恩桥入西濠河者，蓬莱溪也。分炼丹山之源，由栖霞观过龙泉井前至谢家桥，折而入唐家河者，濯缨溪也。”