玄武湖古称桑泊.原来只是一块因断层作用而形成的沼泽湿地,湖水来自钟山北麓.三国时吴王孙权引水入宫苑后湖,玄武湖才初具湖泊的形态.因为玄武湖玄武湖位于燕雀湖和宫城之北,故又名“后湖”或“北湖”.秦始皇灭楚后改金陵为秣陵县,玄武湖更名为秣陵湖,因汉时秣陵都尉蒋子文葬地湖畔,孙吴时孙权为避祖父孙钟名讳,遂名“蒋陵湖”.刘宋元嘉初年,宋文帝对玄武湖进行了一次大规模的疏浚,挖出来的湖泥堆积在一起,成了露出水面的小岛.其中最大的为“蓬莱”,“方丈”,“瀛洲”三岛,合称“三神山”,或许这就是今天玄武湖中梁洲、环洲和樱洲的前身.传说刘宋元嘉二十五年（448年）湖中两次出现“黑龙”（很可能是现在的扬子锷）,因而又改称玄武湖.
六朝时,玄武湖是封建帝王的游乐之地.宋大明三年曾在湖上设立上林苑,南岸还设立乐游苑、华林苑.齐大明年间,武帝常半夜出猎,或到钟山,或到幕府山,上万宫女严装陪同,天亮时回来刚刚听到鸡叫,“玄武湖中玉漏催,鸡鸣埭口绣襦回”之句源出于此,至今武庙闸附近还有鸡鸣埭的地名.历史上的玄武湖还是训练和检阅水军的中心基地.宋孝武帝时曾二次在湖上大阅水军,故又有昆明湖、练湖之称,民间却称之为饮马塘.陈宣帝太建十年,阅军湖上,桅樯林立,旌旗蔽日,鼓角震天,雄兵十万,楼舰五百,雄伟壮观,后人歌曰：“五百楼船十万兵,登高阅武阵云生.定知战艇横瓜步,应有军牙拥石城.湖上秋空丝竹支,江头潮涌鼓鼙声.”
玄武湖历史上曾两度遭到浩劫,一次发生在隋文帝时,另一次则发生在宋神宗在位时.隋文帝灭了南陈之后,曾下令夷平南京城,玄武湖首度消失了两百多年.唐人李白曾有“亡国生春草,离宫没古丘.空馀后湖月,波上对江州”的叹惜；宋神宗熙宁九年（公元1076年）,王安石调任江宁府尹,倡行“废湖还田”,南京城遇雨成灾的恶梦从此挥之不去.明太祖朱元璋定都南京后,大肆扩张南京城的范围,玄武湖从此成为南京城东北城墙外的护城河,湖面仅及六朝时的1／3,且在中洲（梁洲）建黄册库,作为明朝政府贮藏全国户口赋役总册的库房禁地,不允许一般人随便进入.时人乃有“瀛洲咫尺与去齐,岛屿凌空望欲迷.为贮版图人罕到,只余楼阁夕阳低”的讽喻.1911年,玄武湖被辟为公园,后又开玄武门,筑翠虹堤以通湖上,玄武湖才成为南京著名的游览区.
