3世纪后期罗马皇帝戴克里先引入了四头制的制度来更有效地管理庞大的罗马帝国.他将整个帝国分为两部分,在意大利和希腊各设立一个皇帝（称奥古斯都）,辅佐他们的各设一个副皇帝（称凯撒）.这个分裂一直维持到4世纪.
君士坦丁大帝于324年重新将自己立为整个帝国的唯一皇帝.君士坦丁决定建立一个新的首都,他选择了拜占庭（今天的伊斯坦布尔）.330年这个首都建成了,君士坦丁称之为新罗马（Nova Roma）.但一般人称之为君士坦丁堡（Constantinople,意为君士坦丁之城）.这个新的首都成为他的管理机构的中心.君士坦丁也是第一位信仰基督教的皇帝.虽然在君士坦丁的统治时期这个帝国还不是拜占庭帝国,但基督教是拜占庭帝国的一个特性,是它与相信多神教的罗马帝国的分界线.
另一个分界线是378年的哈德良堡战役.这场败仗,以及皇帝瓦伦斯之死可以被看成是古代帝国和中世纪帝国分家的时间.瓦伦斯的继承人狄奥多西乌斯一世（有时也被称为大帝）将整个帝国再次分开.395年他将这两部分分别交给他的两个儿子阿尔卡狄乌斯和霍诺里乌斯.阿尔卡狄乌斯成为东部的统治者,霍诺里乌斯成为西部的统治者,他的首都是米兰.从这个时候开始东部的这个帝国一般被称为东罗马帝国,或拜占庭帝国.
