西罗马帝国灭亡后，西罗马帝国皇帝这个头衔便被法兰克王国的君主继承下来。法兰克王国一分为三后，东法兰克王国地方势力崛起，形成了四大公国，它们是：萨克森、法兰克尼亚、士瓦本和巴伐利亚。萨克森公爵奥托被推举为东法兰克王国国王，进而于962年由罗马教皇加冕称帝。1157年，东法兰克王国得到了“神圣帝国”的称号。1254年，帝国第一次开始使用头衔“神圣罗马帝国”，此后作为官方名称沿用直至1806年。
但是“神圣罗马帝国”这个称号带来荣耀的同时，也带来了沉重负担。众所周知，基督教兴起于罗马帝国，长期接受罗马帝国的统治。德国皇帝为了再现昔日美好的理想，经常入侵意大利，干涉教会事务，同教皇正面冲突，从而分散了统治德国的力量，最终受制于德国各大诸侯。到腓特烈二世时期，德国正式陷入分裂割据状态，“神圣罗马帝国”成为一个空架子。
哈布斯堡家族统治德国时期，正式形成了七大选帝侯选举德皇的制度。七大选帝侯是德国最有势力的大封建主，他们是三个教会诸侯——美因茨大主教、特里尔大主教、科隆大主教和四个世俗诸侯——波西米亚国王、勃兰登堡侯爵、莱茵——普法尔茨伯爵、萨克森公爵。这些选帝侯联合起来，制约德皇的权力，使得王权的巩固和强化困难重重。后来，德皇查理四世颁布了一个《黄金诏书》，明确规定德国皇帝由七大选帝侯选举，诸侯享有的其他一切特权也得到了承认，于是诸侯的独立地位得到完全的肯定。
《黄金诏书》从法律上承认了德国诸侯国的独立性，从此德国诸侯可以光明正大地在自己领地内排斥德皇的势力。这实际上确定了“神圣罗马帝国”的分立体制，进一步削弱了皇权，加剧了德意志的政治分裂。但是从另一方面来看，德国诸侯可以公开地统一领地内的司法、税收等政策，加强诸侯政府的权力，巩固诸侯国的统一。这些诸侯国后来慢慢地发展为像奥地利、普鲁士等独立国家，“神圣罗马帝国”这个空架子也随之解体。