明代以前，当阳关羽墓仅修建了祭亭、山门、垣墙，但并未形成祠庙。
从明代中期开始，官方在墓前始建祠庙，随后确立了春秋二祭制度。
嘉靖《湖广图经志书》:“关羽庙，在县西五里，旁有墓，景泰间按察司佥事沈庆建成，成化当阳知县黄恕请于朝廷，岁时致祭。”
景泰四年(1453)湖广按察司佥事沈庆所建祠庙。
成化三年(1467)经当阳知县黄恕奏请，确立了春秋二祭制度，从此关羽墓“奉祀有祠，供祭有田”。
明成化三年(1467)以后，墓庙的祭礼不断。
成化十五年(1479)冬，镇守太监韦贵、当阳知县姜英见墓庙倾颓，乃有修葺之举，“高其门垣，增其旧制”，而且在墓庙之后修建了寝殿。
徐阶《重建义勇武安王庙碑记》记载，成化三年墓庙的格局是“凡曰殿者三，曰门者二，曰堂、曰祭台者各一”关羽墓庙的“堂”实际是成化十五年冬镇守太监韦贵捐资修建。
嘉靖三十五年(1546)，当阳知县李应魁见墓庙颓败，开始与僚属酝酿重修，“方事经课，适王假梦都督、太保陆公，公神其异，谋诸司礼太监黄公”，此处提到的“陆公”“黄公”，分别指太子太保陆炳、掌司礼监事黄锦。陆炳、黄锦二人出资2500两白银，嘱托守备太监张芳督理修葺。此次除重修墓庙外，“又建坊于其前，作钟鼓楼，作诸庙祀之具咸备，缭以周垣，而守之以僧若干人”。
嘉靖三十五年(1546)重修墓庙后，官方调拨了若干名僧人守墓，至此确立了僧人守墓制度，从此，关羽墓又被叫作玉泉冢。
嘉靖十年(1531年)，明世宗嘉庆皇帝朱厚熜升安陆州为承天府，与南京应天府、北京顺天府并立为“三大府”，并将荆门州、沔阳州与钟祥、京山、天门、当阳、潜江共二州五县划归承天府管辖，所以嘉靖十七年五月，朱厚熜将京师关庙改名为“护国关王庙”，徐阶撰《明护国关王庙记》。
据《关圣陵庙纪略》记载，万历十一年(1583)、万历三十一年(1603)曾分别对墓庙进行过修葺。
万历三十一年，除修复祠庙外，冯仕、李瑶春等人还在“王祠之西”新建了关伯子陪享祠(即伯子祠)，用以祭祀关平，现有民国地图上将此庙也称为小关庙。
万历三十一年(1603)以后，由于墓庙长期失修，至崇祯年间已破败不堪，据崇祯十年(1637)当阳知县区怀瑞描述：“旧有堂庑，不能迹其址，钟鼓楼倾圮，拜殿四楹，不蔽风雨，正殿朽蠹，欀檩崩赛，势且岌岌。”
区怀瑞得本县生员姚士淳、葛亮之助，于崇祯十年春开始重修，同年夏竣工。区怀瑞作《沮上大关庙碑》。
崇祯十三年(1640)，督理京营太监刘元斌倡修墓庙，得到总兵孙应元、监军道孔会贞、当阳知县倪端胤等人响应，“将此未结之局，一鼎新之”。同时将沮河一百多亩新壅淤地划归墓庙，作为祭赡之用。
然而好景不长，1641年。明崇祯十四年，张献忠、罗汝才驻兵关陵。
《沮上大关庙碑》如下：
奠三才，贯宇宙，一气所结撰耳。天不得，将恐坠；地不得，将恐裂；日月星辰不得，将恐忒；人不得，将恐灭；鬼神不得，将恐泄。是气也，卽理也，义也。肫然元始之谓仁，灿然布濩之谓礼，昭然析别之谓智，确然终始不渝之谓信。世徒见玄黄之杂糅也，人之夭札也，物之瘥疠也，雨暘之惨愆，而罔象、魑魅之跳伏也，命曰沴气，而以致祥者为和气。
又见奸贪、淫乱、诡诈、机穽之惨毒也，命曰邪气，而以忠臣、制士为正气。呜呼！宇宙安得邪、沴？只此人心不死，撑撑其间。卽偶缺陷，亦化工之恢广。其或剥蚀、阴霾、丰蔀、见斗、暌孤，载鬼、阳九、阴六，虽神圣，无庸补捄，而此刚大之气，遏而愈朙，壅而愈流。若使人心澌灭，宇宙之息乆矣。是气也，舜得之而绍尧，禹得之而受舜，汤、武得之而诛不义，孔子得之而师万世，说得之而骑箕，申、甫得之而降岳，后土得之而社九州，厉山氏得之，而世以为稷；祝融得之而火，玄冥得之而水，岱宗得之而长五峙，贞其恒也。外此者，代有汚隆，气有衰旺。
币玉朙禋，鲜有因而不改。惟季汉建安之际，有若汉寿亭侯关圣。当奸雄睨夺，鼎命不绝如线。大圣续汉系，嘘炎灰，委身昭刘，践历险阻。虽有折节殊遇，终莫得其一盻，卒以褫奸雄之脱，弥天之网，受方岳之命，启十乘之行。向使孙权纳鲁肃之言，曹瞒拒懿济之策，廓淸底定，指日而奏。其志未遂，其业未竟。弃盟奖逆，吴不足惜；汉之为汉，从可知矣。迄今精忠大节，星日为昭。薄澷内外，戎夷犷悍，秃卒贩夫，皈心顶礼。语及临沮事，多有泣下者。岂非忠义一气，塞天地，横四海，檄寄人心，不容澌灭乎！微独炎刘鼎命，繋以存亾。繇唐历宋，迄乎昭代。天迪格保，稽天若者，乗承嬗化，纪纲立国。
气之洗发，日以维新。圣之忠义，日以灮大。盖在挽世巧利变诈极矣，而所以仰止、爱戴，合朝野贤愚，咸出一辙。圣亦盻蠁相荅，神道设教，于斯为盛。观乎人心，亦可以知世宙所留矣。庙之兴也，遍天下。不于一丘一壑，论有无。而沮上旧为弓劒之藏，楚、蜀徃来，多爵其地。成化间，邑令王恕请于朝，饬原庙于沮。有司以时虔举，嘉靖之季，大璫缇师，拓而大之，费凡数千缗。阅岁八十稔，土木頽败，将事退食之地。旧有堂庑，不能迹其址；钟皷楼倾圯，拜台四楹，不蔽风雨。正殿朽蠧，榱桷崩骞，埶且岌岌。丙子夏五，有事于庙。急雨晦冥，且惧且愧。欲一切鼎新，而残邑、支宼不足。姑约计择葺，选于邑中，得姚生士淳、葛生亮度。支出入，竭俸薪，赎锾佐以称贷，仅数百缗。
至拜台，葛生亮自肩其费，亦将百缗，盖在崇祯丁丑有，而兴作夏，而迄工。金石、土木、甓瓦之类，不用官値，不役官匠，不董胥徒，不烦鄕夫。惧使饭扰民，且圆永乆也。旣葺而落成之，天牲币于其下，系以词。且惟天日月，惟地河岳，惟人眞常。赞幽合漠，日君曰师，道用是作。厥有化淳，淋漓磅薄。丣金之衰，龙蛇竝兴，九流混浊，日替日陵。笃生大圣，奋以忠贞。顚沛流离，信义愈朙。刚中而孚，在险不陷。捋虎之须，探龙之颔。馘良报操，岂但勇敢！终始昭裂，一德玄感。保益跨荆，分扼江东。汛扫宛、洛，十乘元戎。两河忠义，响附景从，殆将迁都，以避其锋。同盟懿亲，化为残贼，鼠动吹生。于肘腋赫赫，王师靡返，家国迹于漳澨，要同驴麦，遂抗颜行，遂稽穴诛。自虹贯日，碧血藏垆。
埜惨林昬，谷震陵枯。气之浩然，归于太虚。代有崇褒，咸资启佑。典祀于今，拟登元、后神之格思，靡不辐辏。俾此丹心，扶立世宙。赤兎钢刀，风驱霆鞭，万人辟易，万马莫前。如天神，没为圣贤。志虽未就，功则万季。世道交丧，山頺波靡。谨凛皈依，华夷合轨。如寝斯觉，如癃斯起。求于上圣，不愧仰止。亿载故沮，永洒椒浆。奕奕栢寝，表于崇冈。依人而行，君子之灮。俾我皇明，世载遐昌！