临汾城，在日军侵华期间，曾修筑了坚固的工事，阎锡山，胡宗南又在原来的基础上，进行修筑和加固，筑起了六层防御工事。
一、临汾城的六层防御工事
第一层是城外据点：
1、尧庙据点。是临汾城南的第一个据点，主要是为守临汾飞机场和屏障临汾南关。构筑了以营为基干的据点阵地，以碉堡为支撑点，配以据点工事。守军为一个步兵营。附山炮两门、迫击炮四门、重机枪八挺；
2、火车站据点。火车站是突出临汾东关的一个据点，利用车站坚固房屋，挖上枪眼，配合碉堡，混合构成一个防守据点，守军是两个步兵连；
3、电灯公司据点。电灯公司在临汾城东北角，与东关互为犄角，因此也建筑了一个据点，为东关第二个前进阵地。守军两个步兵连，附迫击炮两门、重机枪两挺；
4、郭家庄据点。郭家庄是临汾城北的一个小村庄，地势较高。如郭家庄失守，临汾北城会直接受到威胁，因此郭家庄也建筑了一个外围据点。守军一个连，附迫击炮两门、重机枪两挺；
5、西门外据点。临汾城西紧接汾河，西门正对汾河渡口，城西居高临下，攻城部队不宜接近。为了城西城防和掩护渡口的安全，西门外左侧高地，也建筑了一个据点，以一个步兵连守备之。
各据点都筑有高碉、明暗火力点及外壕、劈坡、鹿砦、电网、雷区等障碍物，形成独立的支撑点。
第二层是环城据点：环城据点以27个碉堡组成，3个碉堡为一组，作品字形配备。每组有一个较大的以水泥、片石构筑的坚固砖碉为主碉，其余两个土碉为配合碉。此种护城据点，距城一般为50-80米。每组碉堡的四周还有地堡和暗火力点，并挖有外壕，设有铁丝网、鹿砦、雷区等副防御物。与城墙上构筑的工事，可以互相侧击。
第三层是城壕：临汾城周围原有旧护城壕一道，因年久淤塞，已深不盈尺。梁培磺为巩固临汾城防，强征民夫千余人，重新挖掘。外壕深20尺、宽30尺，要求城上守军的手榴弹，可以直投到壕的外沿。挖外壕自1948年3月开始，月余始告完成，唯东关城周围地形限制，深宽只挖了10余尺。按梁培璜原来计划，还要将汾河水引进壕内，后因解放军逼近城垣，未能实现。
第四层是城墙据点：城墙建筑在一座大土丘上，既高且厚。从城墙上俯瞰城下，深达数丈，城内则大车可以不很费力地拉上城墙，这就构成了它易守难攻的特点。梁培磺利用这一特点，在城墙上构筑了三层工事：第一层叫上层阵地，在城墙四角和四个城楼上，构成炮兵、轻重机枪、步枪、火焰喷射器等多种火器联合使用的据点工事。第二层叫伏射工事，把城墙半腰挖空，构成轻重机枪、步枪和火焰喷射器的暗掩体。第三层叫下层阵地，靠城墙根周围向外挖出，构成低矮的地堡。外边只有射日，没有出入口，只能射击，不能投手榴弹。
第五层是城内工事：城墙之内有一道宽深均为3-6米的内壕，壕内每隔15米有一个伏地堡。城内沿街各要道和高大建筑物上，筑有11个巷战据点。临汾战役打响后，梁培璜为了表示他效忠阎锡山的决心，在城内鼓楼以东，又构筑了一条外壕，挖了许多步兵和机枪掩体，并在凡所高大屋顶上加筑了些射击设备。表示城破之日，仍要继续负隅顽抗。
第六层是地道工事：地道工事是由一个从运城逃到临汾的专员向梁培瑛建议的，他说：“根据运城的守城经验，欲确保临汾，必须构筑防御地道，以对抗八路军的地道攻城战术。”梁即下令连夜在城根挖掘防御地道。从城壕底层向外挖10米的纵深地道，地道的顶端，分左右横道。在横道内埋设大瓮一两个，派专人日夜听音，如对方挖掘攻击地道在100米以内，即可以听出方向，30米以内，连掘土的动作和人的说话声都能听真。按听出的方向埋好炸药，待接近时爆破之。临汾城东、南、北三面挖了此种地道10处，埋设大瓮20口，每处设士兵4人轮流听音。
此外，在城东偏南与主城相连的东关，相当于主城的四分之一，东关城墙的高度、厚度及周围的工事，仅次于主城。阎军守城总指挥梁培璜得意地对临汾专员王正平说：“八路军作战，向来是以多胜少，我们把临汾城周工事，构筑成法国的‘马其诺’，来个以少胜多。”
二、攻击方案改为城东、城北两面攻城
1948年3月10日，徐向前率军区前指驻扎到距临汾城10公里的城东堡头村的土窑洞里。同日，前指根据在扫除敌外围警戒阵地的过程中以及实地侦察和从俘虏的口供获悉，临汾城南不易登城，且登城后也不易发展，而城北地势较高，利于我登城作战，便于兵力及火器展开，由此，决定调整攻击部署，将原来东、南、北三方面进攻的方案，改为由城东、城北两面攻城，城南为助攻方向。
具体部署是：八纵二十二旅及太岳军区部队两个团，位于城南助攻牵制敌人；八纵二十三旅、二十四旅，由城北攻击兴隆殿8号碉等据点；十三纵队从城东攻占东关、电灯公司等地，由城东登城。太岳军区四个团位于北门东段地区，攻打4、5号碉，尔后由此登城。
鏖战就此开始，寒意犹浓的春分时节，连日雨雪霏霏，天空一片迷茫……
3月11日，八纵二十二旅六十四团、二十七旅六十七团，在西赵村、菜市村一线，击退敌三十旅八十八团及六十六师一九六团各一个营兵力的三次反扑，毙伤敌百余人。
3月14日，在太岳军区四十六团向玉皇顶之守敌保安十五团一个营攻击，因战斗组织不严密，突击队的行动迟缓，守敌大部逃跑，该团部队占领敌人的阵地时，仅俘敌10余人。
3月15日，十三纵三十一八旅攻占黄土堡据点，次日丢失。
同日，前指改变原定作战部署，调八纵主力转移城北(二十二旅仍留城南担任助攻)，夺取兴隆殿阵地，以便依托该阵地攻城。前指命令：八纵二十四旅首先向兴隆殿发起攻击。
3月17日，十二纵三十八旅攻占敌崔家圪塔据点，并再次攻占黄土堡据点。
同日，十三纵队三十九旅攻占临汾火车站。
3月19日，太岳军区司令员刘忠决定以四十一团攻取4号碉，四十七团攻取5号碉。
刘忠，福建上杭人，1929年参加中国工农红军，同年加入中国共产党。曾任上杭县赤卫军军需长，红军学校排长，红四军第三纵队十九大队政委，红一军团第十二师三十六团、第十一师三十三团政委，第二师五团政委，红一军团政治部组织科长，军团司令部侦察科长，参加了长征。抗战时期，任抗日军政大学第三大队长，第六分校校长，晋豫联防军区司令员兼八路军一二九师三八六旅副政委，太岳军区第二军分区司令员，晋冀鲁豫军区三八六旅旅长。解放战争开始，任晋冀鲁豫军区第四纵队十旅旅长，第四纵队参谋长，太岳军区司令员。攻打临汾，他所率太岳军区部队虽然没有参加过攻坚战斗，又没有什么重武器，但他要求所属团队要靠炸药包、手榴弹，靠土区作业，靠大无畏的精神，攻下临汾城。
4号碉，位于城的东北角护城壕的20米处，高出地面5米。其所占面积，东西长30米，南北长20米，上面有圆形的主碉一个，高10米，周围有暗堡、明堡各6个，两道外壕各宽8米，深5米，铁丝网两道。该碉离城墙80米，是护城的主碉之一，东距3号碉300米，西距5号碉500米，它们相互可作依托。
太岳军区四十一团接受了刘忠司令员的命令后，决心用坑道爆破的手段攻占4号碉，以该团四连为第一梯队，其余的部队开始挖交通壕，向敌人阵地的前沿推进。四十一团挖交通壕的办法是白天分配地段，到天一黑全团排成两路纵队，静悄悄地挖，约三个小时初步挖好。其交通壕面上，用树杆、门板架起铺上泥土，用一个夜晚就接近4号碉，部队一切战斗准备都在暗的交通壕内进行。22日，进至距敌4号碉的外壕30米处进行坑道作业……
5号碉(又称日本坟)，位于城东北角以西的五百米处，距城墙200米，地形较高，周围有削壁，阵地内筑有主碉一个，高10米，周围筑有地堡群。阵地的正面及东、西两侧有两道外壕，深宽各7、 8米。外壕的外沿设铁丝网三道，布雷区两处。此据点，南靠城墙，东、西与4号碉、兴隆殿紧紧相连，火力均能有效地互相支援。守敌为胡宗南三十旅八十八团两个排和阎军的一个中队。太岳军区四十七团接受了刘忠司令员下的命令后，即进行四昼夜的土工作业，构筑堑壕、交通壕5000余米，并做好了各项攻坚的准备……
三、我军二十四旅王墉旅长阵亡
3月21日，徐向前的记事本上记载着：本月来围城作战情况和问题；两日后攻打东关部署要点；下步晋中战役须提前布置事项；关于建军问题，拟向军委提请参考的个人意见……
傍晚，徐向前在东堡头村上窑洞里，接到八纵电话报告：二十四旅王墉旅长下午4时阵亡。他强抑悲痛，含泪询问详细经过，方知王墉在城北兴隆殿阵地一个旧碉堡内，通过枪眼察看地形，被敌冷枪打在枪眼“外八字”形斜堡上的跳弹击中头部而陨命。
年仅33岁，曾在北平大学里读书，参加过“一二·九”运动，曾蹲过国民党监狱的王墉，是一位文武双全、智勇兼备的优秀指挥员，他身材魁梧，很注意军容仪表，气宇轩昂，无论训练作战，都是以身作则，对下要求严格而又合理。平时深入连队，许多战士的名字，他都能叫得上来，在部队里威信很高，他长期在山西作战，敌人望之生畏。
抗战期间，他所率领的团被称为“老虎团”，屡建战功。打运城，他亲率两个团长途奔袭60公里，以迅雷不及掩耳之势，抢占运城飞机场。运城敌一部向平陆突围南窜，他又亲率一个团出击，将敌人全歼。这次抢占临汾机场，王墉又率部连夜奔袭，按时完成任务，表现了英勇善战、雷厉风行的战斗作风，他的牺牲，使徐向前深感痛心。
22日，徐向前给晋冀鲁豫军区王世英副参谋长写了封信，除了讲部队教育问题，打下临汾后的第二步行动计划等等之外，还写了这样一段话：
这次攻临尚未进入决定作战，八纵因干部看地形不隐蔽，亡营长一、副营长一，伤营长一；挖交通壕因土质松，连日阴雨天又解冻，又挖得大与宽，致土塌下，压死者数十人，我已下了一个训令纠正这一现象。但昨天二十四旅旅长王墉同志又到地堡看地形，被敌冷枪击中头部而牺牲，真正令人不胜悲愤！我己再下教令，规定看地形的办法，并令前面有些地堡须改修者改修，改造枪眼须内八字，进出口须改在侧面。总之这种伤亡太无谓，必须严正引起各级干部确实注意才好……
鉴于王墉的牺牲，徐向前指示王新亭对习惯深入前沿进行敌情侦察的二十三旅旅长黄定基，作了规定和约束，不允许他轻易到敌人前沿去侦察敌情和地形。
同时，徐向前令二十三旅副旅长邓仕俊代理二十四旅旅长。
三、3月23日，攻打临汾东关和南北外围据点战斗开始
八纵二十四旅七十二团全部及七十团二营，对兴隆殿发起攻击受挫……
八纵二十三旅六十八团攻击敌6号碉未果……
十三纵三十八旅一一二团第一次攻打东关受挫，战斗中出现了李海水等英雄。徐向前亲自打电话给十三纵队政委徐子荣，表扬李海水等英雄，并提出要通令嘉奖。
十三纵三十九旅一一五团攻打电灯公司集团工事，因连打两道外壕耽误时间，只歼敌一个连，敌退守南半院，形成相持……
太岳军区四十一团在组织好的火力掩护下，由四连进入阵地，以坑道爆破向4号碉攻击。但由于坑道距离测量不准，而在4号碉的外壕之外爆炸，突击队冲至外壕不能通过敌火力阻击，该连伤亡17名而攻击未成功。紧接着，重新组织火力掩护，进行第二次攻击。爆破组非常英勇，对敌一、二道外壕及两道铁丝网进行连续爆破。
当晚24时，在各种炮火和投弹组掩护下，突击队顺利突破敌人阵地。敌人缩入4号碉的主碉和西南角上的地碉内顽抗。四十一团团长李成春，亲自在前面指挥，又增加一个排的突击力量投入战斗，于24日拂晓前，全部占领4号碉阵地全歼守碉之敌。四连完成占领4号碉任务后，即撤下来休息，由六连坚守4号碉阵地，该连进入阵地后立即改修工事，以防敌人反击……
太岳军区四十七团在与四十一团攻击4号碉的同时，以一营二连为突击队，三连为第二梯队，向敌5号碉发起攻击。由于火力集中，突击动作迅速，突击队很快就通过布雷区，破坏了敌人铁丝网及外壕，架梯登上峭壁，夺占了敌人的前沿阵地，歼敌30余名。但在此时误将较宽堑壕当成第二道外壕，发展到第二道外壕时，遭敌强烈抵抗，突击队伤亡很大不能继续发展，第二梯队被敌人火力封锁不能增援上去。因攻击未成，即转为巩固已得的阵地。当晚，继令三连发起第二次攻击，又因地形不熟，进攻数次仍未成功。尔后采取坑道爆破，继以二连、八连先后向敌发起攻击，又因步兵、炮兵协同不好，坑道的方向偏差，连续两次攻击又未成功……
曾任中国人民解放军原高级军事学院副院长的刘忠中将在他的回忆录中《从闽西到京西》写道：
攻击5号碉，四次未成功的主要原因是：该阵地是敌城上和兴隆殿等地火力严密控制下的一个据点，居高临下。当我每次攻击时，均遭到猛烈的炮火阻击。加之，我事先对地形故情的侦察了解不准确，如原了解守敌胡宗南的部队一个排，实际上是两个排，还有阎锡山军的一个中队。地形、工事方面，我前沿阵地距敌外壕是80米，而误测为50米，且把敌人护城壕误认为是主碉。在战术上，没有组织佯攻部队，没有部队钳制敌人；攻击中，步、炮、工协同动作不一致等，致使我们多次攻击均不成功，这是很大的教训。
与此同时，3月24日上午9时，敌以猛烈的炮火掩护步兵向4号碉阵地连续反扑。由于四十一团六连不善于构筑工事，加之坚守阵地思想准备不足，致4号碉义被敌人夺占。敌人占领后，以八十八团一个连防守，并重修工事。当天晚上，司令员刘忠又令四十一团对守敌连续攻击四次，4号碉又被攻克。之后，刘忠命令四十一团将4号碉阵地交给四十二团防守。
而敌人继续不断地在猛烈炮火掩护下，以数倍甚至十数倍的兵力连续向4号碉阵地反扑，一日之内竟达9次之多，战斗异常激烈。坚守的四十二团有时在弹药无法补给、兵力无法增援的情况下，英勇顽强独立作战。二连二班只剩下5人，而敌人己冲击到我阵地前沿，副班长张国金挺身而出手提一包炸药，将正在架梯之敌10余人完全消灭，最后只剩下张国金和战士王国富两人，身负重伤仍坚持战斗，击退敌人，守住了阵地……
3月25日，八纵二十四旅再度攻击兴隆殿，一举占领，但敌军反扑，被迫撤回……
3月27日，十三纵三十八旅第二次攻打东关，再次失利……
前指决定，各部队停止攻击。