1979年2月24日，同登失陷后，越南第一军区决定成立谅山前线，由高等军事学院副院长黄丹少将担任军区副司令员兼任谅山前线司令员。与此同时，越军第327师、337师以及部分民兵、公安屯被派往前线与第3师并肩作战。然而，仅仅几天的时间，越军3个师就被打的溃不成军，事后一名越军少将感叹：
“谅山沦陷只是时间问题。”
一、中越谅山部署
据越军《第一军区武装力量历史》记载：自1979年2月17日，中越边境战争爆发之后，越国防部立即进行部署，一方面在长定方向部署越军199团指挥，以及部分民兵、公安屯，阻击中国军队进攻，与此同时阻止10000名越南百姓撤离。
另一方面，在禄平方向，由谅山军事指挥部第123团携民兵部署在540高地、468高地等阻击中国军队进攻。同时，亭立方向越军第338师为了减轻友军第3师的压力，部署一个团兵力打算袭击我广西宁明机场，以分散中国军队的注意力。
对越自卫还击后，解放军根据作战方案部署，对歼敌共分两个阶段进行，采取围歼同登后，全力攻陷谅山计划。对此，解放军军指挥部下令163师担任主攻、164师、165师佯攻，以5天时间消灭同登、坂然地区之敌，并积极配合军区主力为消灭谅山之敌创造条件。
越军在同登方向的兵力部署相互交织，我军进攻受阻，越军第3师、武装公安第12团、地方部队11营等与当地民兵企图阻止反击夺回阵地。中国军队再次增派兵力，在老乡的帮助下，掌握越军坚固堡垒的部署，发起了对同登地区新一轮的进攻。
到2月23日，中国军队顺利攻陷同登，同时打开了通往谅山的重要通道。此时，得知这一消息的河内当局惊慌不已，立即决定由第一军区成立谅山前线，由黄丹少将担任谅山前线司令员，同时配以327师、337师以及多个步兵、民兵派往前线支援。
接受任务后，黄丹少将立即下令组织谅山市区机关和百姓疏散，同时调整第3师和北太省第197团担任同登镇西部和西南部的防御任务；同时抽调第327师、337师，配属407坦克团担任谅山市北部和东部防御；而第337师则作为预备队随时等待支援。
越军在谅山省北部地区部署主力部队总兵力达到20000余人（不包含民兵），加上之后抽调的327师、337师等部分兵力，实际接近40000人（不含民兵）规模。可以说这里部署了越军兵力规模最为雄厚的地方，足见越南当局的坚守态度。
虽然越军已经部署好了一切，认为解放军想要攻陷谅山绝非易事，但他们却忽略了一个重要问题，中国军队的投入也绝不比越南少，而且我军采用了“牛刀杀鸡”的战术，势必形成对谅山威压的战略态势。
彼时，中国人民解放军广州军区下达作战命令，为歼灭谅山之敌，决定在第一阶段投入第55军和43军（欠129师），共5个师，在第二阶段中投入预备队54军161师、50军148师。
二、谅山失陷
2月27日上午8时，解放军指挥部决定对谅山外围据点实施进攻，163师担任主攻，487团2营、3营携加强坦克两个连队在探某以南展开行动。
在阴雨绵绵下，师指挥炮团利用炮火为后方步兵团向扣马山进攻，由于能见度较低，战士们只能根据友军炮火指示，一步步的快速向敌人阵地奔袭。至下午4时45分，解放军尖刀部队首先攻占扣马山主峰及各高地，从而打开谅山市门户。
此次作战我军共毙敌412人，俘敌1人。随着扣马山主峰的攻陷，随后解放军立即转入防御状态，487团2营继续向当坤一线，1营则向536高地突击。同时，担任南部攻击的488团，也与敌人在417高地展开激烈交火，随着我军奋勇杀敌，在歼灭敌人一个营部和一个连队后，于28日成功攻占波杀和关湖。
165师493团、161师482团、164师3个团在强大炮火支援下，分别于28日、29日先后攻陷谅山外围多个据点，粉碎敌人多次连续进攻，歼灭敌人351人，三天时间推进了数十公里。
随着谅山外围的攻陷，解放军决定一鼓作气向谅山市北区进攻。3月1日9时30分，306门火炮齐刷刷将炮口对准谅山市区，随着一声开炮，铺天盖地的响声彻底覆盖了整个市区，30分钟的火力急袭，本来已经做好了巷战准备的越军，此时却遭遇炮火重创。
在炮火的帮助下，解放军163师489团1营向大、小石山进攻；2营向279高地展开攻击，3营负责攻占铁路桥北及附近市区，经过一天一夜的激烈战斗，493团2营连续粉碎敌人6次反击，歼灭300余人，缴获武器弹药一批。
此时，越军指挥部内，黄丹少将眉头紧锁，下令为“包围谅山市区而战斗”后，部署第3师、327师、337师、338师奋力抵抗，不准后退。然而，3月2日当晚，中国军队势如破竹就占领了谅山市北区，无奈之下，越军只能撤退至奇穷河以南的市南区。
此时解放军基本上已经完成了作战目标，然而越军第5军区司令部却依然不愿意放弃，决定由第3师主力担任预备队，12团坚守1号B公路，同时配合337师坚守重要交通线，想要从中国军队背后重创，以防止我军越过庆溪桥进入谅山市南区和文官县。
此时，河内当局也利用舆论不断叫嚣挑衅，称中国军队根本没有占领谅山，他们正在为保卫谅山而战斗。
原来，谅山市区分为市南区和市北区。市南区作为老城区，市北区是新城区。河内当局故意以市南区作为谅山市区，其用意可想而知，他们不愿意承认失败的理由，不过是不想失去面子罢了。
对此，解放军军指挥部立即向北京方面做出请示，决定继续向市南区推进，直到给越南当局深刻教训。得到肯定回答后，3月3日，中国军队投入更多兵力向市南区展开进攻。
中国军队做好战斗准备，在河北岸部署坦克、152加炮、85加农炮、37高炮、高射机枪。其中163师489团以2营加入战斗，攻占391高地、428高地，至4日下午1时，全团完成攻击任务，共歼灭敌人200余人，摧毁各火力点30余个。
与此同时，解放军444团2营打过奇穷河，攻占317高地、332高地，摧毁敌人坦克、装甲车各1辆。另一边165师493团1、3营攻占敌人460高地、西北侧无名高地，经过反复争夺，于5日14时40分占领了413高地。
至此，整个谅山市区已经完全失陷，越军第3师、独立205营、4个公安团、327师以及337师等几乎遭遇重创，解放军共毙敌10401名，俘敌108名，缴获敌人火炮99门，枪支2222支，汽车29辆……
不到4天的时间，解放军就攻陷谅山，越军号称“金星师”的第三师几乎被打的溃不成军，主力都被消灭。面对这种情况，一名越军少将忍不住事后感慨：
“不怪中国军队如此神速，越军的骄傲自满失败只是时间问题。”（不是中国军队强，而是军队太骄傲自满。越南不论何时何地，舆论上不会承认，也不会接受失败的事实。）
不论是越军还是外界人士，对越北十万越军不敌我军都十分诧异，然而，从对越自卫反击战发起之时，就注定了越南的失败。
在战争开始之时，越军骄傲自满，从上到下都对中国军队不屑一顾，认为在经历了抗法、抗美战斗之后，越军的单兵作战能力已经无人能敌，于是，大言不惭道：一个越南兵，可以抵得过三十个中国士兵。
甚至放言：打过凭祥，去过春节的狂妄口号。
我军的武器虽然并不是最先进的，战士们确实良莠不齐，实战经验匮乏，但是在中越对抗中，我们取长补短，利用炮火优势给予越军重创，采用了“牛刀杀鸡”的战术让越军溃不成军。
战后，越南当局依然不服气，声称中国军队采用“人海战术”，胜之不武。作为中国曾经的“徒弟”，越南当局始终没有明白，真正厉害的战术并非照本宣科，而是能够以自身优势攻略敌人短处，这样才能够做到减轻自身伤亡，给予敌人重创。
3月5日，中国政府向全世界宣布胜利撤军的消息，以大国的姿态不仅赢得了这场战争的胜利，而且还让全世界看到了中国军队不仅是一支仁义之师，而且在战斗方面不输任何人。
谅山的失守，并未换来黎笋当局的警醒，但也让越南意识到，中国不是“软柿子”，既然对方选择背信弃义，放弃与中国多年友谊，中国自然也不会任人宰割。