1940年10月，在八路军连续大规模的破袭和攻击下，“百团大战”取得了空前的战果，顺利进入第三阶段的作战。损失惨重日军决定不再坐以待毙，调动数万兵力对华北各抗日根据地进行扫荡，所到之处实行“三光政策”，老百姓深受其害。
10月下旬，日军36师团冈崎大队在执行扫荡任务时，因为地形不熟，竟误打误撞闯入八路军设在黄崖洞的兵工厂，将其尽数烧毁。闻讯的彭德怀急令386旅前往增援，虽打退了日军进攻，但却为时已晚。面对日军一路上的烧杀抢掠和破坏行为，彭德怀大怒，决定亲自指挥129师消灭这股来犯之敌。
29日下午，彭德怀正式下达作战命令：129师 386旅、新编第10旅由刘伯承指挥，385旅、决死一纵由陈赓指挥，分别从东西两侧对冈崎大队发起攻击，并封锁其退路，以求达到全歼其部的战略目标。彭德怀还特意调来一支山炮连，亲自指挥，誓要啃下冈崎这块硬骨头。而面对八路军的合围，冈崎大队的反应非常迅速，连夜抢占关家垴高地，并修筑工事，决定固守待援。
关家垴位于太行山腹地，四周山岭起伏，沟壑纵横，地势非常险峻。并且关家垴自身的地形也非常奇特，其顶部为平地，可以驻军防守。北面为悬崖深沟，东西两侧坡度极陡，只有南面地势平缓，可做进攻路线。但南坡对面又有一名叫柳树垴的山岗，地势更高，与关家垴互为掎角，可以相互进行火力支援，封锁攻山道路。简而言之，关家垴的地形，“一夫当关，万夫莫开”。
并且日军构筑的防御体系非常科学，修建了大量的临时工事、暗堡掩体、可以藏兵的“猫耳洞”。还将岗上的窑洞全部打通，每个窑洞放置一个机枪阵地，可以相互掩护，形成交叉火力网。同时在阵地前挖掘防弹壕，减少手榴弹的威胁。
这次战斗，八路军投入兵力达到了8个团，共1万余人。而冈崎大队的参战兵力在510人左右，并携带有3门山炮。双方兵力到达20:1，对于八路军来说，这是少见的富裕仗，全军上下都抱定了一个信念，那就是吃掉冈崎，一雪前耻。
在发动总攻前，八路军副参谋长左权研究了前线态势，认为关家垴一带地势复杂，不利于大部队强攻。为了扬长避短，左权决定利用日军修建完工事的疲劳期，先令特务团进行夜袭，配合兄弟部队发起总攻。但当特务团刚刚摸上山腰，就被日军隐藏在窑洞的机枪阵地打了个措手不及，被迫停止进攻。
30日凌晨，彭德怀发出总攻的命令，八路军各部对关家垴和柳树垴同时发起强攻。决死一纵38团仅用2个小时就拿下了柳树垴，解决了后顾之忧。但对关家垴的进攻，却开展得并不顺利。天亮之后，几架日军战机前来支援，八路军暂缓进攻。而冈崎大队利用这个契机，发起了反击，夺回了柳树垴。
日军占据有利地形，又拥有强大的火力网和防御工事，八路军突击部队的冲锋不断受挫。385旅计划从西北陡崖奇袭，也因为日军发现而受阻。各路部队先后受挫，伤亡较大，战斗陷入胶着状态。
在前线指挥的陈赓意识到强攻代价太大，请示彭德怀“地形对我十分不利，能否把冈崎大队放下来，另选战场打他伏击？”彭德怀的态度非常坚决“不行，放虎归山，就再难打着他了，拼光了也要拿下关家垴。”陈赓急了“这样的打法，我不赞成！”“有意见保留，命令必须执行。”彭德怀直接扔下了电话。
另一边，刘伯承也认为部队伤亡太大，请求先行撤围，另寻战机。彭德怀反复强调冈崎大队已是强弩之末，这个时候撤等于前功尽弃。刘伯承在电话里大喊“这么打我们赔不起啊，你这是在蛮干！我不同意再打。”彭德怀也犟“拿不下关家垴，撤了129师番号。”
在指挥所一直举着望远镜的刘伯承，终于在关家垴斜坡的黄土上找到了突破口，下令部队“挖暗道，通上去！”困守1个昼夜的冈崎大队，确实已经到了山穷水尽的地步，最后的主阵地也即将被攻破。但这个时候，日军的增援部队已经逼近关家垴，八路军不得不选择撤围。
血战关家垴，八路军伤亡2000余人，日军伤亡149人。此战虽未全歼冈崎大队，但对日军震动极大。并且通过战场的磨砺和战后的总结，八路军各参战部队的战斗力都得到了极大的提升，日军留下的防御工事也被我军借鉴学习，强化了八路军的防御作战能力。
对于关家垴一战，有人认为彭德怀在指挥上过于固执，没有采纳刘伯承和陈赓建议的游击作战的战术，而是选择了八路军最不擅长的攻坚战、阵地战。刘伯承在百团大战后做总结时，也提到我军战术有时过于直接，增加了伤亡。
但是特务团团长欧致富曾经回忆，彭德怀之所以选择强攻关家垴，是认为八路军正是要通过百团大战来学习如何猛攻坚守，啃硬骨头。要成为一支正规军，不但要会打游击，也要能打硬仗。参与战役的决死一纵政委薄一波也说，关家垴伤亡虽大，但一纵参战的2个团也打出来了，成为了主力团。
所以关家垴一战，彭德怀和刘伯承之所以曾在指挥上出现争议，其实也反应出那个时期，八路军指挥员战术战法多元化的一个改变。能打硬仗，能做奇兵，能攻坚，能游击，才真正能成为一支百胜之师。