1925年12月，正当国共合作时期，国民党中央执行委员会决定开办国民党中央政治讲习班，以便为行将到来的北伐队伍进军湖南做准备。在这种情况下，我党指示湖南党组织选送一批人，到广州参加学习。黄克诚听到消息，也报了名。过一段时间，他被通知录取了。
1926年1月，黄克诚来到广州，参加政治讲习班。这个班的生员和教师大部分都是湖南人，毛主席、邓中夏、萧楚女等人都经常到这里来上课。除了每天学习军事理论课，还每人发一支枪，每天进行军事训练。生活非常艰苦，但黄克诚心里十分愉快。
黄克诚的愉快心情很快就受到了干扰。当时正值国共合作的高潮，但国民党已开始有了反共的表示，1926年的“三·二O事件就是其中的一个突出事件。3月20日这天清晨，他正在酣睡之中，突然听到周围的楼上传来嘈杂的脚步声。他急忙起身，一看却吓了一跳，四周楼上站满了荷枪实弹的士兵，枪口正对着政治讲习班的宿舍。
原来，在这一天蒋介石造谣说中山舰要炮轰黄埔军校，派兵逮捕一些共产党员，并派兵到共产党员较为集中的政治讲习班监视，搞得讲习班正常的学习和生活受到干扰。教员好几天没来上课。通过这件事，黄克诚深深体会到了革命斗争的复杂性。
1926年5月底，以黄埔军校部分学生为骨干、由共产党员担任各级领导干部的叶挺独立团出兵湖南，揭开北伐战争的序幕。7月，国民革命军正式北伐。因为北伐的需要，国民党中央政治讲习班提前结业，要求学员自己填报志愿。黄克诚表示愿意到军队做政治工作、并向党组织递交了申请书，得到同意。1926年6月下旬，他到北伐军总政治部办的训练班，接受军队政治工作的短期训练，随后被编入北伐军前敌政治部宣传队。
7月，北伐军占领衡阳，接着又占领长沙。黄克诚与其他政工人员一起，向沿途群众做了大量的政治工作，他们进行革命宣传，张贴标语，散发传单。沿途群众也是敲锣打鼓，鸣放鞭炮，热烈欢迎北伐军。
北伐军接着北出岳阳，与吴佩孚手下的肖耀南部队相遇交火。战斗打响的时候，黄克诚正随第八军第四师第十三团行军。他从来没亲身经历过战争场面，听到前面僻里啪啦的声音象爆竹般响起，还以为是当地群众鸣放鞭炮欢迎。后来看到枪声越来越密集，子弹哩噢地从头顶上飞过，他这才意识到这是打仗。当时他的心理非常紧张，他紧紧跟着别人一起行动。幸好旁边有个战场经验丰富一些的同志，他一看黄克诚愣头愣脑，于是带着他一边往前走，一边嘱咐他要沉住气，别慌张。敌人的炮弹打来，他就拉住黄克诚卧倒在地。
战斗结束后，黄克诚随军继续前进。走到汀泗桥、贺胜桥一带，叶挺部队已打败吴佩孚部队。黄克诚经过战场时，看到沿途满地横着的都是尸体。由于天气炎热，这些士兵的尸体已经肿胀腐变，发出难闻的臭味。黄克诚第一次身临战场，有些不忍看这些残酷的场面，也是他第一次深刻认识到战争的残酷性。
北伐军接着占领了武汉，又向北往河南进发。不久，蒋介石发动了四·一二政变，大肆捕杀共产党人。反共的风气很快在武汉的北伐军中盛行开来。武汉政府虽然表面上左，但各个实力派首脑都已决心反共了，搞得共产党员和进步分子人人自危。
当时，黄克诚所在的第11军第二师第四团正挥军东进，到达安徽芜湖一带。他看到形势危急，与组织失去联系，又出于对旧军队的失望，决定离开这个部队，去武汉找党组织。
1927年10月，黄克诚只身来到武汉。武汉当时正处于一片白色恐怖之下，报纸上天天登载杀人的消息和共产党员脱党的启事。他在街上四处转悠，希望能碰到熟悉的同志，打听党组织的下落。因为他身上穿着国民革命军的军服，所以并没有人注意他。
一天，他转到江汉关附近的马路上，忽然看见前面走来一个熟人。此人名叫何家兴，四川人，是留法勤工俭学时入的党。黄克诚与他在北伐的时候同在唐生智部共事，与他多次谋面，所以关系还不错。黄克诚见到何家兴，心中不禁大喜，一把拉住他的手，悄悄地说：“我是专为找党组织而来武汉的，你知不知道党组织的下落？”
何家兴看到他，心里有些紧张，一句话不说，领着他到了一个偏僻处。黄克诚再次向何家兴说明来意。何家兴看了看四周无人，便身上掏出一个小本子，撕下一页纸，匆匆忙忙写了一个地址，然后很快递到黄克诚手里，扭头就走了。黄克诚后来再没见过何家兴。不过他以后听人说，何最后在上海当了叛徒，被中共中央特科派陈赓将其处死了。但他给黄克诚的地址却是真的，可能是他当时仍未变节。
黄克诚按照纸条上所写的地址，找到了与党组织的接头地点，与组织接上了组织关系。那里的负责人问明他的住处。接着过了几天，就有人找他联系，交给他一封组织介绍信，介绍他到长沙找湖南省委，参加地方党的工作。
黄克诚来到长沙，先在永兴旅省同乡会的公寓里住下，然后就去找湖南省委。他找到接头地点，几个人正围在那里打麻将。他凑上去看了一会儿，与那里的人接上了话头，就与组织取得了联系。过了几天，有人又给他送来一封组织介绍信，介绍他到衡阳找湘南特委。
于是，他又马不停蹄到了衡阳。找到接头地点，那里的人一看他一身国民党军装，产生了怀疑，不肯与他接头。他很是着急，三番五次去找，那里的人都不理睬。他无奈之下，只好回到了家乡永兴，开始了大革命失败后的地下活动。
几年的革命斗争，使黄克诚深深体会到，革命的道路是曲折的，革命过程中有可能出现反复，有时可能遭受重大挫折和失败。但是，对于革命的胜利，他从来都不曾怀疑过。