刘谦初出生于1897年，山东平度人，出生于一个普通的农民家庭。早年时期，刘谦初主要在当地的私塾以及高等小学读书，伴随着广泛阅读书籍，他开始关心国家前途与命运，并积极探索救国救民的道路，渴望将来为国家与民族效力。
1918年，刘谦初以优异的成绩考入了齐鲁大学预科，在这所学校读书期间，他继续宣传反帝反封建思想，引导同学们走向进步与光明。1921年，刘谦初从预科毕业，因为家庭贫困，他没有继续读书，而是前往崇实中学任教。在任教期间，刘谦初参加了一次征文比赛，凭借出色的文笔获奖，被保送到燕京大学。
1922年，刘谦初进入燕京大学读书，次年，刘谦初接触到一批优秀的我党党员，并受他们影响，对马克思主义产生了浓厚的兴趣。经过一段时间了解后，刘谦初坚定了内心的信念，开始接受马克思主义，并积极参加各种爱国运动。1924年，刘谦初加入了共青团。
从燕京大学毕业之后，刘谦初前往镇江润州中学教书，1926年，国民革命军誓师北伐后，他辞去了自己的教师职务，前往广州，准备报考黄埔军校。不过，当时黄埔军校已经不再招收毕业的学生，所以刘谦初的计划落空。此后刘谦初前往岭南大学附属中学任教，1927年年初，他前往武汉，参加了国民革命军，担任了国民革命军第十一军政治部宣传科社会股股长，主要在军中从事政治宣传工作。
也是1927年，刘谦初转为正式党员。不久后，大革命失败，刘谦初转移到上海，主要参与江苏省委的工作。10月，中央把刘谦初调到福建，把他任命为漳州地区书记。当时两党的第一次合作已经彻底破裂，国内的革命活动也陷入低谷，在这种背景下，1928年6月，福建临时省委书记陈祖康叛变投敌，危急关头，刘谦初代理了临时省委书记。
1928年9月，31岁的刘谦初正式担任了福建省委书记，全面领导福建省的革命斗争活动，期间，他在发展革命武装力量、营救其他被捕的同志等方面做了大量工作。也因为工作卓有成效，1929年，中央把他调到山东工作。
当时山东省委已经遭到国民党反动派的严重破坏，各地的基层组织几乎名存实亡。刘谦初到山东后，不顾个人危险，来往于济南、青岛等地，废寝忘食地工作，有力地促进了各地基层组织的恢复，同时，他也勇敢地组织对敌斗争，发展与壮大了地方的革命武装力量，为恢复与重建山东省委创造了条件。
在刘谦初的努力下，山东省委恢复。省委恢复之后，32岁的刘谦初担任了山东省委书记，并兼任了省委宣传部部长，期间，刘谦初领导工农武装力量与国民党反动派斗智斗勇，促进了革命力量的发展壮大。
1929年8月6日，在前往上海向中央汇报工作的途中，刘谦初不幸被捕，并被关押起来。虽然身陷囹圄，但刘谦初意志坚定，始终保持着一个党员的坚定信仰，他视死如归，勇敢地与敌人斗争，1931年，刘谦初英勇就义，年仅34岁。值得一提的是，刘谦初的女儿名叫刘思齐，新中国成立后，刘思齐与毛岸英喜结连理，成为毛主席的儿媳。也就是说，刘谦初与毛主席还是儿女亲家的关系。