“南陈北李”相约建党后，陈独秀来到上海开展工作，住在邵力子家中。1920年5月，陈独秀、俞秀松、陈公培、李汉俊、沈玄庐、王仲甫和施存统7个人组织了起来；1920年8月，中国第一个共产主义小组，上海共产主义小组成立，最早有8位成员：陈独秀、陈望道、李达、李汉俊、沈玄庐、杨明斋、俞秀松、施存统。
在中共"一大"召开前，先后参加上海共产党早期组织的还有：邵力子、沈雁冰（茅盾)、林祖涵、李启汉、袁振英、李中、沈泽民、周佛海等。邵力子是老资格的国民党员，但信仰共产主义，上海的早期共产党组织经过研究，最后决定，接受邵力子加入共产党。
1924年5月5日国民党上海执行部纪念孙中山就任非常大总统三周年。第三排左二为毛，左九为邵
当陈望道等积极参与筹备中共"一大"之时，因为活动经费一事，陈独秀和李汉俊发生了争执。据李达回忆说："李汉俊写信给陈独秀，要他嘱咐新青年书社垫点经费出来。陈独秀复信没有答应，因此李汉俊和陈独秀闹起意见来。"
争执后来牵连到陈望道，陈独秀到处散发书信，诬称李汉俊和陈望道要夺他的权。如：在日本留学的施存统，在接到陈独秀的信后，信以为真，感到痛心疾首，给李汉俊写了一封措辞十分激烈的谴责信，把李汉俊、陈望道二人大骂了一通。
陈望道见到施存统的这封来信顿时火冒千丈，认为"陈独秀此举实在太卑鄙了"。于是他坚持要求陈独秀对事实予以澄清，并向他公开道歉。但陈独秀不肯这样做……”
因为陈独秀的家长作风，陈望道和李汉俊都脱离了党组织。邵力子与陈望道是密友，两家是世交，邵力子、沈玄庐当时也退了党，详情尽管未知、但据说也是因为陈独秀的“家长制”作风。
受毛先生委托，茅盾去向邵力子、陈望道解释，请他们不要退党。结果，除了邵力子之外，陈望道、沈玄庐都没能被劝过来。中共“一大”召开时，邵力子没有出席会议，但却参与起草了相关文件，并担任了会议总务。
邵力子加入了共产党，但对外的公开身份还是国民党员。第一次国共合作时期，作为先参加国民党、后加入共产党的特例，邵力子对促进国共两党合作做出了积极的贡献。
1925年春，邵力子被任命为黄埔军校秘书长，后来担任政治部主任；在此时期，经周恩来批准，邵力子公开了中共党员的身份。他同周恩来一起，有目的地引进倾向共产主义思想的新人，扩大了共产党员在军校中的作用和影响。
但后来邵力子还是退出了中共；主要原因是邵力子跨共产党、国民党，还身居要职，让蒋介石十分不快，他想要邵力子脱离中共，只保持国民党党员一种身份。1926年11月，共产国际执委会邀请中国国民党和中国共产党各派一位代表参加共产国际第七次扩大会议。这给了蒋介石一个机会，他单方面决定国民党派邵力子出席；这样一来，自然而然，邵力子就不能以中共党员的身份出席会议了。
邵力子后来曾经介绍过这段经历，他说他是当时中共中央批准的“特殊党员”。他说：“（第一次国共合作时）有些人先是共产党，后参加国民党，而我是先国民党后参加共产党的。1926年7月，蒋介石担任国民革命军总司令，我是总司令部秘书长。在誓师北伐后，蒋介石即委我代表中国国民党去莫斯科参加第三国际第七次扩大会。中国共产党代表是谭平山。我与谭平山先生由广东抵上海，准备取道海参崴前往苏联。我当时是一个跨共产党的国民党员。到上海后，中国共产党中央召开欢送会。会上瞿秋白讲话，愿我以纯粹的国民党员身份代表国民党去苏联开会，（并）欢送我退出共产党。”
邵力子还回忆说：当时瞿秋白等认为他“多年来为党做了很多工作，但是这次到莫斯科去，还是做个纯粹的国民党代表好”。这一说法，和杨之华（瞿秋白夫人）在1956年9月的回忆是一致的，即：“邵力子退出党是我们党作出的决定。”
杨之华回忆说：“因为当时国共合作，国民党内部分左、中、右三派（汪精卫为左派，蒋介石为中派，戴季陶为右派），当时我党为团结蒋介石，劝邵力子退出共产党，以便转变蒋的思想。”当时，中共让邵力子退党，主要是认为他以单一身份在国民党内更方便开展工作，可以通过他来转变蒋介石的思想，以团结国民党左派和中间派，联手打击右派，捍卫大革命的成果。
但1927年5月初，邵力子从苏联回国、到上海后，始知道蒋介石已发动“清共”。此后，邵力子隐居于南京的一位老友家中。1928年初，蒋介石下野后重新上台，邵力子面见蒋介石时要求他放弃“分共”政策，以政治途径解决国共分歧；蒋介石假意同意。邵力子轻信了，开始为蒋介石担任幕僚，此后凡蒋介石的重要文告，都出自他和陈布雷两人之手。
后来邵力子在回忆中带着负罪感说：“蒋介石背叛了孙中山先生的三大政策以后，我决心不坚，尾随了廿多年，难逃帮凶的罪名。”