一九二八年四月，陈赓受伤的腿还未痊愈，走起路来还一瘸一拐。他遵照党中央的决定，被分配到中央特科化名王庸，在周恩来的直接领导下，担负着保卫中共中央机关，搜集重要情报和进行反间谍斗争的艰巨任务。
上海，表面上五光十色，一片繁华，而其内层则是各种势力犬牙交错，你争我斗，无情角逐。帝国主义的巡捕、包探，国民党的稽查、特务，以及依附于他们的帮会流氓分子，这些人结成一张看不见的网，严密注视着可能对他们的统治造成威胁的一切组织，一切活动。我党的地下组织，当然是他们要捕获的最大目标。在这种复杂的环境下从事隐蔽斗争，不仅要有最大的勇气，更需要的是高度的机智，敏捷。
陈赓这时还只有二十五岁，但他已在斗争中逐步成熟起来了。在这场特殊的战斗中，他的忠诚、坚定、果敢、迅捷以及他的知识、经验，更加得到充分的施展和锻炼。
由于是在异常艰险的条件下坚持工作，陈赓需要以家庭为依托作掩护，于是他的妻子王根英便搬来和他住在一起。第二年，陈赓夫妇的第一个孩子出生了，他们给他取名知非。为了避开敌探特务的追踪，他们经常搬家，改名换姓。每次搬家都选择出路多，遇事便于躲避的住房。仅从一九二九年至一九三一年的两年间，他们就搬过五次家，先后在霞飞路、辣斐德路、保定路等地住过。在这段时期，王根英尽心竭力掩护，帮助陈赓，保证他的安全，使他能正常地工作。她自幼生长在上海，对这里的情况非常熟悉。
平时，她细心巧妙地观察房前尾后的动态，注意着每一个形迹可疑的人，随时都在考虑如何去应付可能出现的惊险局面。无论是对待警察，巡捕的查间，还是遇到便衣特务的打探，她都能镇定、机敏地对付过去。小知非逐渐长大了，自己已能说会跑，王根英从不让孩子知道自己家的街道门牌号码，在孩子面前从来不谈起陈赓的真实姓名和在外面工作的事情。陈赓有时把枪带到家里，睡觉时便压在枕头下面。知非人小心大，有天独自悄悄跑到街上去玩儿，看到“红头阿三”(就是英租界的印度巡捕，身上挎的枪，忽然想起前几天看到的爸爸藏在床头的手枪，天真地说：“红头阿三的枪，没有阿爸的枪好，”巡捕一听，马上盯住小知非，紧跟知非到家门口，正好遇到王根英出来找孩子。巡捕问道：“你家有枪吧？”她便想道可能是知非泄露了秘密，马上机智地回答：“有，有支枪，是他那爸在永安公司给他买的玩具枪。”因为她说话的神情从容自然，印度巡捕信以为真，于是就走开了。
根据秘密工作的需要，陈赓不仅经常搬家，变换住址，还要时常改变自己的身份，变换自己的形象，幸好他从小长于辞令，口才很好，会说很多方言，在学校里还演过戏，扮演过各种角色，他的才能，为他的工作提供了条件。他在上海工作的这几年，时而西装革履，象似租界里常见的西患；时而全副武装，又成了国民党的高级将领。有时长袍马褂，礼帽缎鞋，一副巨商大贾的模样；有时又身穿短装，头戴鸭舌帽，充当敌特捕房的“蟹脚”。平常陈赓爱穿长衫，有时到工厂里工作，又改穿工人服。
当时在冯玉祥的西北军张自忠师任参谋长的张克侠，在后来回忆一九三O年他在上海与陈赓见面时的印象说：“陈赓同志来时是化了装的，他穿了一身青缎子裤褂，裤腿用黑缎带扎紧，样子很象上海的“小开”，一进门便高声招呼，十分亲切。他英姿勃发，诙谐善谈，我先已听说他在不久前一次战斗中腿部负伤，问他伤势是否严重，伤口是否复原，他立刻当场表演起来。一会儿纵情跳跃，一会儿又下蹲屈腿，显示他的伤腿已经彻底痊愈，我们交谈彼此的感受和见闻，十分和谐”。
陈赓置身龙潭虎穴，在错综复杂并且极其尖锐，残酷的隐蔽斗争中，以超过常人的机智大胆公开和敌探特务周旋，正是由于他的沉着、机敏，敌人对他不但没有怀疑，而且认定他是自己人，见面时全都亲切的叫他“老王”，“王先生”。那时，不论是国民党特务活动的场所，还是外国侵略者租界的巡捕房，必要时陈赓都能够随时出入。
有一次在法租界一家戏院里开会，有许多共产党员参加，租界巡捕和国民党特务不知从哪里得到了消息，突然包围了现场，情况紧包异常。陈赓当时也在那里。为了掩护同志们安全转移，他灵机一动，走出去和那些前来围捕的警探“合作”，充当“触脚，”独自把守着一个出口，悄悄地将一些党员放走，就是这样，在周恩来的直接领导下，陈赓依靠党组织，通过各种社会关系，掌握了租界巡捕房和国民党的某些探目特务，甚至还掌握了个别在蒋介石左右的人。
由于“知己知彼”，能够随时掌握敌人的动向，上海党的秘密工作在这一时期进行得比较顺利。曾有多次，党的机关眼看要被破坏了，由于事先知道了消息，同志们及时地转移，巧妙地避开敌人的搜捕，这其中不能不说有陈赓的一份功劳。
陈赓在同敌人周旋的时候，根据党的指示，经常单枪匹马，冒着极大的风险，深入敌人的心脏，严厉地惩治那些背叛党、危害革命的叛徒。陈赓的活动，使得敌人闻风丧胆。国民党特务和租界巡捕一提到陈赓的名字又恨又怕，千方百计地想捕捉他、杀害他，曾为他的头颅悬了巨额的赏格，但却无法找到他的影子。他们不知道那个常和他们来往的“王先生”，就是他们日谋夜算的那个大名鼎鼎的共产党人陈赓。
陈赓深深懂得，深入敌人侦察机关，是地下党反击敌人阴谋破坏最有效的隐蔽斗争。没有这种斗争，党就不能在敌人统治区生存，必然要被敌人搞垮。要打入敌人的侦察机关，在上海有两个方面，一个是国民党的警、宪机关和党部；另一个是帝国主义在租界设立的巡捕房。于是，陈赓在经过调查研究之后，首先在国民党专业的反共领导机关内建立了第一个反间谍关系——杨登瀛，使上海的敌探机关置于特科的控制之下。
此外，在陈赓的领导下，李克农、钱壮飞、胡底三位同志也打进了国民党的最高特务机关，掌握了国民党全国特务机关的全部活动。这样，由于陈赓和同志们的努力，当时在国民党特务机关，警察局，警备司令部、宪兵队、党部以及社会上的帮会、地痞、流氓、租界里的包探，巡捕当中，到处都有我们的人和同情者或被我们所利有的关系活动着，随时能在政治、军事、经济及国际等各个方面，为我党提供非常及时而有价值的情报。我们有了这么多的关系，不仅消息灵通、而且常能办成令人难以想象的事情。有一次一个同志外出，身上带的重要文件，不慎在电车上被窃，特科就利用在流氓里面的关系去找，结果不出两天，就把文件找回来了。
一九三一年四月二十五日，原在中央特科主持日常工作的顾顺章，到武汉执行任务时，竟违反秘密工作的规定，用“化广奇”的艺名，在一家剧院登台表演魔术，结果被叛徒认出被捕。在被捕的当天，他就叛变了。他声称有重要情报要到南京面见蒋介石。敌武汉行营呈义何成设问南京国民党特务头子徐恩曾，证报顾顺章己被捕招供，拟将顾急速解往南京。但最先看到电报的却是担任徐恩曾机要秘书的中共中央特科成员钱壮飞。他用密码译出电文，马上乘车到上海告诉了陈赓，这真是千钧一发！
顾顺章掌握的秘密太多了：他熟知我党中央领导人和秘密机关的地址，了解我党打入敌人内部的许多地下工作者的名单，熟知我地下交通线路和接头方法……。陈赓立即找周恩来，聂荣臻等紧急磋商，决定立即转移党的主要领导人和秘密机关；撤销顾顺章所熟悉的联络点和联络方法；与顾顺章接触较多的人员隐蔽起来或转移外地；切断顾顺章可能利用的一切重要关系。所有这些应急措施，都在极短的时间内神不知鬼不觉地完成了。等到四月二十七日敌人按照顾顺章提供的情报进行大搜捕时，我地下组织和地下人员已先走一着。一场近在眉睫的大难，化险为夷。
顾顺章叛变以前，和顾工作关系最密切的就是陈赓。周恩来在疏散有关同志先后离开上海时候，叫陈赓立即隐蔽起来，从此情报科长“王庸”，就不复存在了。这年六月，陈赓和陈养山等离开上海到天津工作了一段时间。
陈赓离开上海的时候才只有二十八岁，这个时期，陈怀着赤胆忠心，深入龙潭虎穴，历尽千难万险，经受了惊涛骇浪的考验，在政治上迅速成长起来。由于他工作的性质所决定在这一时期的活动，至今还罩着一层神秘的色彩，我们所知道的，只不过是其中的一鳞半爪。但仅从这些事例中，陈赓的机智勇敢可略见一敌场。