新中国成立后，对于各兵种的组建也提上了日程，从1949年11月起，中央军委聘请了几批苏联专家帮助中国人民解放军组建各个兵种。
此外，中央军委各部门也都聘请了一些苏联军事顾问，如代总参谋长聂荣臻就为总参聘请了顾问尼哥尔斯基，罗荣桓也从1950年开始聘请了一些苏联顾问。
彭德怀后来也说：“新中国自从建立后，军队从苏联买飞机组建航空学校，聘请了一些苏联顾问帮助训练，从那时起，便有了军队干部与苏联顾问的关系问题。”
上世纪五十年代，中国军事系统中随处可见苏联顾问的身影，但如何对待苏联顾问，使他们发挥作用却是个棘手的问题。
1952年7月初，在中央政治局会议上，周恩来总理提出将在朝鲜战场上的彭德怀调回来担任军委副主席兼总参谋长，主持军委日常工作，帮助自己分担压力，这一提议得到了参会众人的同意。
7月19日，中央军委办公厅发出通知：“彭副主席已正式在军委办公，从今日起，凡有下列问题之文件、电报均抄送彭副主席。”
从此，彭德怀肩负起了新的使命，上任伊始，他便碰到了如何正确对待苏联顾问的问题。
1949年6月30日，毛主席发表的《论人民民主专政》一文中提出：“苏联共产党就是我们最好的响声，我们必须向他们学习。”
1950年2月，中国与苏联签订了《中苏友好同盟互助条约》，旋即在全党、全军、全民掀起了学习苏联建设社会主义的热潮，各业务系统都先后聘请了苏联顾问，学习苏联经验俨然成为一个热潮，然而在学习的过程中，却催生出了与苏联顾问的关系问题。
在那段时间中，中国军队在学习苏联经验的相关问题上，存在着一些争论，那就是“学不学”与“怎样学”的问题，彭德怀认为，在1956年之前，“学不学”的问题比较突出，主要是军队干部与苏联顾问的争端；到1956年之后，“怎样学”又成了问题，主要就是军事训练部门与军队院校的争端。
彭德怀从朝鲜回国进入军委工作时，正值全军学习苏军经验普遍开展之际，各部门都聘请了苏联顾问，但对于如何学习这个概念却比较模糊，再加上我军很多将领都没有系统地学习过军事理论，却打败了多个强敌，自然对这些理论知识有不同的看法，对于苏联顾问的某些经验不想学习。
为了统一全军的认识，彭德怀两次在全军会议上进行专题阐述，动员大家认真学习苏军的经验。
1952年12月，彭德怀组织召开了全军各大军区参谋长和政治部主任联席会议，在会上他传达了毛主席的重要指示，在读到下面这段话时，他特意提高了音调：“永远不要骄傲自满，一定要将苏联的一切先进经验都学到手，改变我军的落后状态，建设我军成为世界上第二支最优良的现代化军队，以利于在将来有把握地战神帝国主义军队的侵略。”
讲话中，他还对学习苏军经验中的种种错误认识进行了分析和批评，号召大家努力学习，加快军队建设步伐。
可以说，在1955年之前，彭德怀着重是动员大家去学习苏军经验，对那么不愿学习的干部进行了批评。
在向苏联顾问学习方面，彭德怀是身体力行的，他一开始主持军委日常工作时就指出：“我们的编制还没有完全合理地确定下来，军委各部门、各特种兵、各大军区的机构编制，还没有根据现在的情况搞出来。我们各机关部门，大部分是临时感到需要，就临时增加，因此有的事情没人管，有的事情几个部门在管。”
为了解决军委和大军区两级机关的编制、职责等，他认真听取了苏联顾问的意见，从1953年3月底至4月20日之间，他连续请苏联顾问做了八次报告，每次他都会和各单位领导人一起去听课，然后在苏联顾问的帮助下，制定出各级机关的编制和职责。
在彭德怀的影响与带动下，全军都充分重视发挥苏联顾问的作用，1955年4月12日，徐向前在中南海居仁堂主持会议，研究防空军和空军的组织机构及作战指挥、协同等问题，参会的除了陈赓、刘亚楼、杨成武、谭家述等人外，还有苏联总顾问匹的彼得鲁塞夫斯基将军和空军首席顾问等。
对于这些“洋顾问”，彭德怀虽然一直在用，但并没有言听计从，毕竟李德的事还历历在目，因此他常常嘱咐大家，在运用苏军经验解决我军实际问题时，不要机械地搬运，特别不允许“上纲上线”，他说：“我们不回避原则性的争端，他们不了解实际情况，因此对于争论，我们要说通，他们从愿望出发对我们不满的意见，要解释通，不能说百分百地学习，有些问题是可以争论的！”
这个时期，彭德怀经手处理的事务中，就有许多没有采纳苏联顾问的建议，遇到有些事情盲目听从苏联顾问的建议，他更是毫不留情地批评。
1952年10月15日，彭德怀主持了第一次军委例会，会上决定将部队训练时间的分配确定为军事训练占60%，政治教育占20%，文化教育占20%。会议结束后，苏联顾问向他提意见说文化教育占用的时间太长，没有必要。
对此，彭德怀耐心地解释说：“旧中国文化教育落后，很多人不识字，战士入伍以后才能学文化，学了文化才能掌握军事技术，将来复员回家也便于参加社会主义建设，苏联和一些发达的国家，新兵不仅有文化，还能开汽车、拖拉机，可是我们国家恰恰相反，是军队把战士们培养成司机或坦克手，然后复员后到地方上才能开汽车和拖拉机，这是中国的实际，我们也要从实际出发才行。”
彭德怀的态度影响了军委各部门，在1952年11月1日总参各部领导人及各特种兵领导人参加的联席会议上，聂荣臻说：“各部门要经常与苏联顾问开座谈会，征询他们的意见，以便改进工作，但是我们不能完全依赖于顾问，要有方式地去听！”
1953年初，在军委例会上讨论国防工程建设时，业务部门听从苏联顾问的建议，要求将内伶仃岛上的居民全部迁移走。
彭德怀听后火冒三丈，他批评业务部门负责人说：“迁移居民一定要慎重，要积极动员，岛上的居民有证明的留下，重大嫌疑的迁走，但这是极少数，岛上的居民全部迁走要不得，这是单纯的军事观点！”
1953年9月4日，彭德怀召开第三次扩大的军委例会，向大家提出准备采取的精简方针，让大家展开讨论。
此时朝鲜战争已经结束，全国经济建设即将拉开大幕，军队建设自然也需要开展，当时各兵种都有苏联顾问，谁都想要扩大本兵种的话语权，炮兵顾问说“炮兵是战争之神”，装甲兵顾问说“装甲兵是战场上的主要突击力量”，工程兵顾问说“工兵是战场上的开路先锋”，海空军顾问则强调说“海空军是决胜的关键”。
这些意见最后都通过参会代表反映到了彭德怀这里，大家各执一言让彭德怀有些为难，他问各军代表为什么会如此说，大家都说是苏联顾问说的。
彭德怀听后陷入沉思，苏联顾问的话语权是否过重了一些？
其实从抗美援朝开始，我国为了加强近海防务，从苏联进口了几十个连的火炮，并按照苏联顾问的意见构筑了一批海岸炮阵地。他每次看到这个阵地都要忍不住发脾气，从山东一直批评到了海南岛。
彭德怀之所以会如此生气，就是因为这些阵地都出自同一个公式，阵地布置一样，没有遮掩，火炮只见的距离过近，还排成一条直线，火炮中间就是弹药库，完全就是活靶子，这些海岸炮阵地的设计也许在苏联时适用的，因为他们有强大的空军支援，但照搬过来就是脱离了实际，纯属浪费！
1950年11月，周恩来会见了正在筹备陆军大学的刘伯承等人，告诉他们，为了办好陆军院校，毛主席从苏联聘请了一批顾问来帮助他们工作。
一提起顾问，刘伯承就自然地想到了在苏区的事情，他心中忧虑重重。
鉴于以往的经验，他对周恩来说：“总理，我考虑了很长时间，叫‘顾问’不如叫‘专家’，顾问就是要‘顾’我们的‘问’，叫‘专家’就超脱了，你当你们的专家，我们干我们的工作，我请你，你就讲，我不请你，你也不要‘顾问’我嘛！”
事实证明，刘伯承的担忧不无道理，对于苏联顾问事事“顾问”，就算是彭德怀也有“中招”的时候，比如是否采取苏军“一长制”的问题，所谓“一长制”就是取消政治委员，实行单一首长制。
1953年上半年，由于苏联顾问的反复提议，彭德怀曾一度设想准备在军队中实行“一长制”，他提出先是要在营连单位中实行，取消教导员、指导员等职位，5月上旬，彭德怀在和苏联顾问的一次谈话中更是直截了当地表示：“准备十年之后实行一长制。”
就在彭德怀准备如此做时，我军的政工元帅罗荣桓向彭德怀当面陈词，深深地触动了他。
1953年夏天，罗荣桓在北戴河疗养，彭德怀前来看望，罗荣桓向彭德怀提出了自己的看法：“现在有些同志认为政治工作制度过时了，政治委员作用不大了，要学习苏联，搞一长制。如果那样的话，从井冈山时期就搞起来的政治工作传统不就丢掉了吗？”
罗荣桓的一席肺腑之言让彭德怀深有感触，他认为罗荣桓说得非常有道理，因此在后面的工作中，彭德怀加强了坚持党对军队的绝对领导，坚持党委制、坚持军队政治工作制度和发扬我军光荣传统的决心。
从1954年起，根据苏联顾问的建议，中央军委和大军区实行了实行了盛况空前的八总部制度，这对军队正规化起到了积极作用，但随之而来的就是机构庞大、分工过细、工作效率不高等问题，通过总结经验，从1957年起，有恢复了三总部制度，从而一直延续了下来。
正因为有自己亲身“中招”的经历，彭德怀才会市场自省，1954年召开的全国军事系统高级干部会议上，彭德怀提出在向苏联顾问学习的同时，要亲自去摸，到实践中去下一番苦功夫，要将苏联军事科学与自己的经验结合起来，变成自己的东西，要克服骄傲自满、墨守成规的风气，切忌不可机械搬运。
对于有些苏联顾问自高自大和部分中国同志的自谦甚至是自卑，毛主席也提出了批评。
1956年4月25日，毛主席批评了这种不正确的想法：“有些人做奴隶做久了，感觉事事不如人，在外国人面前直不起腰，像《法门寺》里面的贾桂一样，人家让他坐，他说站惯了，不想坐。在这方面要鼓点劲，要把民族自信心提高起来，把抗美援朝中提倡的‘藐视美帝国主义’的精神发展起来。”
彭德怀立即在军队系统内传达了毛主席的批示精神，他说对苏联顾问既要尊重、要刻苦虚心学习，也要破除迷信的态度。
1958年7月22日，毛主席在周恩来与彭德怀的陪同下，会见了苏联驻华大使尤金，随后谈到了顾问问题。
毛主席说：“看来，关于海军提出的核潜艇的请求可以撤销，这个问题我脑子里没有印象，问了他们才知道，海军司令部里有那么些热心人，就是苏联顾问，他们说苏联已经有了核潜艇，只要打个电报过去，就可以给。海军核潜艇是一门尖端科学，有秘密，我们毛手毛脚的，给了我们，可能会发生问题……”
尤金面带尴尬，毛主席依然自顾自地说：“我们军事学院有个顾问，在讲战例的时候，只讲苏联的，不讲中国的，只准讲苏联的十大打击不准讲朝鲜战争的。让我们自己讲讲嘛他还不让，我们打了22年的仗，在朝鲜也打了三年嘛，请军委把这个材料收集一下，交给尤金同志。”
“再说了，有些顾问也应该定个期限，就像军事和公安部门的首席顾问，一直没有个期限，换来换去也不通知我们，也不征求我们的意见，就好比说派大使吧，你尤金走了，派另外的人来，不跟我们商量，这能行吗？这种做法是不对，你们派到我们公安部门的顾问，坐在那里，如果中国人不告诉他情况，他能知道个什么？”
对于毛主席的这番讲话，彭德怀迅速整理后传达到了军队系统，此后各单位对苏联顾问的态度日益明确，苏联顾问也在中国国防建设中发挥了较大作用。
1960年7月16日，彭德怀离开军队一年之后，苏联政府决定召回在中国工作的苏联专家，而且不等中国答复，就在7月25日通知说，在中国工作的全部苏联专家都将在7月28日到9月1日期间全部撤走。
当时在中国的苏联专家一共有1300多名，他们分布在经济、国防、文教和科研等200多个企业与部门中，他们全部撤走，使得中国一些重大的设计项目和科研项目全部陷入了停滞，一些正在施工的建设项目也被迫停工，此外还有一些正在试验生产的厂矿也无法按期投产，这对正处在困境中的中国经济来说，无疑是雪上加霜。
7月30日，毛主席召开政治局常委扩大会议，讨论答复苏联撤回专家照会的复照稿，第二天，将复照稿交给了驻华大使馆，同时印发会议。复照指出，苏联撤回专家的行为，违反了中苏友好同盟互助条约，希望苏联政府重新考虑并且改变召回苏联专家的决定。
然而，苏联以毫无商量余地的态度，在短短一个月内将所有专家全部召回，也让双方关系降至冰点。
彭德怀在得知苏联撤走全部专家的事情后，意味深长地说：“苏联顾问不仅以老师自居，还要以老子自居，这样的老师不要也罢！”
1963年9月3日，毛主席在和印度尼西亚共产党代表团谈话时谈到这件事，掷地有声地说：“苏联把专家撤走，撕毁了合同，我们没办法，就靠自己，靠自己的两只手，后来苏联又后悔了，想派专家再过来，要和我们做生意，我们不干，他们再派专家来，有朝一日又会撤走专家，撕毁合同，他们已经失去了我们的信任。”
苏联私自撤走专家这件事，使得我国的建设停滞了一段时间，好在中国人从不缺乏聪明智慧，在很短的时间内补足缺漏重新启航，一切的事情表明，要想强大，我们能依靠的只有自己！