1945年，杨尚昆被任命为中央办公厅主任，一直干到1965年，足足干了20年之久。
1965年11月5日，中央决定把杨尚昆调到广东工作，中央办公厅主任一职由汪东兴接任。
杨尚昆接到这个调令后，给毛主席写了一封信，说自己没有把工作做好，辜负了毛主席对自己的信任，希望能在临走之前，当面接受毛主席的批评教育。
经过毛主席同意后，杨尚昆在11月10日这天来到了毛主席的住处，见到了毛主席。
杨尚昆本来以为，毛主席会严厉地批评他，但没想到，毛主席对他很客气，不但没有批评他，还反过来鼓励他，说：“你在办公厅的工作做得不错嘛，你有什么错误？没有错误。你下去工作一段时期锻炼锻炼也好嘛。”
然后，毛主席还给杨尚昆安排了两个任务，一是看看中央的政策有哪些不适合当地的情况，二是把地方和中央存在的一些矛盾理顺。
杨尚昆听后，感觉受到了很大的安慰，毛主席对自己还是信任的。
但是，当他出来后，田家英问他毛主席和你说了什么，杨尚昆如实作了回答，没想到，田家英严肃地说：“如果毛主席狠狠地骂你一顿就好了，就没问题了，毛主席现在这样敷衍你，问题就大了。”
田家英是毛主席的秘书，在毛主席身边工作了十几年，他对毛主席的了解自然也是很深的，那么，应该如何理解他说的这段话呢？
其实，类似的话，毛主席的卫士长李银桥也说过，说当你犯了错误的时候，毛主席如果想继续重用你，就会很严厉地批评你，但如果毛主席对你已经失去了信任，就不会再批评你了，反而会对你很客气。
原因也不难理解，领导批评你，是为了让你认识到自己的错误，提醒你尽快改正，以后避免再发生同样的错误，但是，如果领导不想再用你了，自然也就没必要批评你了，大家好合好散，祝你以后前程远大，另谋高就。
回到杨尚昆这件事上来，果然如田家英所说，就在毛主席见杨尚昆的当天，上海《文汇报》发表了姚文元的《评新编历史剧〈海瑞罢官〉》，成为“文化大革命”的导火线，也是在同一天，杨尚昆被正式免去了中央办公厅主任的职务。
至于为什么，杨尚昆后来说：“毛泽东认为我是教条主义者，又和彭德怀的关系密切，如果不撤掉我的中央办公厅主任职务，我将会成为他发动‘文化大革命’的绊脚石，所以，他首先要拿我开刀。”
1966年5月24日，中央发出了一份文件，名为《关于陆定一同志和杨尚昆同志错误问题的说明》，给杨尚昆安上了三条罪名，一是擅自安装窃听器，私录毛主席等领导人的讲话；二是把很多机密文件和档案给别人抄录，泄露党的机密；三是与罗瑞卿等人关系不正常，参加了反党活动。
7月3日，杨尚昆被监护审查，一审查就是整整12年时间，直到1978年11月，才结束了对他的审查。
1978年11月25日，华国锋在中央工作会议上说：“杨尚昆同志不顾毛主席的指示和批评，在私录毛主席谈话的问题上犯有错误。经过审查，过去把他定为阴谋反党、里通外国是不对的，应予平反。中央决定，恢复杨尚昆同志的党组织生活，分配工作。”
不过，杨尚昆并没有因为这件事而怨恨毛主席，后来，他在回忆录中写道：“中国革命和建设的胜利是和毛泽东的光辉名字分不开的。毛泽东思想培育了一代又一代的共产党人和革命战士，毛泽东同志的丰功伟绩将永远铭记在我们心里。我们这些老同志，每当回忆起跟随毛泽东同志战斗的岁月，就抑制不住内心的激动，深感荣幸和自豪。”
（参考资料：《杨尚昆回忆录》《杨尚昆谈新中国若干历史问题》）