他与别人的矛盾主要是两方面，一个是与部将之间的矛盾。李光弼治军与郭子仪相反，郭子仪是宽容，他是严厉，军纪严，督战严。他的军队纪律性非常强，作战勇敢，而且对待老百姓不敢搞强掠，不敢侵犯私产。按理说，这是好事，但是很多军人不高兴，为什么呢？安史之乱之后，政府军急速扩张，难免鱼龙混杂，不排除其中相当一部分人是抱着发财、趁火打劫的目的来参军的，李光弼的严厉让他们无法得逞，自然会有怨言。
比方说。仆固怀恩的儿子，仆固玚，就曾经强占敌人将领的妻子。按理说，他觉得这叫俘虏，对不对，美女我据为己有，名正言顺。但是，李光弼让他归还。他不干，他还派手下的人守卫这个女子。没想到李光弼派自己的部队来武力夺回了这个女子，而且射杀了仆固玚手下的七个人。
仆固怀恩非常地不满，他说李将军，你竟然为一个俘虏女子杀官军。这哪里是为了什么女子？李光弼是为了严肃军纪。否则的话，开了这个先河，你也抢，我也抢，没有纪律的部队能打胜仗吗？但是呢，问题在于，他跟仆固怀恩、仆固玚之间，这个梁子算是结下了。
另外，李光弼督战非常严厉，他手下的人有敢畏敌不前的，一刀就下去。他作战的时候经常派使者提着刀，就在本方的战营后面来回穿梭、督战，仆固怀恩、郝廷玉等这些名将都差点被这种督战的使者给取了脑袋。所以李光弼走到哪，其实大家怕他是怕他，同时大家也非常地讨厌他，不愿意他当自己的上级。他来接替郭子仪任朔方军节度使的时候，就差点引起了轩然大波。郭子仪的部将，也就是左厢兵马使张用济就怂恿手下的士兵要掀起兵乱来驱逐李光弼，结果李光弼趁其不备，突入军营当中，将张用济斩首示众，镇住了众人。但是话可说，镇住归镇住，得罪人也是真得罪人。
另外，与宦官的矛盾。
郭子仪能处理与宦官之间的矛盾，李光弼不能。坦白说，还是那句话，宦官背后站的是皇帝，宦官之所以老跟武人过不去，那实际上是皇帝在后面的唆使，就是想敲打这些武人。你像程元振也好，鱼朝恩也好，都是执行这个任务，所以他们既跟郭子仪不对付，也跟李光弼不对付，而李光弼采取的策略是啥？李光弼没策略，他就硬跟人家对抗。
李光弼与宦官之间的矛盾在邙山之战当中是暴露无遗。当时这一仗，唐军本来占据着绝对的优势，对阵的对手是老对手史思明。按理说，史思明一直是李光弼的手下败将，结果这仗唐军反倒大败。这个责任真不在李光弼的身上。
两大因素导致战败。
首先，当时李光弼就不同意打这仗。史思明在寻找与唐军野战决胜的机会，到处散布谣言，说叛军思念北方，军心涣散等等。但是李光弼认为这是敌人的阴谋，不愿上这个当，但是鱼朝恩不同意。鱼朝恩在相州战役当中已经战败过一次，要找补脸面嘛，急于求战。而仆固怀恩也说可以一战，结果给了鱼朝恩底气，通过皇帝不断地催促李光弼出战。结果，李光弼不得不率军到邙山与敌人接战。
战斗开始前，就阵型问题，仆固怀恩与李光弼之间又闹矛盾。李光弼主张地形险要之处扎阵。仆固怀恩反对，说我都是骑兵，我地势平坦才能作战。双方争执不下的情况下，敌人率先发动了进攻，结果唐军大败，阵亡数千人。
李光弼上书请罪，实际上皇帝怎么对待他？皇帝就此立刻让他到淮河去出镇临淮。换句话说，把他从主要战场上支走了。也就是说，李光弼这场战败，皇帝借机开始要冷处理，要对他进行冷落。这一仗，坦白地说，李光弼完全是受制于各方面的关系，导致了战败。
另外又发生了一件事，唐代宗时期，吐蕃入侵，占据长安，皇帝出逃，然后让天下赶快都来勤王，结果李光弼却没有来。为什么没来？《旧唐书·李光弼传》说：“光弼与程元振不协，迁延不至。”啥意思？你要看字面意思，就是李光弼因为与宦官之间的私人矛盾，于是置国家利益于不顾。那这样说的话，岂不是罪莫大焉吗？实际上，这事没那么简单。
在这件事之前，发生过一个来瑱事件。来瑱也是一个有着赫赫军功的将领，结果程元振因为私事有托于来瑱，来瑱没给他办，因此记恨在心，于是在唐太宗面前进谗言，说来瑱尾大不掉，有谋反之野心。当然了，来瑱的性格跟李光弼有相同点，就是什么呢？也是那种职业军人，火爆脾气，不善于协调各方面的关系，有时候做事也的确欠考虑。但是呢，没有多大不了的罪名，结果却被皇帝赐死，这件事儿让很多武将心寒。后来仆固怀恩之所以叛乱，也跟这件事有关。
那李光弼也怕啊，他怕宦官也要害他。而且他知道，所谓相州之败、邙山之败，鱼朝恩始终把这两场战役的失败都归罪到自己的头上。所以，自己一旦入朝，宦官会不会趁机害自己？所以李光弼不敢来。但是，这件事对李光弼的名誉构成了伤害。
有些人，尤其是后世很多人，不理解李光弼的苦衷，认为李光弼见皇帝有难不来救，这是不爱国。不是不爱国。李光弼这阵感觉到自己已经危在旦夕了，他觉得自己受到了威胁，所以在这种情况之下，他是在自保啊。所以说实话，你要说奸臣误国，首先就是鱼朝恩、程元振，他们是陷人于不义，李光弼是英雄一世。
咱们这么说吧，论战场实际战功，他甚至超过郭子仪，但是在这个特定的年代，像他这样的专业军人，如果政治情商比较低的话，坦白地说，真的没有好的结果。这是一个人与人之间互相怀疑的年代，这是一个皇帝怀疑武人集团的年代。李光弼逃不过这个时代的宿命。就在此事件之后第二年，李光弼就在愤懑当中去世了。天下人，无不扼腕叹息。