永熙三年（南梁中大通六年，公元534年）七月，元修出走关中导致了北魏的分裂。但此时高欢的实力明显强于宇文泰，为何除了争夺荆州，高欢却没在第一时间对宇文泰发起进攻呢？其中原因颇多，后方不稳也是一大重要因素。
在元修和高欢还未彻底决裂之前，远在山东的齐州刺史侯渊、兖州刺史樊子鹄、青州刺史东莱王元贵平，便相互秘密地结成一派，共同观察形势的变化。但这侯渊是个蛇鼠两端之人，在与上面几人合作的同时又派遣使者暗中联系高欢。
等到元修出走后，高欢立刻着手消灭后方一切不稳定的因素，远在山东的这几个人自然就是他的眼中钉。高欢首先将目标对准了侯渊，他任命汝阳王元暹为齐州刺史前去接替侯渊。侯渊自然不可能将地盘拱手相让，于是等元暹来到齐州城的西面时，侯渊准备率部据守城池不让元暹入城。但元暹却在城中百姓刘桃符等人的接应下顺利入城掌控了局势，侯渊无奈只得丢妻弃子率领骑兵仓皇而逃。
面对出逃的侯渊，高欢并未选择乘胜追击，而是在侯渊走到广里地区时下令让他接管青州。同时高欢还亲自给后院写信告知他：“你不要因为自己手下兵马少就不敢东进，齐地的人薄情寡义，只知追逐财利，齐州的人都能迎接汝阳王，青州的人就不可能打开城门等待你吗？”此时的侯渊完全看不出这是高欢驱虎吞狼之际，竟然真的率军东进，元暹更是把侯渊的妻子、儿子以及部曲都还给了他，好让他安心拿下青州。
东莱王元贵平由于和斛斯椿交情匪浅，自然不愿由侯渊来替代他，双方只能兵戎相见。侯渊随即拿下了高阳郡，将部曲和家属安置在城中后自己率领轻骑兵在城外游掠。为了夺回高阳，元贵平派他的世子率军前来攻打。侯渊见状没有选择硬拼而是将目标盯在了青州送粮的百姓们，但他并未选择抢劫，而是欺骗他们说自己是东莱王世子手下，前线已经吃了败仗，自己拼死才逃回来，让百姓们别去送死。众人信以为真，丢下粮食就跑路了。等到了拂晓时分，他又冒充朝廷先锋官向路上的行人询问战况，青州城内百姓得知朝廷大军已到自然是被吓了一跳，赶忙绑了东莱王元贵平出城投降。为表忠心，侯渊斩了元贵平，将他的首级送到了洛阳。
眼见自己的周边势力或降或死，兖州刺史樊子鹄不准备坐以待毙，于当年十一月占据瑕丘后起兵作乱，南青州刺史大野拔也率领一帮人马投奔了他。天平二年（南梁大同元年，西魏大统元年，公元535年）二月，高欢派出自己的小舅子娄昭率军攻打兖州。樊子鹄见状派前胶州刺史严思达守卫东平，结果此处很快被娄昭攻克。但娄昭在围攻瑕丘之时遭遇到了麻烦，久攻未果之下决定水淹，却依旧未能拿下。东魏方面只得改变策略准备招降，虽然遭到了樊子鹄拒绝，却让其他人内心动摇。不久后大野拔借与樊子鹄议事之机将其斩杀，然后开城投降。
同年三月，平定樊子鹄后不久，东魏就用封延之取代侯渊出任青州刺史。侯渊对此意见颇大，担心这是高欢准备除掉他，于是在走到广川的时候起兵造反。四月，高欢派遣济州刺史蔡俊前去讨伐侯渊，由于侯渊所作所为不得人心，很快他就众叛亲离。不得已侯渊准备南下投梁，结果半路被一个卖浆的人杀死，首级被送到邺城。至此东魏彻底平定了山东之地。
在平定山东之时，高欢也顺手消灭了云阳谷一带的稽胡。由于北魏末年内乱不断，刘蠡升又凭借地理优势自称皇帝十年，时常袭扰北魏边境。为了拔掉这个麻烦高欢亲自率军来讨伐，并在初次交锋中取得大胜。但高欢明白，只凭乌利很难彻底消灭这些人，于是这年三月，高欢假意与刘蠡升言和，约定双方成为儿女亲家。刘蠡升信以为真，竟然对高欢不设防备，结果遭遇高欢偷袭，刘蠡升也被其手下斩杀。随后高欢乘胜追击消灭了刘蠡升残余势力，平定了这股稽胡。