一、临危受命后以光杆司令身份进入晋阳
东海王司马越成为八王之乱的最终胜利者之后，对全国各地的方面大员们进行了一次重新洗牌，他让自己的兄弟和亲信占据各个战略重镇，其中的并州交给了他的二弟、东燕王司马腾。
并州是中原民族和游牧民族的分界，是汉民族阻挡北方民族南下的战略要地。此时并州西北闹起了匈奴的刘渊，这对晋朝来说非同小可，一旦并州有失，晋朝也将国将不国，而司马腾的能力实在欠妥，无法担当经营并州的重任。因此司马越决定让刘琨进入并州替换司马腾。
刘琨此人，在《晋书》中记载：“有纵横之才，善交胜己，而颇浮夸。”意思是刘琨有战国时苏秦和张仪的纵横家之才，善于结交比自己强的人，缺点就是有些浮夸。此话应该是对刘琨最贴切总结。
八王之乱发生前，西晋是太康之治的和平时期，刘琨则是著名的文学家，他是京城文学圈“二十四”友的一员。八王之乱后，刘琨转向了武职，他曾和祖逖一同担任齐王司马冏的主簿，两人一同“闻鸡起舞”。在武功和政治方面，祖逖比刘琨强，因此刘琨和祖逖的交往，也符合他“善交胜己”的特点。不仅如此，刘琨和祖逖两人还暗暗较劲，看谁能把握好这个乱世时机，成就一番功业。
司马冏之后，祖逖跟了长沙王司马乂。刘琨不愿意跟着长沙王，因为他的父亲和哥哥在许昌的范阳王司马虓麾下，所以他离开洛阳投奔了许昌。
司马越对刘琨的注意是因为刘琨的哥哥刘舆的引荐。司马越赏识刘舆是因为他杀了自己的宿仇成都王司马颖。可是刘舆杀成都王司马颖却是不得已。
当初，司马颖被司马越的堂兄弟司马虓手下将领捕获并带到了邺城。司马虓还没有来得及处理司马颖就病死了，于是邺城最大的官就成了司马虓的长史刘舆。考虑到邺城是司马颖的老巢，司马颖随时可能被他的旧部救走或者趁机翻盘，刘舆觉得自己负不起这样的责任，于是他秘密杀了司马颖。
司马颖的死就除去了司马越的一块心病，也算是刘舆向司马越提交的投名状，于是刘舆就成了司马越的心腹。作为刘舆亲弟的刘琨，自然也成了司马越的心腹，他被加封振威将军，领匈奴中郎将。
可是，司马越虽然给刘琨封了官，却没有军队给刘琨，因为他自己军队的数量也不足。司马越不给兵，刘琨就真的成了光杆司令。刘琨的成名是以五千突骑阻止河间王司马颙向司马越的进攻，并使得司马越转入反攻，扭转了司马越的不利态势。可是刘琨的突骑是向幽州王浚借的，此时早已经回归了王浚建制。因此刘琨只能以光杆司令的姿态赴任。
刘琨要从洛阳到晋阳，最短的途径是过黄河后翻越太行山，从晋南到晋阳，途中必须经过刘渊占据的上党地区，有很大的未知风险。可是，刘琨并不害怕，他毅然决然前进。
和祖逖带百户人家还有1千人的粮草进行北伐相比，刘琨的起点低得多。
二、重建荒芜的死城
刘琨赴任途中，一路所见景象，真是惨不忍睹，由于连年的饥饿和战争，并州地区已是“白骨横野，哀呼之声，感伤和气。”而当地的住户则已经“流移四散，十不存二。”但见一路逃难的难民“携老扶弱，不绝于路。”而留在当地没有出逃的，则是“鬻卖妻子，生相捐弃。”
此地的环境却又异常险恶“群胡数万，周匝四山，动足遇掠，开目睹寇。”老百姓的生产资料又极其匮乏“耕牛既尽，又乏田器。”
而人口也剧减，该地区的人口已经不足二万户。
刘琨此时唯有怀揣的一颗并州刺史大印，而且面临如此恶劣的生存环境，他此时的心态，也许正好符合了那句歌词“只不过是从头再来”。
刘琨从头再来的第一步，便是招募军队，饥荒之年，当兵便有粮吃，因此招兵不难，很快便招募了千余军队，刘琨便带着这支新兵部队自上党地区往并州首府晋阳（今太原）进发，一路“道险山峻，胡寇塞路，辄以少击众，冒险而进。”
刘琨部队的企图，刘渊自然清楚，他急命前将军刘景为使持节、征讨大都督、大将军进行堵截。
但刘渊却正处于异常困难的时期，当前的饥荒，席卷整个山西地区，因此刘渊能给予刘景的，除了浩大的名号以外，在钱粮军饷方面便实在给不出任何东西。
饶是如此，刘景军力相比起刘琨来还是强了许多，刘景本人也决非庸才，其接到命令，便在刘琨的必经之地版桥设伏，企图“腰击”刘琨军，没想到却被刘琨击败。
击败刘景军拦截后，刘琨便一路急进，终于抵达晋阳。
而这时的晋阳城，自司马腾走后，带走了所有的官僚机构，已是一座无人管理的死城，刘琨所见到的，是“府寺焚毁，僵尸蔽地，其有存者，饥羸无复人色，荆棘成林，豺狼满道。”
刘琨的第二步，便是重建晋阳城，先打扫晋阳城的街道，然后修建官府，建立市场和监狱，加强军民联防，并亲自带领军民们劳动，开始了轰轰烈烈的大生产运动。
晋阳的大生产运动有个奇特的景象，一方面军民们要加紧劳动，开荒耕地，另一方面又要防止四周盗寇的突然来袭，于是，军民们劳动时便带着盾牌，睡觉时便枕着用来装弓的弓鞬，而省长刘琨给先进工作者，劳动模范们发奖时，居然也带着盾牌，而这个盾牌却不是拿在警卫员手里，而是自己带着。
创业时期，最容易激发人们的斗志，尤其在为生存而奋斗的环境，让领头人更容易丢弃尊卑等级，与大家同甘共苦，而这个时候焕发出的力量是巨大的。
在刘琨的带领下，晋阳城又恢复了往日的生机，四周的人口又开始往晋阳聚集，晋阳城的人口开始急剧增长。
他开始有能力关注三百里以外的离石地区，此地乃是晋阳城的最大威胁，对于骑兵来说，只需四个时辰便可奔袭城下，虽然刘渊到了黎亭，但此地却仍是他的战略要地。
以刘琨目前的人力和物力，他可以自己虽然可以重建晋阳，却无法抵挡来自离石的刘渊军队的进攻。
三、纵横之才重建晋阳
对三百里外的刘渊离石集团，不能力攻，只能智取。
离石地区的态势，有着众多的大小少数民族，俗话说“非我族类，其心必异。”如此众多的民族，想法不一，自然矛盾多多，有野心的是刘渊的匈奴族，其他的民族却不见得，他们在晋和刘渊的汉之间游离。
矛盾无处不在，关键看如何利用，这些矛盾在司马腾手上没有得到利用，在刘琨这里却派上了用场。
刘琨派人混入这些少数民族之间挑拨离间，好好的利用了一通反间计，结果便是离石地区有一万支大小部落投向晋阳。
这时的晋阳，从“荆棘成林，豺狼满道。”变成了“流人稍复，鸡犬之音复相接矣。”
刘琨的晋阳，已经得到了重建。
将晋阳稳固后，刘琨准备打通与中原的中央政府联系，便南下攻占壶关，但孤军作战，势力太弱，在刘渊大军的大举反扑之下，壶关失守，刘琨认识到单凭自己的力量还无法与汉军抗衡，便在晋阳采取积极防御的态势。
防御中却少不了主动进攻。
匈奴部号称铁佛氏的刘虎和鲜卑白部降汉，刘琨用鲜卑拓跋猗卢部将两部击败，并“屠其营”。
同时，刘琨遣使者报告司马越，要求两军共同起兵，从南北两面夹击刘聪，这是对汉军绝好的一次战略进攻机会。
怎奈，对付外患再次让位于内部争斗，司马越担心与自己不和的苟晞及豫州刺史冯嵩乘机坐大，便否决了刘琨的战略构想。
此次机会的痛失，使得刘琨再无与友军进行大兵团会战的机会，但凭自己的力量仍能伺机对汉进行主动作战。