“万里不惜死，一朝得成功。画图麒麟阁，入朝明光宫”是唐朝诗人高适的一首诗，表达自己对汉朝麒麟阁功臣的敬仰之情。而霍光就是麒麟阁十一功臣之首，还对汉宣帝有拥立之功，为何汉宣帝在霍光死后要族灭霍家呢？
一，霍去病之弟
霍光是河东郡平阳县人，为小吏霍仲孺之子，按理来说以他这样的身份在功勋子弟具有巨大影响力的汉朝很难出头。不过他有一个厉害的哥哥，那就是名将霍去病。
霍去病是霍仲孺的私生子，因为舅舅卫青和姨妈卫皇后的缘故，这才得以接近汉武帝并获其赏识，成长为一代名将。所以霍光是霍去病的
同父异母弟，靠着哥哥的关系和自己小心谨慎的性格而深得汉武帝信任，成为大汉重臣。
二，辅佐昭帝
后元二年（前87年），汉武帝病危，因为儿子刘弗陵年幼，便命人画周公辅成王图赐给霍光。随后刘弗陵即位，就是汉昭帝。不过汉武帝生前担心霍光一人掌权导致权力太大，便命霍光，金日磾，上官桀，桑弘羊四人共同辅佐昭帝。
很快霍光独揽大权就引起上官桀，桑弘羊等人的不满，上官桀便在始元四年（前83年）想让自己的孙女上官氏嫁给汉昭帝当皇后。上官氏的母亲就是霍光之女霍氏，所以她是霍光的外孙女。但上官氏年龄太小，只有五岁，因此霍光表示反对。
当时汉昭帝年幼，便由其姐鄂邑公主住在宫中照顾。因此上官桀找到鄂邑公主求助，成功把孙女上官氏送入宫中嫁给汉昭帝，让她当了皇后，即上官皇后。
随后鄂邑公主因为霍光不肯封自己的情人丁外人为侯而怨恨他，便与上官桀、燕王刘旦结成反霍光集团。另外霍光任命亲信杨敞为大司农来削弱桑弘羊的财政权，加剧了自己与桑弘羊的矛盾，导致桑弘羊也加入反霍光集团。
随后霍光与反霍光集团双方就展开了激烈斗争，都要置对方于死地。最后霍光先下手为强，以谋反罪诛杀上官桀，桑弘羊，而鄂邑公主与燕王刘旦则畏罪自杀。由于霍光毕竟是上官皇后的外祖父，所以上官皇后没有跟着上官家一起被杀。
元平元年（前74年），年仅二十二岁的汉昭帝忽然驾崩，霍光便迎立其侄昌邑王刘贺为帝。但刘贺不愿当傀儡皇帝，企图夺取大权，所以二十七日之后，霍光就以淫乱无道的理由报请上官太后废了刘贺。
三，拥立宣帝
宣帝始立，谒见高庙，大将军光从骖乘，上内严惮之，若有芒刺在背。后车骑将军张安世代光骖乘，天子从容肆体，甚安近焉。及光身死而宗族竟诛，故俗传之曰：“威震主者不畜，霍氏之祸萌于骖乘。”（汉书·霍光传）
不久，霍光迎立汉武帝曾孙刘询为帝，即汉宣帝。而群臣为了巴结霍光，便向皇帝提议立霍光之女霍成君为皇后。但宣帝在即位前，已经有了元配妻子许平君，二人夫妻情深，所以宣帝对此婉拒，提出立许平君为皇后。
霍光见汉宣帝如此执拗，也就没有反对。不过霍光之妻霍显对女儿霍成君没有成为皇后很不满，便背着霍光趁许皇后生产的机会买通太医淳于衍将其毒死。事后宣帝派人调查此事，淳于衍被捕下狱，霍光才从霍显之口得知此事原委。霍光对此万分惊恐，可出于夫妻情分便替霍显将此事隐瞒下来，强迫宣帝放了淳于衍，而霍成君得以成为皇后。
由于霍光手握大权，又曾废立皇帝，所以宣帝为了避免步刘贺的后尘，便对霍光表面上很信任，但内心十分忌惮。地节二年（前68年），霍光病重逝世，宣帝以皇帝级规格安葬霍光。
谋令太后为博平君置酒，召丞相、平恩侯以下，使范明友、邓广汉承太后制引斩之，因废天子而立禹……会事发觉，云、山、明友自杀，显、禹、广汉等捕得。禹要斩，显及诸女昆弟皆弃市。（汉书·霍光传）
不久，霍家毒杀许皇后的流言四处传播，而霍光的子侄手握大权对汉宣帝的地位构成严重威胁，宣帝便提拔自己的外戚与霍氏的政敌担任要职，以架空霍家子弟的兵权。霍家子弟对此大为不满，便图谋废掉宣帝，但事机不密，为宣帝全部处死，而霍成君也受牵连被废。
甘露三年（前51年），汉宣帝因四海臣服，回忆起那些对自己辅佐有功之臣，便令人画十一名功臣图像于麒麟阁以示纪念和表扬。而大司马、大将军、博陆侯霍光这位宣帝又惧又怕的岳父功臣名列首位。