汉武帝后元二年（前87年）二月，在位五十余年的汉武帝驾崩，由于太子刘弗陵年仅八岁，汉武帝临终之前为其挑选了四位顾命大臣。令人奇怪的是，匈奴王子出身的金日磾，竟然也能名列其中受命辅政，汉武帝为何会对一个匈奴人这么信任呢？
金日磾本是匈奴王子，父亲被杀后与母降汉
金日磾本是匈奴休屠王的太子，休屠王也称屠各王，统领着匈奴休屠部、独孤部和屠各部。匈奴占据河西之地后，以浑邪王和休屠王统领河西，其中浑邪王统治酒泉及周围地区，休屠王统治武威及周围地区，以控制西域各国。
汉武帝时，经过河南、漠南几次战役后，匈奴单于远走漠北，西汉北部威胁稍减，河西匈奴便成为了西汉最大的威胁。
元狩二年（前121年）春，为了控制河西，汉武帝任命霍去病为骠骑将军，统兵一万攻打河西匈奴各部。霍去病连破匈奴五王国，后又翻越焉支山长途奔袭，斩匈奴折兰王、卢侯王，浑邪王败走，俘虏浑邪王之子及其相国，缴获休屠王祭天金人。
同年夏，霍去病又经居延及小月氏，深入匈奴境内两千余里，再攻浑邪、休屠二王，仓促迎战的匈奴惨败，汉军斩敌三万余，迫降单桓王、酋涂王及相国、都尉等2500人，俘虏5王及5王母，单于阏氏、王子59人，相国、将军、当户、都尉63人。
伊稚斜单于得知河西惨败后大怒，由于浑邪王屡为汉军所破，遂打算将浑邪王召回处死。浑邪王担心被杀，遂说服休屠王共同降汉，而休屠王因所部损失不大，途中便返回了，浑邪王于是便杀了休屠王，率领四万余人降汉。
休屠王被杀后，年仅十三岁的金日磾孤苦无依，只好和母亲阏氏、弟弟金伦一起随浑邪王降汉。
自小帮汉武帝养马，因性格沉稳获得重用
浑邪王因为是率部归降，因此被汉武帝封为了列侯，而金日磾虽为王子，但因为失去部落，因此只是被安置在了黄门署饲养马匹。自归降以来，独自抚养两个儿子的阏氏也明白今日不同往日，在艰难的处境下，她从小便对金日磾兄弟严加管教，久而久之便让金日磾养成了沉稳谨慎的性格。
一次，汉武帝在宫中宴游，兴致盎然之下便下诏阅马助兴。当时，汉武帝的后宫嫔妃也陪同在旁，看着殿下牵马过殿的马夫，汉武帝不免与嫔妃们大声品评谈笑，结果引得这些马夫纷纷侧目观看，唯独金日磾目不斜视昂首阔步而过。
金日磾身高八尺二寸，再加上养的马膘肥体壮，本就极引人注目，汉武帝又见其如此沉稳，当即便有了兴趣，向身边侍从询问起金日磾的身份，当得知金日磾是休屠王之子后，当即将其提拔为马监，后来又先后升任侍中、驸马都尉、光禄大夫等职，很快便成为了汉武帝身边的宠臣。
由于做事谨慎小心，金日磾日益受汉武帝宠信，出则随侍车驾，入则随侍身边。眼见汉武帝对一个匈奴人如此宠信，很多勋贵都满腹怨言，不仅对金日磾极尽排挤，更是时常在汉武帝面前诽谤，然而汉武帝全不在意，反而对金日磾更为厚待。
杀死祸乱后宫的儿子，又救下叛乱中的汉武帝
正所谓“爱屋及乌”，金日磾受宠之后，连他的家人也都颇受恩宠。汉武帝念及金日磾的母亲教子有方，在其死后命人在甘泉宫为其画像，而金日磾的两个儿子亦因此而颇受汉武帝的宠爱，成为了汉武帝身边逗乐子的弄儿，时常陪伴在汉武帝的身边。
金日磾性情沉稳，乃是从小的经历所致，然而他的儿子由于自幼深受汉武帝疼爱，凭借着汉武帝的庇护，就连金日磾也难施以管教，以致性情日益骄纵。
金日磾的儿子长大之后，行为很不检点，凭借着自幼陪侍汉武帝，能够自由出入后宫的便利，竟然时常在宫中与宫女嬉戏打闹，结果恰好被金日磾给撞见。由于担心儿子淫乱后宫最终酿成大祸，金日磾一怒之下便杀了自己的长子。
汉武帝得知后大怒，询问金日磾为何杀死自己的弄儿，然而当金日磾将前后经过说出之后，汉武帝虽然心疼弄儿，却也明白了金日磾的苦心，因而对其更为宠信。
汉武帝晚年，由于佞臣江充的陷害逼迫，太子刘据死于“巫蛊之祸”，后来汉武帝得知太子冤屈，盛怒之下将江充及其宗族和朋党全部诛杀。
侍中仆射马何罗本就与江充交好，其弟马通更是因阻击太子而因功封侯，因为担心受江充牵连被杀，于是决定铤而走险刺杀汉武帝造反。金日磾发现马何罗神情异样，遂暗中观察他们的动静，正是由于金日磾盯着，马何罗兄弟迟迟找不到动手的机会。
后来，汉武帝驾临林光宫，金日磾因患病在殿内休息，马何罗、马通和弟弟马成安遂假传圣旨深夜外出，纠集人马起事。次日清晨，汉武帝还未起床，马何罗偷偷溜进房中，正在如厕的金日磾听到动静，连忙进入汉武帝卧室躲在内门后。
袖藏利刃马何罗本就精神高度紧张，金日磾的突然出现吓了他一跳，慌乱之下便向汉武帝卧室奔去，却不慎撞到宝瑟摔倒，金日磾于是扑上去抱住马何罗，并高声呼救。汉武帝被惊起，侍卫们亦闻讯闯入，这才将马何罗擒住。此事之后，汉武帝被金日磾的忠心护主所感动，对其更为宠信。
如上，金日磾虽然出身匈奴，但自小生活在汉廷的他已经与汉臣无异，再加上几十年如一日的勤勉谨慎和忠心耿耿，早已深得汉武帝的信任。对于汉武帝来说，由于太子刘弗陵年幼，辅臣的才能固然是一方面，但忠心与否才更为重要，汉武帝岂能放着忠心辅佐自己几十年的金日磾不用？可惜的是，金日磾仅辅佐了汉昭帝一年，便于始元元年（前86年）九月因病去世了。