武帝当面自称姨父，显然是将霍光视同自己外甥，就像霍去病一样。霍光听出武帝话里意思，暗自高兴，无比激动地说：“能留在皇上您的身边，时刻接受您的批评教育，可是外甥最大的幸福。外甥一定努力工作，报答皇上大恩。”

对霍光这个态度，武帝很是满意，赞许道：“这就好，这就好。在我身边好好干，我是不会亏待你的。”

霍光就这样成了武帝的随身侍从。

伴君如伴虎，在最高首长身边工作是件荣耀的事，却也有不少难处，一不留神就会犯大错，惹大祸。好在霍光少年老成，为人处世谨慎小心，周密细致，滴水不漏，颇受武帝厚爱和器重。很快被任命为奉车都尉，享受光禄大夫待遇，专门负责武帝安全保卫，出则奉车在侧，入则随侍左右。

霍光忽想起第一次碰见跨着战马的哥哥时，心里羡慕不已，只恨不能步步紧跟，给他牵马扛戟，谁知如今竟成武帝近臣，天天给皇上御马驾车，一切仿佛做梦似的。

就在霍光正得意的时候，霍去病突然去世。噩耗传至，霍光眼前一黑，好像天都塌了下来。哥哥是霍家的靠山，这下子靠山轰然倒塌，以后霍家怎么办？我霍光怎么办？霍光不敢多想，也容不得他多想，一抹泪水，强忍住悲痛，赶往将军府，着手打理哥哥丧事。哥哥已去，霍家和朝廷上下都在看着你霍光，你能不挺身而出？莫非像妇人一样，只顾躲在一旁，一把眼泪一把鼻涕啼哭不成？

霍去病并非平常百姓，他的去世不仅是霍家大事，也是国家大事，朝廷上下都深感震惊和惋惜。武帝痛失爱将，哀伤不已，怔在龙椅上，半天说不出话来。霍去病可是国家的顶梁柱，又是自己亲自栽培起来的，他两手一撒就走了，以后国家有难，谁给朕撑腰？武帝哀哀叹道：“苍天不公啊，怎么这么狠心，夺我爱将，这不是断我手足吗？”

武帝叹毕，才慢慢站起身，下殿出宫，去了霍府。霍光只得撇下丧事，带着全家人跪迎武帝。武帝扶起霍光，嘱他节哀，徐步走进灵堂。手抚棺沿，武帝悲哭出声，如丧考妣般。霍光感动得不得了，相反来劝武帝，不要悲痛过度，伤害龙体。

武帝本人出了面，霍去病的葬礼肯定就不同寻常，已成为名副其实的国葬。既属国葬，其规格之高，场面之大，人员之众，自不必说。武帝还下诏，葬霍去病于茂陵旁。茂陵乃皇陵，可不是谁都有此等哀荣的。并赐筑高冢，形如祁连山。意思明显，霍去病就像高高的祁连山，曾拒匈奴于国门之外。