他並非出身顯赫，但舉出隨便一位親屬的名號便擲地有聲：女兒霍成君是漢宣帝皇后，外孫女上官氏身為漢昭帝皇后，同父異母的哥哥霍去病乃一代名將，橫掃匈奴戰無不勝;而霍光本人身材高大，皮膚白皙，眉目疏朗，可算是當時的美男子，自被哥哥霍去病引薦給漢武帝之後，從郎官、侍中一步步成為漢武帝身邊的近臣，作風老城持重，出入宮禁二十多年未曾犯過錯誤，深得漢武帝信任。
霍光位極人臣的起因，源於那場慘烈的巫蠱之禍。衞皇后(衞子夫，大將衞青的姐姐)被牽連自縊身亡，太子奮起發動事變失敗後被逼死，漢武帝決定立鈎弋夫人之子劉弗陵為儲君，將《周公輔成王朝諸侯圖》賜給霍光，暗示他準備輔政。
公元前87年，漢武帝臨終之時冊封霍光為大司馬將軍，與其他四位大臣(車騎將軍金日磾、左將軍上官桀、都尉桑弘羊)共同輔佐年僅八歲的漢昭帝。至此，霍光成為西漢政治舞台上最重要的角色，表面上是輔政大臣，實際手握實權。
由於金日磾和上官桀與霍光都有姻親關係，在將親屬安排進朝廷的謀劃中，他們和霍光結下了政見不合的樑子，於是和蓋長公主、燕王劉旦(漢武帝第三子)等人結成反對霍光的聯盟，趁他休假時向漢昭帝上述誣陷霍光有不臣之心，並暗中做好擒殺霍光的準備。
而年僅十四歲的漢昭帝此時的反應很耐人尋味。父皇臨終託孤，霍光是輔政重臣，自己羽翼未豐，登位全賴霍光的扶持，自然不能失去這個對漢朝舉足輕重的功臣。對於這種誣告，他不予理睬，一方面安撫霍光，另一方面下令追查上書人的來歷，表明如有人上書毀謗霍光者必追究到底。
一個黃毛小兒雖貴為皇帝，在那個階段還不具有掌控朝政和收攏人心的能力，一眾大臣背地裏肯定不會真心服從。四位輔政大臣個個位高權重，與皇室的利益牽涉千絲萬縷，如果漢昭帝不步步為營，早就在政治鬥爭中粉身碎骨了。歷史上總説漢昭帝是傀儡，霍光獨攬權利不放，看來這位年少早逝的皇帝，並不是所想的那麼懦弱無能。
