其次，霍光治家不严，放纵家人为非作歹。霍禹、霍山大肆治办宅第，骑马在皇家宫苑中肆意玩乐追逐。霍云时常称病不肯上朝，自己带着宾客外出围猎消遣。霍光的妻子霍显和几个女儿更是视严格的皇宫进出制度为无物，不论白天夜晚，随意出入皇宫禁地，如同进出自家“菜地”一般。主子骄横，奴才便更加飞扬跋扈。霍家家奴冯子都在霍光生前很受宠信，霍光一死，他竟与霍光的遗孀霍显私通淫乱。更有甚者，一次，霍家与御史中丞家的家奴争斗，霍家家奴竟然闯入御史中丞的府邸，扬言“踢馆”，最后逼得堂堂御史中丞给他们磕头谢罪才罢休。当时流传甚广的一首著名乐府诗《羽林郎》中便有如下诗句：“昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家胡。”霍家的嚣张可见一斑。
霍家的权势还体现在霍光丧葬的排场上。霍光死后，他的家人极尽铺张之能事，将他的墓地修得如皇家陵寝一般，奢华异常。霍光以及霍家势力的存在让皇帝时常感到“如芒在背”，而专权的霍氏一族也一步步临近了覆亡的深渊。
大司马霍光：匡扶汉室却遭灭族的大汉权臣
将不可一世的霍家引向毁灭的，是霍家长期以来的专权和骄横，而从具体的事件来看，霍家可谓是作恶多端，自取灭亡。
汉宣帝继位之初，霍光的妻子霍显想让自己的小女儿霍成君进宫做皇后。但汉宣帝不忘旧情，将流落民间时陪伴自己的妻子许平君立为了皇后。霍显并没有就此罢休，竟斗胆唆使御医淳于衍毒杀了许皇后，然后送女入宫，立为皇后。许皇后离奇死亡，朝中立刻展开严查，淳于衍也因此下狱。霍显担心淳于衍泄密，只得将实情告诉了霍光。霍光听后大惊失色，本想自己坦白，但在如此重大的事情面前他犹豫了，最终隐瞒了实情。
霍光死后，汉宣帝获悉了许皇后被毒杀的真相，不禁悲愤交加。但宣帝并没有立即发作，他深知霍家的权势之大，于是开始逐步剥夺霍家的实权。汉宣帝接连将霍家的子弟、亲戚调往边境驻守，并裁撤他们的一部分兵权。这一举动引起了霍家的警觉。他们深知自家的恶行巳积重难返，于是决定铤而走险，妄图通过政变废掉汉宣帝以自立。但此时的汉宣帝已经羽翼丰满。汉地节四年（前66),汉宣帝将意图谋反的霍家及其党羽一网打尽。霍光的儿子霍禹被腰斩，妻子霍显和其他子女、亲属都被斩首弃市，连带被诛灭的有数千家之多。至此，霍光后人被尽数灭门。
正史对霍光的评价是，他匡扶汉室，是中兴名臣，虽“周公、阿衡，何以加此！”然而，他“湛搦淫溢之欲，以增颠覆之祸”，因此死去才三年，宗族就遭到诛灭。
霍光
