虽然如此，假使孝宣皇帝在亲政之后，能以爵禄富贵赏赐他的子孙，让他们有一个大县做采邑，定期来朝见，也足以回报霍光的恩德了。为什么还要让他的子孙们主持朝政，掌握兵权，等到事态发展到不可收拾了，又加以裁夺，让他们怨恨畏惧，以致铤而走险？这样的结局，难道仅仅是霍氏自取灭亡吗？也是孝宣皇帝纵容酝酿的吧!春秋时期，斗椒作乱于楚国，楚庄王夷灭了他的家族，但是仍赦免了斗克黄(楚国令尹斗谷于菟的弟弟斗子良，生子斗椒，斗谷于菟死后，斗椒为楚国令尹。斗椒谋反，全族被灭。斗克黄是斗谷于菟的孙子)，认为如果斗谷于菟没有后代，如何劝勉人民向善呢？霍显、霍禹、霍云、霍山之罪，虽然灭族也不冤，但以霍光的功勋，也不应绝嗣，不为霍光留一个后裔，宣帝也未免刻薄寡恩了。
【柏杨曰】
继吕家、卫家之后，霍家是第三个被灭族的皇后家族。不同的是，吕家、卫家都没有谋反之意，而霍家是真的要干。
【王夫之曰】
霍光之祸，萌发于第一次陪皇上乘车之时。那张安世也同样参与废立，为什么张安世骖乘，皇上就轻松自若，霍光在旁边，皇上就如芒刺在背呢？因为声音笑貌之间，已经盛气逼人，而霍光自己却不知道。皇上呢，当时情夺意动，只是紧张，也不知其所以然。