董卓执政之后，皇甫嵩当时统兵三万驻扎在扶风郡，京兆尹盖勋秘密与皇甫嵩商议讨伐董卓。可是董卓为了防止意外，抢先下手，征盖勋为议郎，召皇甫嵩为城门校尉，同时也准备将皇甫嵩骗回城来杀掉，皇甫松义大义为由，没有听从部下的劝阻执意回京，很快就被逮捕。如果不是他的儿子皇甫坚寿拼命为其求情，甚至不惜投靠董卓，皇甫嵩恐怕真的会有性命之忧啊！最终董卓放掉了皇甫嵩，任命他为议郎。
初平三年（192）董卓被杀后，朝廷任命皇甫嵩为征西将军，屠灭董卓宗族。不久李傕郭汜乱政，皇甫嵩又改任车骑将军，同年八月，升任太尉。十二月，因流星出现，被策免。此后，又任光禄大夫、太常等职。兴平二年（195），皇甫嵩病逝，朝廷赠以骠骑将军印绶，任命他家里一人为郎官。
皇甫嵩一生军功卓越，大战小战不计其数，几乎没有败仗，说他是汉末的军神也不为过。