东汉末年张角利用太平道组织民众,发动起义,起义者头绑黄巾,被称为黄巾军。张角兄弟此前四处传道,一个月内,全国七州二十八郡都有黄巾军起义。
汉灵帝任命外戚何进为大将军,委派卢植、皇甫嵩、朱儁等将领讨伐黄巾军。此外,董卓、孙坚、曹操、刘备等群雄都参与了讨伐黄巾军。
皇甫嵩字义真,他的叔叔皇甫规是东汉名将、凉州三明之一,父亲皇甫节曾任雁门郡太守,久为边将。皇甫嵩少年时便有文武志介好诗书,熟习弓马。最初被察举为孝廉、茂才。为郎中,迁任霸陵、临汾县令,因父亲去世而离职。后来太尉陈蕃、大将军窦武相继聘他为官,都没有应召。汉灵帝以公车征辟他为侍郎,迁任北地太守。
光和七年(184年),因叛徒唐周告密,太平道教主张角星夜传檄四方,发动起义,史称“黄巾之乱”。黄巾军所到之处,燔烧官府,劫略乡邑,一时,州郡失守,长吏逃亡,天下响应,京师雒阳为之震动。
东汉朝廷惶恐不安,马上采取镇压措施,首先,汉灵帝命各州郡在雒阳外围的八个关隘——函谷、太谷、广成、伊阙、轘辕、旋门、孟津、小平津设置都尉,布防护卫;接着,任命何进为大将军,率左、右羽林军屯驻都亭;朝廷还采纳了皇甫嵩和中常侍吕强的建议,解除党禁,赦免天下党人,拿出中藏钱和西园厩马赐给将士;另外,灵帝起用卢植为北中郎将、皇甫嵩为左中郎将、朱儁为右中郎将,各持节,调发全国精兵分击黄巾军。
皇甫嵩与朱儁调发五校(北军五校,为中央主要常备军,即屯骑、越骑、步兵、长水、射声五校尉所将宿卫兵)三河(河东、河内、河南)骑兵,同时招募精壮之士,共计四万多人。二人各率一部,共同镇压颍川(郡治阳翟,今河南禹县)黄巾军。
朱儁先与黄巾军波才部作战,失败。皇甫嵩只得退守长社(今河南省长葛县东北),波才率军围城。当时,城中兵少,众寡悬殊,军中震恐。皇甫嵩安慰部下,他说:“用兵有奇变,而不在兵数量多少。现在贼人依草结营,容易因风起火。如果乘黑夜放火焚烧,他们一定惊恐散乱,我出兵攻击,四面合围,田单守即墨用火牛攻燕而获胜的功劳就可以实现。”天遂人愿,当晚大风骤起。皇甫嵩命令将士扎好火把登上城墙,先派精锐潜出围外,纵火大呼,然后城上点燃火把,与之呼应。皇甫嵩借此声势,鸣鼓冲出。黄巾军缺乏战斗经验,惊慌散乱,被迫后撤。这时,骑都尉曹操也奉命赶来,于是皇甫嵩、曹操、朱儁合兵,乘胜追击。黄巾军顽强抵抗,数万人惨遭屠戮。皇甫嵩则被封为都乡侯。
接着,皇甫嵩又和朱儁一起乘胜镇压汝南、陈国地区的黄巾军,并追击波才、进攻彭脱,连连取胜,平定了三郡之地。
八月,皇甫嵩在苍亭击败黄巾卜已部,擒获卜已,屠杀七千多人。这时,张角占据广宗,控制河北腹地,卢植为宦官所诬,被召回,继任的董卓被击败。于是朝廷下诏命皇甫嵩率兵进击。在这紧要关头,张角病死,其弟张梁继而守卫广宗。皇甫嵩攻城,因张梁军精锐,未能得逞,便闭营休士,以观其变。等到张梁被迷惑,放松了警惕。皇甫嵩立即乘夜调兵,鸡鸣时分冲入其阵,黄巾军仓促应战,张梁战死,阵亡三万多人,投河而死的有五万多人。皇甫嵩焚烧黄巾辎重车三万多辆,将张角“剖棺戳尸,传首京师”。
十一月,皇甫嵩与巨鹿太守郭典攻克下曲阳(今河北晋县西北),皇甫嵩接连杀死黄巾军首领张宝,黄巾起义宣告失败。后期挟持天子的董卓,在黄巾起义中连吃败仗,孙坚、曹操、刘备等三国英雄,也都仅仅起到配角作用,皇甫嵩无愧为东汉末年第一名将。
兴平二年(195年),皇甫嵩去世,获赠骠骑将军。唐德宗时,位列武成王庙六十四将;宋徽宗时,位列武庙七十二将之一。