皇甫绩字功明,是安定朝那人（今甘肃平凉县西境）,祖父名穆,仕魏,任陇东太守,父名道周,曾任湖州刺史,雍州都督,皇甫绩三岁而孤,就养于外祖韦孝宽家,孝宽是魏周二代的名将.皇甫绩幼不敬业,常与诸表兄博弈,荒废学业,孝宽常加严责,但愍其孤幼而怜惜之.皇甫绩由此感悟,自叹曰：“我无庭训,养于外氏,不能克躬励己,何以成立?”乃命其左右杖罚三十以自责,作为表示改过振奋决心.孝宽闻而为之流涕.由此可知,皇甫绩是中人之资,需管教,方能成材,孝宽对于这个孤苦的外孙教养煞费苦心.他这一番苦心,总算没有白费.自此,皇甫绩折节读书,精心向学,对于经史,颇有涉猎,得到不少做人做事的道理,作为后来处世的张本.
韦氏与皇甫氏本是官宦世家,故皇甫绩少长,即在北周政府中工作,周武帝为鲁公时引为侍读,转任宫尹中士.周武帝曾 避暑于云阳宫,由太子（即后之静帝）监国.卫刺王在首都作乱,城门已闭,百官都逃走一空,唯皇甫绩奋勇赴难,遇皇太子于玄武门,太子时避难楼上,特下楼执皇甫绩手,悲喜交集；乱定,武帝闻其事而嘉之,迁小宫尹.静帝宜政初,积功封义阳男,寻转御正下大夫,未几而发生拥护杨坚事件,皇甫绩为其中出力人员之一.杨坚为丞相后,以定策有功,官阶直线上升.
杨坚建立隋政权后,皇甫绩出任豫州刺史,食邑增至二千五百户.未几,征为都官尚书,数载后转任晋州刺史.但是皇甫绩的壮志,是在求国家的统一,故有伐陈的建议.当他将就任晋州而辞行时,稽首向文帝进言：“臣实庸鄙,无益于国,每思犯难,以报国恩.今伪陈尚存,以臣度之,有三可灭……大吞小一也；以有道伐无道,二也；纳叛臣萧岩,于我有词,三也.陛下若命鹰扬之将,臣请预戎行,展丝发之效.”其时文帝已采高颎之策,对陈先行消耗战与经济战以敝之,故壮其志而遣之.其后伐陈,九路进兵,而皇甫绩不与也.
江南既平,转任皇甫绩为苏州刺史,委以安定地方之责.时江南人心,尚不服隋,高智慧、顾子元等起兵抗隋,皇甫绩御之,相持达八十日之久,使隋政府得从容调兵遣将,从事平乱,皇甫绩这一功绩,实在不小.顾子元虽反隋,但对皇甫绩颇感其恩德,于冬至日遣人以牛酒犒劳皇甫绩军.皇甫绩乃以书晓以利害,招降子元.书曰：皇帝握符受箓,合极通灵,受揖让于唐虞,弃干戈于汤武,东逾蟠木,方朔所未穷,西尽流沙,张骞所不至,玄漠黄龙之外,交臂来王,葱岭榆关之表,屈膝请吏.曩者伪陈独阻声教,江东士民,困于荼毒.皇天辅政,假手朝廷,聊申薄伐,应时瓦解.金陵百姓,死而复生,吴会臣民,白骨还肉.唯当怀恩感德,行歌击壤,岂宜自同吠主,翻成反噬.卿非吾民,何须酒礼,吾是隋将,何容外交,易子析骸,未能相告.况是足食足兵,高城深堑,坐待强援,绰有余力.何劳踵轻敝之俗,作虚伪之辞,欲阻诚臣之心,徒惑骁勇之志,以此见期,必不可得.卿宜善思活路,晓谕黎元,能早改迷,失道非远.（《隋书》卷三十八《皇甫绩》）这封信对顾子元发生很大的效果,子元亲至苏州城下,顿首谢过,这是自来投降的表示.时杨素援兵已到,照理应该接受其来降,不必加以讨伐.但杨素贪功,向顾子元进击,皇甫绩也开城夹攻,子元本已无战意,自然彻底的溃败,杀戮已降之人,杨素实在算不得大丈夫,隋政府也不应以此为其功绩.唯皇甫绩坚守八十日,朝廷嘉其功,擢为信州总管,指挥十二州军事,是其应得的酬庸.
