魏征，字玄成，魏州曲城人。魏征少年时孤苦伶仃，飘游四方，虽然不营家产，但通晓经史谋略，目光远大。

隋朝末年，天下大乱。魏征装扮成一个道士，周游四方。后来武阳郡太守元宝藏举兵响应李密的起义，魏征起草告示檄文。李密得到元宝藏的文书后，赞不绝口，听说是出自魏征的手笔，便连忙将魏征召至军中，加以重用。

窦建德攻陷黎阳（今河南浚县东北）后，俘获了魏征，任命他为起居舍人。后来，窦建德被唐军打败，魏征与裴矩奔走关中，被太子李建成招为洗马（太子的侍从官）。魏征见秦王李世民的功名日益显赫，才华又在李建成之上，便给李建成出主意，要他早点除掉李世民。

玄武门之变后，李世民质问魏征：“你挑拨离间我们亲兄弟，是什么意思？”魏征却回答说：“太子如果早听从了我的话，就不至于落到今天这个下场了。”李世民听完魏征这番话，不但不生气，反而更加器重魏征的朴直。李世民即位后，任命魏征为谏议大夫。

贞观三年（629），魏征以秘书监身份参与朝政。