唐高祖李渊，字叔德，家族世代为官。祖父李虎，在西魏时官至太尉、左仆射，封陇西郡公。西魏立国时，封赏功劳最大的八个功臣为柱国大将军，称为“八柱国”，李虎就是其中之一。李虎被赐姓“大野氏”，死后追封唐国公。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，承袭了其父李虎唐国公的封号。

北周天和元年（566），李渊出生在长安。他七岁时，父亲就去世了，他承袭了唐国公的爵位。随后杨坚建立隋朝。因为李渊的母亲是隋文帝正妻独孤皇后的姐姐，所以李渊深受文帝器重。李渊小小年纪就入朝做官，历任谯、陇、岐三州的刺史。当时有个善于看人面相的术士，叫史世良。他见到李渊后，很是吃惊，悄悄对李渊说：“大人的骨法长得与平常人大不相同，是要当皇帝的命，希望您自珍自重，不要忘记我的话，将来成就一番大事业！”

隋炀帝登基后，李渊被任命为荥阳、娄烦二郡的太守，后又被调回首都洛阳，担任殿内少监。

大业九年（613）春，隋炀帝征伐高句丽时，任命李渊在怀远镇督运粮草。这一年的六月，杨玄感趁着农民起义的风头，举兵反叛隋朝，隋炀帝任命李渊镇守弘化郡（今甘肃庆阳市），兼知关右诸军事。

隋炀帝生性多疑，喜欢猜忌。有一次，隋炀帝召见李渊议事，不巧李渊正好生病来不了，炀帝便疑心顿生，当时，李渊的外甥女王氏是炀帝的妃子，炀帝便问王氏：“今天你舅舅怎么没有来？”王氏回答说生病了，炀帝接着问：“可病死了没有？” 李渊听说这件事后很害怕，马上贿赂隋炀帝身边的宠臣，并每日在家饮酒作乐，使炀帝认为自己并没有野心。

有一次，隋炀帝巡视山西，发现山西一带农民起义十分频繁，很不满，于是委任李渊为山西河东慰抚大使平定农民起义。李渊没多久便顺利地将山西诸道的起义军收服了，炀帝非常高兴。

杨玄感造反之后，隋炀帝便变本加厉地猜忌文武大臣，不知从哪里听到一句“李氏当为天子”的谶语，就开始捕杀李姓重臣。郕国公李浑，姓李，又手握重权，炀帝便疑心他要反，于是找借口杀了他一家三十多口人，使得朝中人人自危。李渊也不例外，他的副使夏侯端就对他说：“天下就要大乱啦！能够安定天下的，除了您，还有几个人呢？皇帝这样忌惮姓李的，这次杀死的是李浑一家，谁知道下一个是不是您呢！如果早做打算，说不定能够免去灭顶之灾；不然，只能坐以待毙！”李渊深以为然。

此后，李渊表面上装作胸无大志、安于享乐；实际招兵买马，拉拢地方豪杰，等待时机。