对于李渊的家世渊源、出身籍贯,旧史上的记载颇多歧异,疑团不少.比如说其籍贯,宋朝人欧阳修、宋祁的《新唐书》记载为陇西成纪人,而同为宋代人修的《册府元龟》和五代时人的《旧唐书》等则记载为陇西狄道人,而到李渊曾祖李熙时定居于武川.有的历史学家经过研究认为,李唐祖上虽然有一些行踪可考,但“并无移镇及家于武川之事”,至于说其祖上为西汉名将李广之后,后来定居陇西成为太祖（高祖祖父李虎）永陵华表、石虎当地名门大族也是“改托陇西”之姓望,未必确有其事.唐朝人李延寿撰《北史》一百卷,其在全书之后作“序传”,更是盛称其“李氏之先”出自帝颛顼（zhuān xū）高阳氏.在唐尧之时,高阳氏有个儿子叫庭坚,官居“大理”,因自称为理氏.在商纣之时,其先人以直道得罪逃隐,因为食木子而得活命,遂改理为李氏.周朝时的柱下史李耳是其祖上.这么说,李唐家世有很多粉饰成分,关键是加上了一些耀眼的光环.按照著名史家陈寅恪的说法：“李唐先世本为汉族,或为赵郡李氏徙居柏仁之‘破落户’,或为邻邑广阿庶姓之‘假冒牌’,既非华盛之宗门,故渐染胡俗,名不雅驯.”应该说明的是,南北朝以来,社会上注重门第和家庭出身,李唐家世中存在的这一问题也便属情理之中,不足为怪了.
不能否认的是,在李渊的祖父李虎时,其家族开始飞黄腾达.李虎因为积极参与后魏权臣宇文泰的政变并获得成功,与宇文泰、太保李弼、大司马独孤信等八人一起被称为“八柱国家”.因为功参佐命成为西魏的开国功臣,官为太尉,还被赐予鲜卑姓大野氏.李唐的祖上显然是依靠军功发迹的,后来又倚赖婚姻巩固了这样的家世门风.以八大柱国为核心的军人之家,历史上往往称为关陇军事贵族集团.由于李虎和宇文泰交情很深,在宇文泰的儿子篡（西）魏建（北）周时,虽然他本人已死,仍被追封为唐国公.至此,李渊的家世就与唐联系起来.所谓唐,就是传说中尧舜禹中的唐尧之唐.李渊的父亲李昞在北周时官居安州总管、柱国大将军,袭爵唐国公.李渊建国以后,追尊祖父李虎为太祖景皇帝,追尊父亲为世祖元皇帝.
在北周时期,李渊的父亲就迁居到长安.由于父亲早死,家中排行第四的李渊7岁就袭爵唐国公.他的母亲独孤氏,是同为八柱国之家的独孤信的女儿.独孤信的长女是北周明帝的皇后,还有一个女儿是历史上著名的隋文帝杨坚的皇后.这么说来,李渊自从祖父以来,家世贵显,不仅是北周皇室宇文氏的姻亲,也是隋朝杨家的贵戚.细论起来,李渊乃是隋文帝的内甥,隋炀帝杨广的姨表兄弟.
李渊的妻子窦氏,也是鲜卑军事贵族.其父窦毅,在北周时为上柱国,母亲是北周武帝的姐姐襄阳长公主.窦氏自幼聪明,读书能够过目不忘,武帝大加喜爱,将其养于宫中.窦毅见女儿才貌如此,认为不能随便嫁人,要为她善择“贤夫”,遂在门屏上画了两只孔雀,约定凡求婚者发给两支箭,能用箭射中孔雀眼睛者才有资格.结果前后有求婚者数十人,均未能如愿.只有李渊连发两箭,各中孔雀一目,窦毅大喜,终将女儿许配给他.这一故事说明在他们生活的北朝时期,武学才艺仍然是贵族子弟的立身之本.李渊能够脱颖而出,反映出他此时的卓尔不群.
李渊任隋郑州刺史时,于大业二年（606）祈求李在隋朝建立之初,李渊还只是因为贵族的出身补为千牛备身.这是贵族子弟的进身之阶,不过,一直到隋文帝在世时,李渊也只是做到地方州郡一级的最高行政长官——刺史（后称为太守）.到隋炀帝大业年间,李渊才调任中央朝廷担任了殿内少监,后来又改任卫尉少卿.在他个人的政治发展过程中,其妻窦氏发挥过重要作用.李渊任职地方时,她曾经劝李渊迎合隋炀帝对声色犬马的喜好,将自己的数匹骏马进献.李渊开始时犹犹豫豫,结果招致隋炀帝的不满.后来,李渊幡然醒悟,屡屡搜求鹰犬进献,很快便得到了升迁.
在那个极其注重家庭门第出身和姻亲关系的时代,李渊一出场就获得了很多人不具备的极大便利.他自言“承七叶之余庆,资五世之克昌；遂得地臣戚里,家称公室”,正是真实的写照.
