徐惠的父亲徐孝德，在史书中记载很少，我们只知道，他因为女儿徐惠的缘故，被唐太宗擢升为水部员外郎，最后官至果州刺史。岑仲勉先生在对《元和姓纂》的考证中提到他，徐孝德字顺孙，高平昌邑人。这里所说的昌邑（今山东省），应该是徐家在永嘉南渡前的籍贯。

徐孝德的父亲徐方贵曾任隋延州（今延安）临真令，至于他本人，在被唐太宗提拔之前，没有任何为官的记载。其实水部员外郎只是个从六品，还是在皇帝的亲自关照下破格提拔的，可见，徐孝德在此之前，只是个低级官员，但并不能因此证明徐孝德是一个靠女儿发家的平庸之辈，他也是一个很有学问的人，曾著有文集十卷，他的儿子徐齐聃的墓志上也有这样的描述：“严考孝德，济宏美于近世……”“议者以公考果州府君高学才华，香名省闼……”

另外，根据岑仲勉先生对古代金石目录的考证，徐孝德在担任果州刺史之前，还曾做过沂州刺史。沂州百姓在显庆五年（660），还特地立了一方“唐刺史徐孝德清德颂”的碑，来褒扬这位父母官。如果说徐齐聃墓志上的言辞有夸张之嫌的话，那么民众的评价一定更接近事实，立碑一事充分证明了徐孝德是一位才干突出、品德高尚的好官。特别是身为两朝外戚，能做到这一点就更不容易了，说明他很自律。

由此看来，唐太宗提拔徐孝德，虽然有宠爱徐惠爱屋及乌的因素，但总体来说，徐孝德还是符合唐太宗“吾为官择人，唯才是与，苟或不才，虽亲不用，如其有才，虽仇不弃”的准则的。

徐孝德的年龄，若从他儿女的情况推断，应该比他的女婿唐太宗小一点。徐孝德的青少年时代正值隋末大乱，各路势力逐鹿中原，你方唱罢我登场。生活在这种战乱纷繁的社会里，徐孝德给他的两个儿子分别取名“齐聃”“齐庄”，从这一点来看，他应是在乱世之中明哲保身的那种人，比较专注于修身养性做学问。在那样的乱世之下，能独善其身老老实实地闭门读书不失为一种最聪明的办法。

徐惠的母亲姓姜，在徐坚的墓志上专门提到了这位金城郡（今兰州）姜太夫人的事迹：徐坚十四岁丧父，与祖母相依为命。姜太夫人“念其聪异，诲以志学”，亲自言传身教，把孙子培养成才。

姜太夫人去世后，徐坚十分悲痛，“哀几灭性，制则从礼，有感斯绝，无声常泪”，足见他对祖母的感情之深。徐坚和他的父亲与姑姑一样，也属于早慧型的人才，他的墓志和《新唐书》都记载过，徐齐聃曾经担任过沛王李贤的侍读，徐坚在那个时候还是个小孩，也是出了名的聪明，李贤亲自和他谈话后便给他纸笔，结果徐坚落笔成赋，让李贤和众门客叹服不已。所以，可以推测，当徐坚十四岁丧父的时候，他的学问虽不能说精深，但也有了相当功底。此时，他的奶奶姜夫人依然有能力“诲以志学”。由此可见，徐惠的母亲也是一个知识女性，其学识才华不在男子之下，套用长孙皇后的大伯的名言就是“此明睿人，必有奇子”。徐惠和她的弟弟、妹妹能够成才，除了天生聪慧，更与母亲姜夫人的教育分不开。

根据现存史料记载，徐孝德和姜夫人育有两男两女，除了在历史上留下事迹的徐惠、徐婕妤和徐齐聃姐弟三人外，还有一个小儿子叫徐齐庄。此人生平事迹已不可考，只是徐坚墓志中提到，他曾请求唐玄宗把本应赐予自己的爵位转授给这位叔父，于是徐齐庄被封了慈源县子，而徐坚的美德也因此受到了广泛的赞誉。

根据徐齐聃墓志，徐惠是他的姐姐，而高宗的徐婕妤则是他的妹妹。徐齐聃“咸亨二年，坐事钦州……岁馀而没，春秋四十有三”，由此可以推断他生于贞观四年，比贞观元年出生的徐惠小三岁。

至于徐惠的妹妹徐婕妤，历史的记载比较模糊，只知道她是高宗李治的婕妤，也很有文采，只可惜作品没有流传下来。

从遗传学的角度看，徐孝德的子女们都继承了来自父亲家族的文学天赋，在他们的母亲知书达理理、见识不凡的影响下，孩子们的文学潜能得到了开发。另外，徐孝德是南方人，姜夫人从郡望上看，应该属于天水姜氏，是北方人，他们的婚姻十分符合现代的优生观念——“父母籍贯越远，孩子越聪明”，先天遗传优势加上后天的良好家教，使得徐氏一门神童辈出。