房玄龄本名房乔，字玄龄，齐州临淄人。房玄龄自幼就很聪明，博览经史，工于草书、隶书，善写文章。

房玄龄的父亲房彦谦是隋朝的泾阳县令。房玄龄曾跟随父亲到过京城。当时天下安宁，大家都认为隋朝国运长久。房玄龄避开左右对父亲说：“皇帝本无功德，只会迷惑黎民，不做长远打算。皇帝混淆嫡亲和庶出，让他们互相争夺，皇太子与诸王又竞相奢侈，早晚会互相残杀。这些人难以长久，现在天下虽然清平，但灭亡却是早晚的事。”

房彦谦听后很吃惊，从此对房玄龄刮目相看。房玄龄十八岁时，被举荐应进士考，及第后被授羽骑尉。吏部侍郎高孝基颇有知人之明，见到房玄龄后深加赞叹，对裴矩说：“我阅人多矣，还未见过这样的郎君。此子他日必成大器。但恨我看不到他功成 名就、位高凌云了。”房玄龄的父亲病了，房玄龄尽心侍奉药膳食，总是和衣而睡。父亲去世后，房玄龄五天不吃不喝。后来，房玄龄被任命为隰城县县尉。

李世民视房玄龄为知己。