贞观二十二年(648年)，房玄龄病重，太宗派名医为其医治，每日供给御膳，并亲临探望。七月，房玄龄与世长辞，终年七十岁。临终之时，房玄龄对诸子说：“当今天下清平，只是皇上东讨高丽不止，正为国患。主上含怒意决，臣下莫敢犯颜。我知而不言，就会含恨而死啊。”于是抗表进谏，请求太宗以天下苍生为重，罢军止伐高丽。太宗见表，感动地对房玄龄儿媳高阳公主说：“此人病危将死，还能忧我国家，真是太难得了。”临终之际，李世民亲至其病床前握手诀别，立授其子房遗爱为右卫中郎将，房遗则为中散大夫，使其在生时能看见二子显贵。房玄龄受遇如此，死时定当含笑。卒年七十，诚为喜丧之年。太宗为之废朝三日，赠太尉，谥曰文昭，陪葬昭陵。唐大臣也是著名书法家的褚遂良，于唐永徽三年，为玄龄公墓刻“房玄龄碑”。碑文二千余字，其中最为知名的一句话是：“道光守器长琴振音，方嗣虞风仙管流声。”

　　房玄龄一直告诫儿子们不要以地望凌人，切勿骄奢沉溺，并集汇古今圣贤家戒，亲书于屏风上，分给各房子嗣，说：“如能留意上面的内容，足以保身成名。”然而玄龄公辞世后，“房遗爱谋反事件”，尽毁房玄龄一世忠贞，家族终为逆子恶妇所累，公主赐自尽，房遗爱伏诛，诸子都作为刑徒流配岭南。房遗直因父亲之功，总算保得不死，除名为庶人。