家族不良環境因素對孩子智力有一定的影響，原本是一個健康兒，在突發的家庭惡劣環境中也可以變成殘疾兒。

首先是家族文化素質的問題，一個低文化家族，尤其母親無文化，對孩子影響十分重要。國內外統計都證實了低于小學文化的母親組所生子女的智商低于高文化母親組。

其次是父母離異或突然失去父(母)親的兒童，會發生強烈的心理刺激，而出現失語等心理障礙，失去學習興趣或失掉學習機會而成為一個智力落后兒童或精神失常兒童。尤其在認知和推理方面，離異家庭的兒童普遍不及完整家庭的兒童。

再者，父親職業與孩子的智力水平也有一定相關性，即高級專業與非技術勞動的父親的孩子顯示出較明顯差異。但這種差異不隨孩子年齡增加而加大。