儿子有岳云、岳雷、岳霖、岳震、岳霭（霆）。长子岳云（1119—1142），字应祥，号会卿，刘氏生。他12岁即从张宪军，随父亲征战四方，身先士卒，屡建奇功。后被诬入狱，与父和张宪同时被害，时年23岁。冤狱平反后，赠安远军承宣使。次子岳雷，字发祥，号夏卿，又号声甫，刘氏生。1126年（靖康元年）三月，生于山西平定军。岳飞在狱中时，岳雷曾被派去照料其父。父被害后，随亲人被遣送至惠州（今属广东省）拘管，还未等到父兄平反，便已在流放地含恨而终。三子岳霖（1130—1192），字及时，号商卿，母李娃。岳飞遇害时，霖年仅12岁，孝宗皇帝昭雪时，霖32岁。霖广泛收集父亲遗事，其子岳珂在此基础上编成《鄂国金佗稡编》28卷、《续编》30卷，这是研究岳飞的重要史籍。四子岳震，字东卿，母李娃。父兄蒙冤遇害，震方7岁，随母流放。曾任朝奉大夫，后又加封缉忠侯。五子岳霆，李娃生，初名岳霭，后宋孝宗为之改名岳霆，字应时，号君锡。父兄遇害时才3岁，随母流放。后任修武郎、閤门祗候、奉直大夫。加封续忠侯。
历史上岳飞有五个儿子，两个女儿，两个夫人。 长子，名云，与岳飞同死于风波亭 ；次子，名雷；三子，名霖；四子，名震；五子，原名岳霭，岳飞平反后孝宗赐名岳霆。
长女岳安娘，此女银瓶（也有说此人是传说中的人物，事实上并没有此人） 岳飞排名较好个夫人刘氏，生岳云，岳雷，后因战乱离开岳母及家庭；排名较好位夫人是李氏，是岳飞在江南抗金时迎娶的。现在更多的史料证明，岳飞只有一个夫人，那就是李氏，所谓刘氏说，是秦桧对岳飞的污蔑，具体史实待后人考证。