史书记载岳飞共有三个妻子，前两个不说了，最后一个妻子叫做李娃。

　　据王曾瑜先生考证：李娃在建炎四年居宜兴，生岳霖，则应在建炎二三年间嫁岳飞。

　　李娃比岳飞年长两岁，嫁给岳飞的时候已有二十八九岁，据记载，李娃是个不得了的女子，甚至帮助岳飞治军。

　　岳飞虽然是被"莫须有"的谋反罪名而被害，但他的妻子儿女还算有点幸运，因为没有立即被皇权杀绝斩尽，古代的谋反罪可是犯了灭九族的的罪过。

　　绍兴十一年腊月二十九，岳飞被杀。同时宋高宗下旨岳飞家属流放岭南，由当地官府每月向朝廷上报存亡情况，同时张贴告示，宣布除了已经处理的涉岳飞案人员外其余不再追究，但此案不许人再上诉，如有官府不得受理。

　　一行人由殿前都指挥使杨沂中、临安知府俞俟派士兵押送赴岭南。自绍兴十二年至二十五年，宰相秦桧当道，无人敢为岳飞叫冤。

　　岳飞妻李娃，封秦国夫人，时年41岁。岳飞死后，从绍兴十一年到绍兴三十一年，二十一年间，李娃率领岳飞的子女在岭南苦度日月，他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月到监管人处呈身，在这样的境遇中，李娃都能够“居患难不改幽闲之操”，令世人敬仰佩服。

　　长子岳云，12岁时参加了张宪(岳飞最倚重的将领之一)的部队当一名小卒，16岁时开始跟随岳飞一起出征。后来和岳飞、张宪一起被杀，年仅23岁。

　　次子岳雷，岳飞被捕时他被证明与“谋反”无关，被派入狱中照顾父亲和兄长，岳飞被杀后岳雷被发配到惠州(在今广东省)拘管，含恨而终。

　　三子岳霖，岳飞被杀时他年仅12岁，其中还有7岁的弟弟岳震、3岁的弟弟的岳霭(宋孝宗为他更名为岳霆)及母亲李娃一起被流放到惠州，地方官将他们安置在寺庙里一个“仅能容身”的茅屋中，长期被软禁(上面已经说过)。

　　岳霖身为名将之后却一直从文，他儿子岳珂在他整理的岳飞遗事的基础上写下了《鄂国金佗粹编》、《续编》、《桯史》，称为研究岳飞的重要史料。岳飞平反后岳震被封为缉忠侯，岳霆被封为续忠侯。

　　最后是其女儿，史书中对岳飞长女岳安娘的记录很少，次女岳银瓶相传本名为岳孝娥，她的事迹见于野史及小说。

　　在《说岳全传》记载岳银瓶听说父亲被杀之后多方奔走号呼，给父兄鸣冤，但当时并不承认岳飞的冤情，岳银瓶最终抱银瓶投井身亡。2004年，杭州市在重建风波亭的时候，特意在亭边为岳银瓶修建了一口孝女井。