正妻：民子
    長女：内田夢（1846年 - ?） - 内田誠故と結婚[78]
    次女：疋田孝子（1849年 - ?） - 疋田正善と結婚[78]
    長男：勝小鹿 孫：知代、伊与(伊代)
    次男：四郎（1854年 - 1866年）[79]

妾：梶玖磨（お久） - 長崎伝習所時代の海舟(34歳～　)に、当時14歳の梶玖磨を妾にする。25歳没。
    女児：死亡。
    三男：梶梅太郎（1864年 - 1925年）…妻：クララ・ホイットニー

妾：増田糸 - 勝家の使用人・安政7年、咸臨丸渡米前に手をつける。
    三女：逸子（いつこ） - 目賀田種太郎夫人
    四女：八重

妾：小西かね(兼) - 赤坂氷川邸で働く使用人。
    四男：岡田義徴（七郎）[80]

妾：清水とよ - 近所の旧幕臣の娘・清水とよ。この後、暇を与えて香川家に嫁がせて「香川とよ」となる。
    五女：妙子

妾：森田米子 - 赤坂氷川邸で働く使用人。