ところが、頼朝の従弟の木曽義仲が、信濃から攻め出て越後の城助長を破り、翌々年5月に越中と加賀の国境にある倶利伽羅谷で、平維盛・通盛を総大将とした平家の大軍を撃破します。これは平家の主力部隊であり、勝利に勢いを得た義仲は7月の末に京都に入り、平家は都落ちして西へ逃れました。
しかし、頼朝は、弟の範頼と義経に義仲を討つようにと命じます。なぜなら、義仲の軍が都で乱暴狼藉をはたらき、あろうことか「頼朝をやっつけよう」と西国の平家に呼びかけたからです。それで、一時は征夷大将軍に任じられ、平家討伐第一の功労者だった義仲は、近江の粟津で殺されてしまいました。
義仲を討たせたのはやむを得ないとしても、頼朝は、この義仲を倒し、平家を壇の浦に追い詰めて滅ぼした大功労者・義経をも滅ぼします。もう一人の弟・範頼も義経と協力し抜群の戦功を挙げていましたが、義経が滅ぼされるのを見てからはとくに恭順を誓っていました。にもかかわらず頼朝は範頼にも疑念を抱き、伊豆の修善寺に幽閉、間もなく殺したのです。
さらには、義仲の長男で自分の娘婿となっていた清水冠者義高も殺し、頼朝が死んだときに、彼の血を分けた男は、長男の頼家と次男の実朝の二人だけになっていました。
頼家は二代将軍となりましたが、妻の実家・比企家と母の実家・北条家との争いに巻き込まれて、伊豆の修善寺で殺され、次いで三代将軍となった実朝も、頼家の次男(実朝にとっては甥)・公暁によって暗殺されました。この公暁も二日後に殺され、頼家のほかの三人の息子も若くして非業の死を遂げています。実朝には子がありませんでしたから、鎌倉幕府を創設した頼朝の男系は簡単に絶えてしまったのです。