ところが、9世紀半ば、藤原氏とのあいだに事件が起きます。文徳天皇の皇太子の座をめぐる争いです。文徳天皇が即位したとき、天皇には4人の皇子がいました。第一皇子の惟喬(これたか)親王の母は紀氏の出身であり、しかも天皇最愛の皇子だったことから、紀氏は惟喬親王が皇太子となるのを大いに期待しました。
しかし、文徳天皇は生まれて間もない第四皇子・惟仁(これひと)親王を皇太子に決めてしまったのです。惟仁親王の母は藤原良房の娘でした。政権独占をねらう良房が文徳天皇に強い圧力をかけたのでした。
惟仁親王が清和天皇として即位して後は、惟喬親王の伯父だった紀有常は22年間も昇進できませんでした。さらに866年に起きた応天門炎上事件では、藤原氏のライバルの貴族たちが犯人として捕えられ、紀氏の有力者も連座させられました。これによって紀氏は最後の力も失ってしまいます。
中央政界での望みを絶たれた紀氏は、「文学」に生きる道を求めました。905年に出来上がった日本最初の勅撰集『古今和歌集』の選者には、紀貫之、紀友則が名を連ねました。また撰集された歌の2割が紀氏一門によるものでした。