3世紀中後半から7世紀頃までは古墳時代と呼ばれる。3世紀中頃に畿内に出現した前方後円墳とそれに伴う墓制が急速に列島各地に広まっており、このことは畿内・山陽・北部九州に並立していた地域政治集団が糾合してヤマト王権を形成したことを表していると考えられている。ただし、これは初期国家と呼べる段階にはなく、王権の連合(連合王権)と見るのが適切とされている。この王権が後に国家としての体制を整え、さらに大和朝廷と称される政権に発展するが、どの時期以降をもって朝廷と呼ぶべきかに関しては、なお議論がある。
4世紀後半からヤマト王権は、武器・農具の原料である鉄資源を求めて朝鮮半島への進出を開始し、半島諸国の国際関係にも介入するようになったが、これを契機として朝鮮や中国の技術と文物が倭国へ多く流入した。
5世紀に入るとヤマト王権は本拠を河内平野へ移し、朝貢によって冊封体制下に参入することで朝鮮半島諸国との関係を優位にすべく、その目的にふさわしい官爵を求めて中国の南朝との通交を活発に行った。中国史書に名の残るこの時期のヤマト王権の首長を倭の五王という。
倭の五王最後の倭王武に現時点で比定されているのは、大泊瀬幼武尊(おおはつせわかたけるのみこと)であり、後世雄略天皇(470年頃治世)と諡(おくりな)されている人物である。このころより、大王_(ヤマト王権)や治天下大王と称するようになり、かつ中国の王朝の冊封体制より離脱したが、これは倭国を中国と別個の天下とする意識の現れとされる。この時期の前方後円墳は、特に規模が巨大化しており強力な王権の存在を示している。
倭の五王の後、5世紀後半から6世紀前半にかけて、ヤマト王権では混乱が見られた。しかし北陸?近江根拠地の傍系王族から即位した継体天皇の登場と統治により、ヤマト王権の列島支配が強まり、これ以後は現天皇に繋がる体制が確立した。なお、継体天皇期には、北九州で磐井の乱などが起こっているが、ヤマト王権と北九州豪族磐井の関係については不明の点が多い。
またこの時代には、朝鮮半島諸国の国際関係への介入は大きく後退した。こうした内向政な時期を経て、ヤマト王権による日本列島支配体制はさらに強化されていった。同時期にオホーツク海沿岸地域では、オホーツク文化が成立し、およそ13世紀まで続いた。
この時代(場合により次の飛鳥時代を含めて)を、大和時代と呼ぶことがあったが、現在は古墳時代とするのが一般的である。