Trä och sten var de vanligaste byggnadsmaterialen. Träkyrkorna var antingen byggda med stående plankor, så kallade stavkyrkor, eller så var de timrade. Det finns endast en bevarad stavkyrka i Sverige, Hedareds kyrka. Av de timrade kyrkorna återstår sammanlagt tolv, varav sju i Småland.

Konsten att bygga i sten var okänd för nordborna i början av medeltiden, och därför hämtade de kunskaper från kontinenten och England. Med hjälp av kalk- och sandsten kunde kyrkornas fasader dekoreras med figurer och ornamentik. Kyrkornas portaler blev särskilt rikt utsmyckade.

Trots att kyrkorna inte är identiskt lika, följer de ungefär samma plan. I alla kyrkor fanns ett kor och ett långhus. Koret låg i kyrkans östra del och var antingen rakt avslutat, eller försett med en halvrund avslutning, en så kallad absid. I koret stod altaret och där utförde prästen gudstjänster och mässor. Församlingen hade inte tillträde till koret och därför var det avskiljt från långhuset med ett galler, ett så kallat korskrank. Öppningen mellan kor och långhus kallas för triumfbågen, och där hängde ett krucifix.

I kyrkans långhus samlades församlingen. Där fanns bänkar längs väggarna för dem som behövde sitta under gudstjänsten. De andra fick stå. Under medeltiden var församlingen uppdelad under gudstjänsterna. Kvinnorna stod på norra sidan och männen på södra sidan. De två huvudaltare som fanns i långhuset var placerade på liknande sätt. I norr stod ett altare för Jungfru Maria, och i söder fanns ett altare tillägnat ett helgon, vanligtvis kyrkans skyddshelgon. Längst ned i kyrkan, strax innanför dörren, stod dopfunten. Det odöpta barnet ansågs vara orent, och skulle därför inte föras längre in i kyrkorummet än nödvändigt.

När kyrkan invigdes tecknade biskopen tolv kors på väggarna med vigd olja. Korsen skulle symbolisera de tolv apostlarna, och de målades ofta i med färg efter invigningen. Därför finns dessa, så kallade konsekrationskors, ofta bevarade. Kyrkan smyckades också med väggmålningar, som förmedlade bibelns berättelser för en icke läskunnig befolkning.