Urodził się i został ochrzczony w Bródkach. Jego rodzina opuściła tę miejscowość w pierwszych tygodniach II wojny światowej i, po jej zakończeniu, osiedliła się w Miedzichowie, gdzie spędził dzieciństwo. Po ukończeniu szkoły podstawowej wstąpił do Niższego Seminarium Duchownego w Wolsztynie. Studia filozoficzno-teologiczne odbył w Arcybiskupim Seminarium Duchownym w Poznaniu. 18 marca 1961 w seminaryjnej kaplicy otrzymał święcenia subdiakonatu z rąk Antoniego Baraniaka, arcybiskupa metropolity poznańskiego, który również w archikatedrze poznańskiej 27 maja 1962 udzielił mu święceń diakonatu, a 27 maja 1963 - prezbiteratu.

W latach 1963-1966 był wikariuszem w Parafii Chrystusa Króla w Poznaniu. Od 1966 przebywał w Rzymie, gdzie najpierw studiował prawo kanoniczne na Papieskim Uniwersytecie Gregoriańskim. Od 1972 do 1999 pracował w Najwyższym Trybunale Sygnatury Apostolskiej, dochodząc w nim do stanowiska prefekta (od 4 października 1998). Był też prezesem Sądu Kasacyjnego Państwa Watykańskiego.

21 grudnia 1982 papież Jan Paweł II mianował go sekretarzem Najwyższego Trybunału Sygnatury Apostolskiej i prekonizował biskupem tytularnym Acropolis. Święcenia biskupie otrzymał 6 stycznia 1983 w Bazylice św. Piotra w Rzymie z rąk papieża. 16 grudnia 1991 roku został mianowany arcybiskupem.

W listopadzie 1999 z mianowania Jana Pawła II został prefektem Kongregacji ds. Edukacji Katolickiej, czyli urzędu watykańskiego zajmującego się całokształtem katolickiego systemu oświaty i nauki oraz wielkim kanclerzem Uniwersytetu Gregoriańskiego. W 2001 został kardynałem diakonem z kościołem tytularnym św. Mikołaja w Więzieniu. 21 lutego 2011 został promowany do rangi kardynała prezbitera. W 2015 został członkiem kolegium ds. odwołań od wyroków dotyczących przestępstw zastrzeżonych w Kongregacji Nauki Wiary. 31 marca 2015 papież Franciszek przyjął jego rezygnację z urzędu prefekta Kongregacji ds. Edukacji Katolickiej.

Uchodził za jednego z najlepszych współczesnych znawców prawa kanonicznego. Jest autorem i współautorem licznych publikacji książkowych oraz artykułów w czasopismach kanonicznych i pracach zbiorowych. Łącznie jego bibliografia przekracza 550 publikacji w 12 językach.