Arcybiskup Ziemba urodził się 15 października 1941 r. w Wampierzowie, w parafii Wadowice Górne (diecezja tarnowska). W 1960 r. wstąpił do Wyższego Seminarium Duchownego „Hosianum” w Olsztynie. Święcenia kapłańskie przyjął 18 czerwca 1967 r. z rąk bp. Józefa Drzazgi.

Po święceniach posługiwał jako wikariusz w parafii św. Katarzyny w Kętrzynie i św. Jakuba w Olsztynie. Następnie został wysłany na studia specjalistyczne z teologii biblijnej na KUL. Studiował ponadto na Papieskim Instytucie Biblijnym w Rzymie. Pracował w WSD „Hosianum” jako prefekt, wykładowca, wicerektor, a w latach 1982–1986 jako rektor. 23 czerwca 1982 r. papież Jan Paweł II mianował go biskupem pomocniczym diecezji warmińskiej. Jego zawołaniem biskupim były słowa: „Dives in misericordia Deus” (Bóg bogaty w miłosierdzie).

Po reformie administracyjnej Kościoła w Polsce w 1992 r. został mianowany pierwszym biskupem diecezji ełckiej. Następnie, w 2000 r. został arcybiskupem metropolitą białostockim. Po sześciu latach papież Benedykt XVI mianował go metropolitą warmińskim. W 2016 r. przeszedł na emeryturę i zamieszkał w Konwikcie Kapłanów Warmińskich w Olsztynie. Jego ostatnie lata życia były naznaczone chorobą.