Arcybiskup Ziemba urodził się 15 października 1941 r. w Wampierzowie, w parafii Wadowice Górne (diecezja tarnowska). W 1960 r. wstąpił do Wyższego Seminarium Duchownego „Hosianum” w Olsztynie. Święcenia kapłańskie przyjął 18 czerwca 1967 r. z rąk bp. Józefa Drzazgi.