Die kirchlichen Aufzeichnungen von Geburt, Heirat und Tod begannen gegen Ende des 16. Jahrhunderts. Bedingt durch Kriegswirren und Gesetzlosigkeit waren die Aufzeichnungen in der Umgebung westlich und südlich von Aachen im 17. Jahrhundert aber sehr lückenhaft. Einige Vorfahren von Josef Zimmermann lassen sich dennoch weiter in die Vergangenheit zurück verfolgen.

Die Lehensregister der probsteilichen Mannkanner des Aachener Marienstifts über die ihm gehörenden  Ortschaften westlich und südlich von Aachen begannen in Jahr 1394. Darüber lässt sich die auf Gut Rabothrath lebende Ahnenreihe der Else Mees, Ehefrau von Peter Timmerman, die Mitte des 17 Jh lebten, bis zum Beginn der Aufzeichnungen um 1400 zurückverfolgen. Sie beginnt mit Anshem van Rebuetroyden und dessen  Frau Elsbette Cotquiels bzw deren Vater Wilhelm, die aus Limburg stammten. Elsbette erhielt eine Mitgift von 1000 Gulden, zu behalten im Fall von Nachwuchs  (um 1400 entsprach die Kaufkraft eines brabanter Guldens grob geschätzt etwa 350 €).

Die Ehefrau von Peters Sohn Leonard, Angela Heyendael, ebenfalls im 17 Jhd lebend, konnte ihr Geschlecht zurückführen auf den Anfang des 15. Jahrhundert lebenden Ritter Winand von Willonrieu zu Heyendael, einem Weiler bei Hombourg. Winands Vater Anselm nahm an der Schlacht von Worringen auf Seiten der Gegner des Herzogs von Brabant teil.

Die Vorfahren von Josef Zimmermann mit dem Namen Zimmermann haben seit Beginn der kirchlichen Aufzeichnungen innerhalb eines Kreises von 7-8 km zwischen Aachen und Eupen gelebt, meist als Bauern. Wiederkehrende Orte sind Walhorn, Belven, Raeren und Eynatten. Bei den Ehefrauen hat sich der Herkunftskreis ab dem 19. Jahrhundert etwas erweitert.

Der Name Zimmermann wird in den Lehensregistern erstmals im Jahr 1454 erwähnt, als ein Micheil Tzimmerman 2 Morgen Land an Poentz van Welkenhusen, dem Erbvogt zu Lontzen, übergeben hat (Poentz hat diese dann in Unterpacht gegeben für 6 Sumber Hafer)

Interessant ist, dass es bei der Zimmermann Linie bis zum 20. Jhd so gut wie keine genealogische Vermischung mit den Bewohnern der benachbarten Städte Aachen und Eupen gab. Allerdings ist im 18. Jahrhundert ein Zweig der Zimmermanns nach Aachen abgewandert.

Die Vorfahren der Mutter von Josef Zimmermann, Maria Schultheiss, stammten aus Bardenberg/Würselen. 6 km nordwestlich vom Zentrum von Aachen. Auch ihre Vorfahren kann man einem relativ kleinen geographischen Bereich zuordnen und es gab keine Vermischung mit der Bevölkerung der nahe gelegenen Stadt Aachen.

Die ersten Daten zu seinen Vorfahren wurden im Frühjahr/Sommer 1942 von dem 17 jährigen Richard Zimmermann erhoben, der mit dem Fahrrad etliche Standesämter der Region abgeklappert hat. Sie wurden später von seinem Bruder Josef vervollständigt.

Die Ehefrau von Josef Zimmermann, Clara Schönbrod, stammte aus Aachen. Alle ihre bekannten Vorfahren waren Städter, die aus Aachen, anderen Städten im Rheinland, Spa und Lüttich stammten. Es gab auch hier keine erkennbare Vermischung mit der Landbevölkerung. Die Biographien ihrer Vorfahren sind vielfältiger als die von Josef Zimmermann. Der schillerndste Vorfahr stammte aus Dresden, mit späteren Wohnsitzen in Lüttich, Paris und Nantes, wo er zum sehr reichen Großimporteur und Finanzier aufstieg und dann in den Jahren nach der französischen Revolution alles verlor,einschließlich seines Lebens.