W wieku lat osiemnastu, rozpoczął służbę jako oficer saperów w armii rosyjskiej. Brał udział w powstaniu listopadowym (był ponoć nawet ranny), po czym zmuszony został opuścić Polskę wraz z rodziną - internowany przez władze austriackie został wywieziony statkiem do Stanów Zjednoczonych. Początkowo utrzymywał się tam z lekcji języków, tańca i szermierki, w trakcie pobytu ukończył studia prawnicze, czas jakiś praktykował nawet jako adwokat. Pod wpływem ojca inżyniera, wdał się w budowanie kolei - został zatrudniony jako inżynier w Nowym Jorku. W roku 1841 przeniósł się do Kanady, aby koordynować konstrukcję Kanału Welland. Później związany był z wieloma projektami kolejowymi w szybko rozwijającej się Kanadzie. Szczytem jego technicznych osiągnięć było skonstruowanie International Bridge - mostu ponad Niagarą, łączącego Kanadę ze Stanami Zjednoczonymi o długości 1100 metrów. Projektantem tej budowli był inżynier E. P. Hannaford, który pomysłowo rozwiązał zwłaszcza problem fundamentów podwodnych. Montaż mostu był zadaniem trudnym technicznie, a poza tym przedsięwzięciem finansowo ryzykownym. Wszystkie przeszkody zostały jednak pokonane dzięki talentowi organizacyjnemu Gzowskiego i w listopadzie 1873 roku most oddano do użytku. Konstrukcja była podzielona na trzy odcinki. Jeden z odcinków mostu, Fort Erie miał 8 filarów, z których jeden podtrzymywał przęsło obrotowe. W roku 1901 most ten w skutek zwiększenia obciążeń kolejowych przebudowano.
