Rok 1973 przyniósł Garbarni cios, po którym do dziś nie może się do końca otrząsnąć. Wobec podjętej przez władze decyzji o budowie hotelu "Forum" stadion Garbarni musiał być rozebrany. W marcu tego roku brązowi rozegrali ostatni mecz na legendarnym stadionie, wygrywając 5:1 z GKS Świętochłowice. Bezpośrednio po meczu przystąpiono do wyburzania kompleksu sportowego. Zabytkowa drewniana trybuna została wysadzona w powietrze dynamitem a blisko półwieczny stadion pamiętający wiele wspaniałych spotkań przestał istnieć. Garbarzom obiecano wybudowanie nowego obiektu, ale jego budowa dłużyła się jeszcze bardziej niż samego hotelu. Przez 17 lat brązowi korzystali z gościny stadionu Korony przy ul. Parkowej oraz sporadycznie z innych aren (np. stadionu Wawelu przy ul. Podchorążych, gdzie powrócili w 2012 roku rozgrywać mecze II ligi).

W nowej, podzielonej znów na grupy II lidze sezonu 1973/74, pozbawionej własnego stadionu Garbarni nie udało się jednak utrzymać dłużej niż rok. Zajęła ostatnie miejsce w grupie południowej i spadła do III ligi. Był to jak dotąd ostatni sezon piłkarzy z Ludwinowa w II lidze.

Garbarnia od początku swojej stałej obecności na trzecim poziomie rozgrywek, a trwała ona ponad 20 lat, należała do najbardziej liczących się drużyn. W sezonach 1974/75 i 75/76 zajmowała odpowiednio miejsca piąte i trzecie w bardzo rozdrobnionych (podzielonych na 24 grupy w skali kraju) rozgrywkach. Od sezonu 1976/77 Garbarze występowali w grupie IV III ligi. Zajmowali kolejno miejsca: ósme (76/77 i 77/78), trzecie (78/79 i 79/80), siódme (80/81) i ponownie ósme (81/82).

W sezonie 1982/83 Garbarnia została przeniesiona do grupy VI III ligi i to o mały włos nie przyniosło brązowym powrotu do II ligi. O awansie decydować miał bezpośredni mecz Victorii Jaworzno z Garbarnią w ostatniej kolejce ligowych zmagań. Po dramatycznym meczu w Jaworznie Victorii udało się, mimo huraganowych ataków Garbarni, utrzymać remis 1:1, który dawał jej upragniony awans. Garbarnia musiała marzenia o awansie odłożyć na później.

Następny sezon przyniósł kolejną reorganizację rozgrywek, która losy Garbarni na kolejnych sześć sezonów połączyła z grupą VIII III ligi. W sezonie 1983/84 brązowi zajęli dopiero dziewiąte miejsce, a w kolejnych odpowiednio miejsca: dziesiąte (84/85 - ostatnie dające utrzymanie, po dramatycznej walce, wyprzedzając jednym punktem Dalin Myślenice, po golu w doliczonym czasie gry w ostatnim meczu), szóste (85/86 i 86/87) i drugie (87/88 - tracąc jeden punkt do Karpat Krosno).

Sezon 1988/89 dał Garbarni kolejną szansę powrotu na zaplecze ekstraklasy. Niestety tym razem, inaczej niż w poprzednich sezonach, zwycięstwo w grupie trzeciej ligi nie dawało bezpośredniego awansu i konieczne było rozegranie barażu z jednym z najsłabszych drugoligowców. Rywalem Garbarni był Bałtyk Gdynia. W pierwszym spotkaniu w Gdyni zwyciężyli drugoligowcy 1:0. Rewanż rozegrany został na stadionie przy ul. Parkowej w anormalnych warunkach. W strugach ulewnego deszczu rozpaczliwie atakującej Garbarni nie udało się strzelić jednak gola. Remis 0:0 sprawił, że w II lidze utrzymał się Bałtyk a ekipie Brązowych znów pozostały niespełnione nadzieje.

W następnych sezonach Garbarni już nie udało się włączyć do walki o powrót do II ligi. W aż dwudziestozespołowej grupie południowo-zachodniej znów zreorganizowanej III ligi sezonu 1989/90 piłkarze z Ludwinowa zajęli 16 miejsce. Od kolejnego sezonu powrócono do wcześniejszej konstrukcji rozgrywek trzecioligowych i występująca znów w grupie VIII Garbarnia zajmowała kolejno miejsca: dziewiąte (90/91), piąte (91/92), jedenaste (92/93) i dziewiąte (93/94).