W„Przewodniku po Sandomierzu” autorstwa ks. Józefa Rokosznego przy okazji opisu Gór Pieprzowych możemy odnaleźć następującą wzmiankę: „Na tych górach, zwłaszcza od strony południowej, znajdują się cmentarzyska z czasów przedhistorycznych. Tu w r [oku] 1854 wiosenny potok wymulił ziemię i odkrył długi szereg glinianych urn, napełnionych szczątkami kości ludzkich, kilkadziesiąt urn, tu wydobytych, śp. Józef Zieliński ofiarował do zbiorów diecezjalnych”.

W zbiorach Muzeum Diecezjalnego zachowały się także architektoniczne miniatury, wykonane przez Józefa Zielińskiego z lipowego drewna. Podpisał się na nich: „Obywatel miasta Sandomierza, amator starożytnych zabytków oraz badacz starożytnych zabytków”. Miniatury przedstawiają: ratusz w Sandomierzu, kościół dominikanów św. Jakuba, szlachecki dworek oraz fragment zabudowań klasztoru Panien Benedyktynek.

Starannie wykonane miniatury charakteryzują się dbałością o wierne odtworzenie wszystkich detali architektury z zachowaniem odpowiednich proporcji. Model ratusza został ukończony w lutym 1900 r. J. Zieliński zanotował, że wykonał go, „stosując się do fotografii Marcina Kasiewicza, zdjętej do r. 1893 i po zbadaniu wszelkich starożytnych szczegółów budowli i ornamentacji, na ile to okazało się możebnem”. Ową fotografię pozostawił Zieliński w szufladce miniatury. Znajdował się tam również, sporządzony przez autora „Krótki opis Ratusza w Sandomierzu”, „Krótki opis kościoła Świętego Jakuba w Sandomierzu”, rysunek orła z wieży ratuszowej, wreszcie notatki z obliczeń sporządzanych w łokciach i calach.

Miniaturę przedstawiającą dworek Józef Zieliński wykonał w 1901 r. Skreślony ręką autora podpis informuje, że jest to: „Staropolski dworek w Sandomierskim, dziś nieistniejący, spuścizna szlachecka rozparcelowana, starożytny piękny ogród wycięty, a bocian przeniósł się na zagrodę kolonisty, opłakując dolę szlachecką. Potomki starego pachciarza dziś bankierami warszawskimi”.

Miniatura kościoła św. Jakuba powstała, jak czytamy: „po szczegółowem zbadaniu wszelkich śladów pierwotnej budowli i po rozpatrzeniu opisu i rysunków z r. 1879 i 1881 Władysława Łuszczkiewicza członka Akademii Umiejętności w Krakowie z wyłączeniem kaplic i innych przybudówek, nie należących do pierwotnego stanu budowli, zrobił w r. 1900 z drzewa lipowego badacz starożytnych zabytków M [iasta] Sandomierza Józef Zieliński, obywatel tego miasta”.

Kolejna miniatura przedstawia fragment zabudowań klasztoru Panien Benedyktynek w Sandomierzu, wmurowaną w mur zewnętrzny furtę i kazalnicę z XVIII wieku. Na tle architektury autor ustawił rzeźbione figurki sióstr benedyktynek, które opuszczają na zawsze sandomierski klasztor (był to rok 1903). Towarzyszy im w drodze do klasztoru w Łomży ich długoletni spowiednik ks. Wawrzyniec Szubartowicz.