Astronomie, a to hlavně populárně-vědecká, má v Kroměříži bohatou tradici. V letech 1878–1915 totiž působil v Kroměříži prof. Ferdinand Nábělek, který organizoval populární astronomické přednášky pro veřejnost, psal odborné články a spisy a jeho mapy byly známé i v zahraničí. Stal se tak fakticky zakladatelem tradice moderní astronomie v Kroměříži, a tato tradice je jeho pokračovateli udržována již přes 120 let.
První astronomické zařízení bylo ovšem v Kroměříži postaveno až v roce 1947 na popud vynikajícího astronoma amatéra Čeňka Šilera, který s pomoci B. Hoferka postavil na svém dvoře nedaleko dnešního autobusového nádraží soukromou hvězdárnu. Čeněk Šiler publikoval dlouhá léta své fotografie v časopise Říše hvězd a jeho odborné příspěvky dosahovaly vynikající úrovně. Čeněk Šiler zemřel v roce 1965 a po jeho smrti bylo v roce 1968 započato na popud nadšeného amatéra Josefa Hudce s výstavbou městské hvězdárny v Dolních zahradách.
Při stavbě bylo použito původního vybavení z Šilerovy hvězdárny, byla použita kupole a dalekohled, který svému účelu slouží v kupolí hvězdárny dodnes. Hrubá stavba byla dokončena v roce 1971 a to hlavně díky nezměrnému úsilí Josefa Hudce, který celou stavbu postavil doslova vlastníma rukama, neboť mu pomáhali pouze nejbližší příbuzní a několik známých. Josef Hudec měl s hvězdárnou dalekosáhlé plány, ovšem jeho smrt v roce 1972 zastavila veškeré aktivity kolem hvězdárny. Dílo zůstalo nedokončené a chátralo, zázemí dalších zájemců o astronomii chybělo. Měst. NV proto předal hvězdárnu do zprávy Domů Kultury v Kroměříži a též odkoupil dalekohled od rodiny Šilerovy. Fotografie z průběhu výstavby Hvězdárny Kroměříž jsou uvedeny v galerii v sekci Hvězdárna Kroměříž.
V roce 1973, k 500. výročí narození Mikuláše Kopernika, založili studenti kroměřížského gymnázia pod vedením Otakara Lukáše astronomický kroužek, který pracoval pod správou Domů Kultury Kroměříž. Na podzim téhož roku byla hvězdárna otevřena pro veřejnost. V počátcích činnosti se počet členů kroužku pohyboval kolem 20 a počet návštěvníků v jednom roce se pohyboval kolem 200. Astronomický kroužek též pořádal přednášky pro veřejnost a též se účastnil různých odborných akci.