Akce Z začíná
V první polovině roku 1964 bylo možné přikročit k samotnému zahájení stavby. Nejprve byly odstraněny čtyři dřevěné garáže, které stály na navážce nad Kozským potokem, a místo stavby bylo vyčištěno od odpadků. Podnik Vodní stavby navezl vrstvu zeminy jako základ budoucích parkových úprav. Na tomto umělém vršku pak byly vyměřeny základy hvězdárny, s jejichž vyhloubením pomáhali kromě brigádníků i vojáci táborské posádky. Na samotné stavbě hvězdárny se postupně vystřídali téměř všichni členové Klubu pracujících v Sezimově Ústí, díky jeho aktivnímu tajemníkovi Václavu Kalinovi, a samozřejmě i všichni členové astronomického kroužku. Mezi nejaktivnějšími „staviteli“ byli pánové Pečenka, Pešta, Bejblík, Kalina, Hartman, Přívozník, Pěchota, Kocman, Urbánek, Krajíček, Krejčí, Tichý, Tomáš a Ševčík.
Stavba, která byla zahrnuta do akce Z, tak utěšeně rostla. V rámci akce Z proplácel stavbu Městský národní výbor v Sezimově Ústí. Ze vzpomínek na tu dobu vystupují různé události, z dnešního pohledu a s odstupem času spíše úsměvné. Například, když se na stavbě čekalo na dodávku betonu, na který ovšem měly přednost důležité stavby socialismu. Několikrát se stalo, že na avizovaný beton brigádníci marně čekali u rozestavěné hvězdárny. Až jednoho večera přivezli beton v podstatě neohlášeně, a to byl zase problém rychle svolat dostatek brigádníků. Výsledkem nakonec bylo to, že část betonu se již nestihlo zpracovat. Duchapřítomností však do něj kdosi zasunul ohnutý kus pevného drátu, a tak jej bylo možné alespoň jeřábem naložit a odvézt na skládku.
Tak se podařilo postavit základy a hrubou stavbu, včetně stropu, který bohužel, jak dnes víme, má jednu špatnou vlastnost, a to že nemá vyřešenou tepelnou izolaci. Jedním z mnoha oříšků, které se povedlo vyřešit jinak a lépe, než bylo v původních záměrech, byla stavba kopule a sloupu pod dalekohled. Jak vybudovat masivní sloup, to bylo jasné již na začátku. Postavit bednění, které se vylije betonem. Pak ale přišel jeden z členů astronomického kroužku se zprávou, že se v jedné ulici, v Sezimově Ústí povaluje nadbytečná betonová kanalizační trubka, a co navíc, těch správných rozměrů. Víc nebylo nutné dodávat a zmíněná trubka se po usazení a vylití betonem rychle stala perfektním masivním sloupem pod montáž dalekohledu.