相传在夏代的时候，中国就有了天文台，那时候把它叫做“清台”；商代叫做“神台”；周代叫“灵台”。从很早以前开始，中国的帝王就认为他们是上天之骄子，受命于天来统治天下，只有他们才有权知道上天的意旨。因此，只有天子所在的都城才有天文台，“天子有灵台，以观天文，……诸侯卑，不得观天文，无灵台”。早期的灵台不仅进行天文观测，还是祭祀和每月初一举行告朔仪式的地方。后来，随着天文工作和祭祀活动日益扩大，灵台成为专门进行天文观测的场所，而祭祀和告朔则在社坛神庙和明堂进行。

现存最早的天文台遗址在今天的河南省偃师县境内，是在东汉中元元年（56）建造的。这座灵台在当时属太史令管辖，设有一个灵台丞主持全台的工作。全台共有四十二名工作人员，其中十四人负责观星，两人负责观测太阳，其它人则分别负责对风、气、晷影和钟律进行观测和测量。这座天文台从管理和组织上都已经相当完备，对后世官方天文台的建立模式产生了很大的影响。汉代以后，历代均有天文台，其规模和人员编制更为宏大，管理和组织更加完备，成为天文观测和历法编制的重要场所。