最初,浑仪的结构很简单,只有三个圆环和一根金属轴。最外面的那个圆环固定在正南北方向上,叫做“子午环”;中间固定着的圆环平行于地球赤道面,叫做“赤道环”;最里面的圆环可以绕金属轴旋转,叫做“赤经环”;赤经环与金属轴相交于两点,一点指向北天极,另一点指向南天极。在赤经环面上装着一根望筒,可以绕赤经环中心转动,用望筒对准某颗星星,然后,根据赤道环和赤经环上的刻度来确定该星在天空中的位置。
后来,古人为了便于观测太阳、行星和月球等天体,在浑仪内又添置了几个圆环,也就是说环内再套环,使浑仪成为多种用途的天文观测仪器。
浑仪的最基本构件是四游仪和赤道环。四游仪由窥管和一个双重的圆环组成。窥管是一根中空的管子,类似于近代的天文望远镜,只是没有镜头。