Решение о создании обсерватории было принято Академией наук в 1827 году и получило высочайшее одобрение от императора Николая I. Местом для новой обсерватории была выбрана вершина Пулковской горы, так как она обеспечивала простор для точных астрономических наблюдений и находилась на достаточном расстоянии от шумной столицы, быстро разраставшейся в то время. Общая стоимость строительства составила огромные по тем временам 2 100 500 рублей.
Обсерватория постоянно развивалась и расширялась, становясь образцом для подражания. Так, во второй половине XIX века в Лиссабоне была построена аналогичная обсерватория, сотрудники которой регулярно приезжали в Пулково на стажировку. Учреждение оснащалось по последнему слову техники — здесь были установлены крупнейший в мире телескоп-рефрактор и астрограф, сохранившийся до наших дней.
После Октябрьской революции обсерватория продолжила демонстрировать научные достижения: здесь устанавливались большой спектрограф Литроу и горизонтальный солнечный телескоп, произведённый уже в Советском Союзе. Во время Великой Отечественной войны обсерватория стала целью немецких бомбардировок, однако персоналу удалось эвакуировать большую часть оборудования в Ташкент.
После войны работы по реконструкции возглавил архитектор А. В. Щусев. Ему удалось не только восстановить комплекс зданий в первоначальном виде, но и существенно расширить его, добавив новые павильоны, которые вскоре были оснащены самым современным астрономическим оборудованием.