Здание садово-паркового павильона «Голубятни» расположено в боскете «Птичий (зверовый) двор».
Из архивных документов известно, что первоначально здание Голубятни было деревянным, а пол выложен путиловской плитой. Археологические исследования уточнили местоположение здания и размеры всего боскета Птичий двор — 28 х 25.5 м.
В период правления Анны Иоанновны в 1732 году были начаты работы по украшению сада. Работами руководил Франческо Бартоломео Растрелли. Исторические документы 1736 года дают описание, как выглядело здание Голубятни и приводят его размеры.
Весь боскет хорошо виден на аксонометрическом плане города 1765-1775 годов; план даёт не только представление об объёмной композиции всего сооружения и его планировке, но также подробно показывает детали фасада, большие прямоугольные оконные проёмы, затянутые сеткой и разделённые узкими «лопатками». Такой приём позволял любоваться птицами, не заходя в здание.
На голубятнях подбирались птицы для покоев императрицы и членов высочайшей фамилии, для выпуска птиц в дворцовых садах и огородах.