高遷的建村歷史可以追溯到南宋淳熙年間（1174-1189年）。那時，安化知縣吳栝和他的弟弟從事郎吳椿從下礫徙居高遷，分別為高遷村東宅和西宅的始祖。吳栝和吳椿是吳全智十一世孫，在族譜上的世系屬仙居吳氏下宅。因此，高遷吳氏的故事，不得不從仙居吳氏講起。

仙居吳氏的始祖吳全智，字詰士，進士及第，官至后梁銀青光祿大夫，世居麗水遂昌。唐昭宗光化二年（899年），吳全智徙居仙居下礫，成為仙居吳氏的始祖。或許正是因為始祖吳全智擁有較高的文化地位和高度的文化自覺，仙居吳氏家風特重文教，形成了“甲第相承，簪纓相繼”的家族傳統(tǒng)。在這種傳統(tǒng)中，科舉出仕與文化傳承互為表里，共同維護著仙居吳氏的門第。

高遷的建村歷史可以追溯到南宋淳熙年間（1174-高遷位于仙居縣白塔盆地南部，距縣城20公里。自然地理區(qū)位為北緯28.5-29度、東經(jīng)120-121度之間，屬亞熱帶季風氣候，雨量充沛，森林覆蓋率接近80%。地形地貌以邱陵為主，有“八山一水一分田”之稱。高遷的基本地勢由西南向東北傾斜。大盤山自西南向東北延伸，構成了白塔盆地的西北緣。大盤山的最高峰青梅尖海拔1314米，有利于阻擋來自西北的冷空氣。西南鄰高遷溪（又名白水溪）和永安溪，南面對面以天姥山為中心的神仙居景區(qū)。白塔盆地山環(huán)水繞，為高遷的農(nóng)業(yè)文明發(fā)展提供了良好的自然生態(tài)條件。

高遷村現(xiàn)存宅院26座，1華里長商貿(mào)街1條，古宗祠2座，古井15口，古寺廟1座。村內(nèi)具有代表性的保存完好的11座古宅，自東向西連成一片，長約500米，布局大氣，歷經(jīng)數(shù)百年而不衰。每座宅院的建筑風格大致相同，均為二層建筑，但內(nèi)部空間靈活多樣，同中有異。民居構建了人們的生活空間。大規(guī)模向內(nèi)封閉的院落，使多世同堂、世代比鄰成為可能，從而塑造了和諧友善、守望相助的親族和鄰里關系。

如果說山水和建筑是高遷的骨架，那么文化傳承則是其延續(xù)千年不絕的血脈和靈魂。作為血緣聚居村落，高遷能夠在歷史變遷的漫長歲月中長久地保持活力、不斷發(fā)展，所依靠的最根本、最重要的力量，在于其精神傳統(tǒng)…

高遷的民居建筑，不僅具有供人居住的功能，也承載著人們的精神信仰。參差錯落的民居建筑，不僅是當?shù)鼐用竦淖怨乓詠淼纳羁臻g，也是他們代代相傳的信仰空間。