Cafodd Gwydir Uchaf ei adeiladu fel t? haf ym 1604. Dewiswyd y safle, ar ben craig uwchben y prif d?, oherwydd y golygfeydd. Yn ddiweddarach yn yr ail ganrif ar bymtheg penderfynwyd bod y t? yn fwy cyfleus na'r castell fel prif breswylfa ac ar ryw adeg cafodd ei estyn i'r gorllewin. Ond yn y ddeunawfed ganrif daeth y castell yn brif gartref eto a chafodd Gwydir Uchaf ei esgeuluso. Trodd yn adfail a chafodd rhan ohono ei ddymchwel. Mae Thomas Pennant, wrth ysgrifennu yn y 1780au, yn dweud i hyn ddigwydd yn ddiweddar. Mae hefyd yn cyfeirio at bennill a fu uwchben y drws:

Bryn Gwedir gwelir goleu adeilad
Uwch dolydd a chaurau
Bryn gwiech adail yn ail ne;
Bron wen Henllys bren hinlle

Ym 1808 cofnodir bod pobl dlawd yn byw yn adfeilion Gwydir Uchaf, ond yn ddiweddarach yn y bedwaredd ganrif ar bymtheg fe gafodd y t? ei adfer, a daeth yn bencadlys Ardal Goedwig Llanrwst yn y man. Adeilad deulawr o garreg ydyw, gyda phorth canolog yn y prif floc a tho llechi.

Cafodd capel Gwydir Uchaf, capel preifat i deulu'r Wyniaid, ei adeiladu ar y graig ger Gwydir Uchaf ym 1673 (mae?n debyg bod y teulu yn byw yng Ngwydir Uchaf ar yr adeg honno). Ymddengys na chafodd y capel ei drwyddedu erioed. Cyflogodd y teulu gaplan, ac yn amser Pennant roedd pedwar gwasanaeth y flwyddyn yn parhau i gael eu cynnal yno. Mae?n adeilad bach syml o dywodfaen nadd gyda tho llechi, ac mae'r nenfwd paentiedig gwreiddiol yn dal yno, yn waith amrwd ond lliwgar ar fowt faril astellog.