潕溪書院始建于明正德年間（1506—1521年），原名沅溪書院，由苗族教育家吳鶴創(chuàng)建。吳鶴是明代苗族儒士、教育家，湖南吉首（鎮(zhèn)溪）人。曾隨大思想家王陽明游學江西，為其著名弟子。耿直不阿，不樂仕途，拒官不就，堅持在鄉(xiāng)里設(shè)館辦學，為唐宋以來苗族第一代漢文化知識分子。后人為其建祠立碑，開設(shè)沅溪書院以為紀念。

清乾隆三年（1738年），乾州廳同知王瑋在書院內(nèi)設(shè)立義學，聘請常德龍陽舉人龍升明講學，高朋滿座，人才濟濟，盛況空前。乾隆三十八年（1773年）書院改建。乾隆六十年（1795年）苗民起義，書院被毀。光緒年間，在外做官的徐鳳翔為給家鄉(xiāng)子弟營造讀書環(huán)境，募集股金籌建書院，其中一股作為“文昌會”經(jīng)費，仿照長沙岳麓書院規(guī)模建造書院，光緒十八年（1892年）落成。戊戌變法后，廢書院設(shè)學堂，1936年，國民政府在此創(chuàng)辦“湘西特區(qū)師資訓練所”，成為公立學校。此后一直為師范學校所在地，原有書院建筑得以保存。“文革”期間，部分建筑遭到破壞。20世紀80年代，潕溪書院被列為湖南省重點文物保護單位，對建筑進行了維修。1999年，全校師生集資重建已經(jīng)被毀的文昌閣，書院原貌得以基本恢復。

書院嚴謹?shù)慕ㄖ后w，是社會群體意識的表現(xiàn)，反映了“禮樂相成”的思想。一般而言，每所書院都有包括講堂、齋舍、書樓、祠堂的建筑群，體現(xiàn)書院講學、藏書、供祀的“三大事業(yè)”。潕溪書院建筑群力求中軸對稱的理想布局，以居中為尊；通過軸線層次序列，以別尊卑、上下、主次、內(nèi)外，達到由序達敬的目的；又通過不同特點的庭院天井的空間組合，達到以和至親的目的；以此形成一個序中有和、和中有序、和序統(tǒng)一的整體。建筑布局分為前院，主院和后院。前有大門、前廳，前廳之后是前院，庭院比較寬敞，院中綠樹成蔭。進入主院內(nèi)是講堂、藏書樓等教學建筑，左邊有魁星閣。后庭院內(nèi)主要是為祭祀而設(shè)的建筑文昌閣和大成殿，分奉文昌帝君和先師孔子牌位，每年祭祀。后部庭院左右兩邊分別為教師宿舍和學生宿舍，最后一進為后門。