京都北部的山峡地区高雄，自古以来便是许多僧侣刻苦修行的场所。8世纪时此地曾建寺院，不过于12世纪时废寺。颇负影响力的明惠（1173–1232）于1206年受天皇之命重建寺院，佛教亦因此再度兴盛。高山寺正如其名，是“高山上的寺院”——引用自华严宗重要经典《华严经》其中一节。寺院名的一般日文念法为“Kouzanji”，而正式念法应为“Kousanji”。

明惠对佛教研究及修行不遗余力，高山寺因此以“学问之寺”为人所知。他亦爱好艺术，时常邀请知名艺术家及有识之士至高山寺，造就了浓厚的文化氛围。从美术及文学创作欣欣向荣的平安时代（794–1185），到佛教新思想在日本广为流传的镰仓时代（1185–1333），明惠酝酿的文化环境传承不息，并留下无数宝物。许多寺院中的画作、雕像、文书幸免于16世纪的火灾，保存至今状态仍相当完好。

明惠亦是推广日本茶的知名人物。他曾于高山寺附近种茶，寺院目前继续保留小块茶园，每年收获茶叶。日本茶界至今仍非常尊敬明惠，感谢他对茶文化传统做出的重要贡献。

1994年，高山寺被列入世界文化遗产。