高山寺开山祖师明惠（1173-1232）是日本茶叶栽培的先驱。他使用荣西（1141-1215）禅师从中国带回日本的茶籽，种植于高山寺附近的茶田。目前高山寺在距离遗香庵稍远处仍保留有茶园。
明惠
出生于承安3年（1173），现今和歌山县有田川町的汤浅氏出身，是华严宗的中兴祖师。随神护寺的文觉和尚出家。在东大寺学习华严经，并师事劝修寺的兴然习密教。建永元年（1206），后鸟羽天皇赐予栂尾之地，在此创建了高山寺，将其作为兴盛华严宗的中心道场。宽喜4年（1232）逝世。
遗香庵茶室于1931年为纪念明惠圆寂700周年而建，同时亦为称颂他在日本茶历史上的卓越贡献。传统茶室遗香庵建造之际，有多达100余名日本茶道家向明惠致敬并捐资。
遗香庵现不对外开放。
