La regione montagnosa di Takao è stata associata all’ascetismo per centinaia di anni. Fonti storiche riportano di un tempio esistente nell’area fin dall’VIII secolo, anche se questo cadde in disuso nel XII secolo. Anni dopo, l’Imperatore Gotoba incaricò l’influente Monaco Myoe (1173-1232) di ricostruire il tempio che fu ultimato nel 1206. Il nome Kosanji, o “tempio dell’alta montagna”, fu ispirato da un passaggio del Grande sutra dell'ornamento fiorito dei Buddha, una scrittura fondamentale all’interno del buddhismo Kegon. Anche se la pronuncia ufficiale è “kosanji”, il tempio è comunemente conosciuto come “kozanji”.

Per via della fervente dedizione del monaco Myoe per lo studio e la pratica, Il Kosanji divenne presto un tempio associato all’apprendimento. Inoltre, Myoe era un appassionato conoscitore di arte sacra e spesso invitava al tempio eminenti artisti e intellettuali. L’inestimabile patrimonio culturale da lui coltivato si estende dal periodo Heian (794–1185), un momento di straordinaria fioritura artistica e letteraria, fino al periodo Kamakura (1185-1333), in cui nuove correnti di pensiero buddhista si diffusero in Giappone. Fortunatamente, un considerevole numero di dipinti, statue, e documenti sono scampati ai devastanti incendi del XVI secolo e tuttora si trovano in un’ottima condizione.

Il monaco Myoe è ricordato anche per il suo ruolo nella diffusione del tè in Giappone. Ancora oggi, lo stesso tè che Myoe usava coltivare nei pressi del tempio è prodotto su un piccolo appezzamento di proprietà del Kosanji. Grazie al suo ruolo fondamentale nella divulgazione della cultura del tè in Giappone, Myoe è tutt’ora rispettato e venerato dai produttori di tè su tutto il territorio nazionale.