灵隐寺的开山祖师是印度僧人慧理法师，灵隐的得名和飞来峰的得名都与慧理法师有关。灵隐一带过去称武林山，晋成帝咸和元年(公元326年)，慧理法师行访到这里。他见山岭怪石林立，峰棱如削，古木参天，寿藤攀缘，便向山头攀登，一边观赏景物，一边连连称奇。待登上山顶，慧理法师止不住惊叹道，＂这不是我们天竺灵鹫山的小山岭吗?不知为什么飞到这里来了?那座山岭，如来佛祖在时，多由仙灵所隐。＂慧理法师说＂仙灵所隐＂，不仅使武林山与佛祖联系起来，而且与山石怪异，洞窟幽深的武林山环境非常贴切，因此这一带后来就被通称为灵隐。而慧理法师所指的那座山也就被称之为飞来峰了。慧理法师即以北高峰为倚山，临北涧，面对飞来峰建造了灵隐寺。

    灵隐寺正对的飞来峰峰峦，被称作呼猿峰，又叫白猿峰。它的得名，也与慧理法师联系在一起。据说慧理法师宣称这座山是天竺国飞来的灵鹫山岭时，很多人对此将信将疑。慧理法师却很有把握地说：＂这山岭一向来住有两只猿猴，一黑一白。如果这山确系飞来，那么黑、白二猿也一定会相随而来。＂说完，他来到山脚的洞口，俯身洞内呼唤。果然，随着他的喊声，有一只黑猿和一只白猿从洞中奔跃而出。大家这才相信他的话，把这个洞称之为＂呼猿洞＂，而把这座山的山峰呼之为＂呼猿峰＂。

    关于灵鹫飞来和黑白二猿相随的说法当然是传说，但是慧理法师在此开建灵隐寺后，却确确实实养过一头白猿。

    据记载：慧理法师养的白猿很通人性，非常活泼。白天，它在溪涧中嘻耍跳跃；夜晚；松风低鸣，明月高悬，涧水丁冬，白猿偶一吟啸，凄哀婉转。慧理为此有＂引水穿廊步，呼猿绕涧跳＂的诗句，描述自己养白猴的乐趣。灵隐的猴群最多时是在南朝刘宋时期，有一个法名智一的僧人，敬仰慧理法师，养了一大群猴子。智一法师自己因此被人称为＂猿父＂。

    自此以后，灵隐山谷间就时常有猴子出没。一座怪石嶙峋的山峰，一条清澈透亮的冷泉，杂以松鸣水吟，偶或响起一声猿啸，此情此景的确给人以无穷的情韵和遐想。因此南宋曾定临安钱塘景色，共有八景，而＂冷泉猿啸＂即为八景之一。当时的游人常把到冷泉边听猿啸当作重要的游览内容，文人墨客更是以此为题材，写下不少诗篇。如南宋浙江嵊县人吴大有即作有《听猿》一诗。诗写道：＂月照前峰猿啸岭，夜寒花落草堂春。同来蜀客偏肠断，曾是孤舟渡峡人。＂诗人大约是陪同一位四川客人来游玩的，客人坐船沿长江三峡而下来到杭州。三峡两岸的猿啸凄哀令人悲凉不已，现在在这里又听到猿啸，难免勾起乡情而哀痛肠断了。

    宋元以降，灵隐的猿猴逐渐减少，到清代时已经很难再见到猴子，不过从零星的记载中还可以寻到猴子的踪迹。清顺治六年(公元1649年)，灵隐寺有僧人看见过白猿，它通身皎洁，白如积雪，在月光映衬下更显洁净可爱。第三年即1651年，僧人们又在青莲阁下看见一头黑猿。那黑猿居然头上戴着一顶斗笠，象是在匆匆赶路。僧人们一齐惊呼起来，那黑猿受了惊吓，发出一声轻微的吟叫，然后跳过溪涧奔窜而去。当时的人们把这一白一黑的猴子的出现看得很神奇，有人甚至认为这就是慧理法师当年从呼猿洞呼唤出来的黑白二猿。这就未免太神奇了，从慧理法师开山建寺到清顺治年间，其间历经一千三百多年，黑白二猿的寿命也太令人不可思议了。但灵隐山谷间早年有猴子却是事实，而猴子的最早的豢养人就是慧理法师。他为灵障寺这巍巍禅寺奠基开山，同时也为灵隐山谷增添过＂猿啸＂这一项景观