關於寺名來源有兩種說法：
一說該寺在奠基興建時下了一場較猛的冰雹，
冰雹藏語發音為“色拉”，
故該寺建成後取名為“色拉寺”，意為“冰雹寺”；
一說該寺興建在一片野薔薇花盛開的地方，
野薔薇藏語發音也為“色拉”，故取名“色拉寺”，
寺院全稱為“色拉大乘寺”。
相傳六百年前黃教的宗喀巴大師與弟子，
在色拉寺原址附近的薔薇林中散步，
有一天弟子經過一株小樹忽然聽見一陣馬鳴聲，
四處張望卻找不到馬匹，正要離開時，馬鳴聲又出現了，
那位弟子於是再仔細找找，發現馬鳴聲是從小樹底下傳來，
便往小樹根部挖掘，
竟然挖出一尊馬頭金剛佛像（為慈悲觀音的化身），
因此，就在此建廟供奉。
沒看錯
在色拉寺中出現一處"養老院"
想必在西藏藏傳佛教的世界裡
社會福利早就在數百年前已經實施了
色拉寺東北方的曬佛台，
可以鳥瞰整個色拉寺，
觀賞其層巒及錯落有致的殿宇佈局，
及其周圍秀美的風光。
色拉寺的四和合圖
在藏傳佛教中，有一幅常見的有趣構圖：一頭大象立於大樹旁，象背上頂著一猿猴，猴背頂著一兔，兔背上又有一鳥。這張構圖稱為「四和合」，表義敬老及和睦共處的意義。
「四和合」圖源自《佛陀本生經》：古昔有國名為「卡舒嘉耶」。此國連年戰亂無止息，忽有一年百姓安樂，戰亂平息，國王便沾沾自喜地以為一己之福澤惠及國土。有一天，國王遇上一位智者。此智者恆修禪定得証神通，而且常作真實語。智者告王曰：「百姓之安樂乃由貴國境一谷中四靈獸和合共處之功德感召，非由大王之福德而起。」，王乃親領侍從前往谷中查察，見一大象立於樹旁，背上頂著猴子﹔猴子又背負一兔，兔背上為一鳥。智者乃曰：「此四獸之坐相乃為大王與國民展示敬老及和睦之意義。小鳥為先住山谷中者，為土中之種子施肥﹔在種子生長為枝葉茂盛的樹時，為後來的兔子提供食物﹔在樹結果時又為再後來之猿猴提供所需﹔在生長成大樹後，最後入住谷中的大象得以遮蔭。四獸同意以年齡為尊卑之標准，和合共處、扶幼敬老。四獸之功德惠及貴國得享今日之太平。」。國王聽後心生恭敬，便下令國民學習敬老及融洽共處之道。
小鳥為本師釋迦牟尼佛在成佛前的過去生﹔兔、猴及象分別為佛陀之親近弟子──阿難、舍利弗及目犍連尊者──的過往生。
辯經
有人到色拉寺旅遊，
於觀光朝佛以外最感興趣的就是看喇嘛們辨經。
隨著他們此起彼落的擊掌辯經聲中，
似乎就可看到密宗佛教的未來–是多麼充滿希望！
而那些坐在樹下的喇嘛僧人們，
似乎隨著周遭觀光客越來越多，
他們辯的聲音與動作也越來越起勁，噢耶！
