主題曲叫《牧羊曲》。隋唐年間，著名功夫家“神腿張”抗暴助義，遭到了仁則陷殺，其子小虎逃亡至少林寺爲少林武僧曇宗所救。小虎爲報父仇，拜曇宗爲師，習武少林，並落髮爲沙彌，法號覺遠。一日，李世民偷渡黃河被王仁則兵馬圍困，覺遠等施計解救。王仁則誣陷少林寺內有人通敵謀反，準備滅掉少林。衆僧浴血奮戰，曇宗戰死。此時李世民率兵返回攻陷洛陽，王兵譁變，王仁則被覺遠手刃。爲繼承曇宗遺志，覺遠受戒爲僧，兼負武林統領。唐太宗諭立僧兵，並立碑表彰衆僧義勇。自此，少林習武風盛，名傳四海，威震四方。電影中小虎出家受戒，頭上燒戒疤，而事實上戒疤是元朝纔出現，這是漢地佛教出家人的一種明顯的外在標誌，於是很多人都誤認爲凡和尚都要燒戒疤的。在一些“唐宋時代”故事的電影或電視片裏如電影《少林寺》，出現在銀幕或屏幕上的和尚們都煞有介事地“燒”上了戒疤，事實上都是錯誤的。
製片方長城公司起初邀請了香港導演陳文擔任導演，拍攝季節是冬天，場景灰暗，陳文又啓用了大量來自河南京劇團的演員進行拍攝，效果不佳。於是，請出張鑫炎來救場。此時《少林寺》的拍攝經費已經花掉了40萬港元，但張鑫炎進組之後，卻決定將此前的拍攝全部推翻，原劇本是正劇風格，他改爲輕喜劇，原來的主演是長城公司的吳剛以及京劇演員，他決定由內地的武術精英出演，並在國家體協的協助下，從七個省選出了全部演員，冬天的場景，所呈現出的視覺效果太蕭瑟，他就決定等到春天再開始拍攝。於是最終形成我們看到的那個故事。
《少林寺》是一部在武打電影史上具有劃時代意義的作品，影片一反舊式武打片中那種純表演的花架與鏡頭技巧的賣弄，通過李連杰和他的一班武術隊員們樸素真實的功夫讓觀衆真正欣賞到了中國功夫。《少林寺》的轟動，使光頭和尚覺遠的形象已成爲了一個時代的印記。讓觀衆着迷的是，李連杰的一招一式剛柔相濟，於海的螳螂拳出神入化，胡堅強的地趟拳騰落舒展，於承惠的醉劍游龍似鳳。那武戲的對打，更加精彩了得，值得琢磨。《少林寺》轟動世界，掀起了世界武術熱，成了功夫片難以逾越的經典，是因爲演員、拳腳都是真功夫。
