南京是中國古代江南地區最早傳播佛教文化的地區，迄今已有1800多年佛教文化發展史，自東吳開始曾數度成為全國佛教中心。但江南出現第一座寺廟，還是在孫權建立東吳政權定鼎建業（南京）之后，那就是長干里一帶的建初寺。建初寺建于三國吳赤烏十年（247年），孫權為西天竺沙門康僧會造建初寺的故事，在敦煌壁畫里都有描繪。

康僧會，祖上為康居國（西域古國，約在今巴爾喀什湖與咸海之間）人，但世居天竺。因其父經商而遷居交趾（今越南）。康僧會十余歲時，父母雙亡，以至性奉孝，服完孝后旋即出家。康僧會精通梵文，而且還深受中華傳統文化的熏陶，聰穎好學，頗有辯才和文采。

南京佛教協會的專家介紹，東吳赤烏十年（247年），西天竺沙門康僧會到了建業，營建茅庵，設立佛像，進行傳道。孫權得到官員稟報后，馬上召見康僧會，問他：“你傳之道，有何靈驗？”康僧會回答說：“佛祖仙去，轉眼已過千年。他的遺骨舍利，依然神光照耀。從前，印度阿育王建寺塔八萬四千座，就是為了彰顯佛祖的遺教風化。”孫權不信，說：“如果你能請得舍利，我就為你建造寺塔。”康僧會和僧徒們潔齋靜室，把銅瓶放在幾案上，燒香禮請，共花了三個七天，終于請得舍利。舍利五色光芒照耀到瓶外。孫權把舍利倒在銅盤上，銅盤立刻被穿透。舍利被放在鐵砧上，用錘去擊打，結果錘砧俱陷而舍利無損。孫權大為嘆服，于是為康僧會造建初寺，并建阿育王塔，供奉康僧會請得的舍利。這座阿育王塔據傳系阿育王八萬四千塔中之一。

寺廟定名為“建初寺”，意思就是東吳第一座佛寺。最終，這段歷史被記載在初唐第323窟敦煌壁畫中。

唐朝歷史學家許嵩寫出了南京城第一個私家專著《建康實錄》。該書也記載了這段故事：“是歲， 胡人康僧會入境， 置經行所，朝夕念佛， 有司以聞。帝曰：‘昔漢明帝感夢金人，使往西方求之，得摩滕、竺法蘭來中國立經行教，今無乃是其遺乎？’因引見僧會，其言佛教滅度已久，唯有舍利可以求請。遂于大內立壇，結靜三七日得之。帝崇佛教，遂于壇所立建初寺。”