“我名飞，向南来，寺落成，号飞来。”在南北朝梁武帝时期中国禅宗初祖的菩提达摩，受梁武帝邀请到金陵也就是现在的南京，途中经过飞来寺宣讲佛法，后建有“达摩谈经石”。唐高宗时期六祖慧能参拜“达摩谈经石”，后建有六祖殿。
清远飞来寺的历史故事可以追溯到梁武帝普通元年（公元520年），当时，黄帝的两个庶子太禺和仲阳隐居在飞来峡。 一个月明之夜，他们边饮酒、边作乐、边欣赏眼前这峰峦叠嶂、江水凝碧、佛山渔火点点的夜色时，总是感到有点美中不足，缺少点什么东西？ 吾欲建一道场，立胜概，师居乎？” 夜静，太禺与仲阳作法，一时行雷闪电，风雨大作，把整座延祚寺凌空拔起搬往广东。
次日，贞俊禅师早起，发现寺院已在清远峡山，心中不悦，口中念念有词：“寺能飞来，胡不飞去？” 空中传来话语：“动不如静！” 从此，这寺院就落地生根，留在了飞来峡。地方飞来的寺院，所以人们称它为“飞来寺”。据说延祚寺从安徽搬往广东，路经江西大庚岭时，偏殿不小心被撞掉一角，落在现今的南雄梅岭云雾山中，这就是现在的“挂角寺”，后来又称之为云封寺。
在1997年5月8日的特大山洪中，飞来寺遭遇了严重的损失，整座寺院的大部分建筑被冲毁、掩埋，多尊珍贵菩萨塑像被冲入江中流走，7名僧尼和2名寺院职工、2名临时工失踪或死亡。尽管如此，飞来寺依然以其独特的风格和历史价值吸引着人们的关注。
