耽石院：是余靖幼年时代，读书启蒙的所在地，又叫耽石书院。
    耽石院，位于翁源县新江镇双石村净源山。在老余屋村山背后面，有一羊肠小道环山而进。约三、四公里处，是古时的一个小庙，约150平方米大，三面环山拥抱、风景幽雅清静，石山奇秀、青松翠木，郁郁葱葱，景色迷人。庙门前有口大山塘，原庙内中间有一清泉流入塘中，现已干枯尚有原洞留存。现石山下有清泉涌流其中，庙门前视野宽广、一望无际，是古人养身隐居攻读的宝地，钟灵毓秀、人杰地灵。余靖由6岁至11岁，在这里度过6年寒窗，经名士培养教育成才。庙门侧竖有祥和的余靖石像。
    余庆是靖的父亲，居韶州府城祖居地。于公元1000年宋真宗咸平3年，时任翁源主簿。是年三月初一日，其黄氏夫人诞长男，庆为长男取名古希、字安道、号崇嵩（后改名靖、号武溪），亲戚与绅士来贺，言此子在宋真宗御崇政殿试礼部贡举人时出生，他日应试必高中。于1003年余靖年满四岁，余庆带靖在身边。梅侯的后裔梅鼎臣以文学称著乡里、庆托鼎臣对长子启蒙。1005年梅鼎臣应试不第，辞教回乡，在县北三十里的梅岩隐居攻读。时余庆为朝乡进士，升翁源知县。庆送6岁余靖到净源山耽石院，由颇有文才的主持释慧周监读。
    1006年，曲江名士王式，去参加贡试中，想找个清静处攻读，被庆延请到耽石院指点靖读书。王式亦携四岁儿子王陶来与余靖兄弟相伴就读。慧周为靖陶讲佛经故事和简明经义。1007年宋真宗景德四年，余庆带次子希翊来耽石院，梅鼎臣亦带儿子梅佐来探王式，庆劝梅父子住下。希古兄弟与王陶、梅佐四人相处甚欢，勤奋读书大有长进。梅鼎臣与王式亦切磋有伴，钻研诸子百经，准备明年应试。1008年戊申四月初九日，王、梅参加礼部贡举人御试，又未及第。二人回耽石院，加倍努力研读，严加督促四小孩发奋读书。1009年己酉、宋真宗大中祥符二年，余庆改知海阳（今潮州市及揭阳市），仍留两儿子在耽石院，由王式、梅鼎臣执教。耽石院檀越巢公资助他们读书和生活费用。其子巢迪亦参加攻读。韶关靖的舅父黄正时去看望外甥，并授以辞赋知识。因而黄正、王式、梅鼎臣结为莫逆之交。1010年梅家有变动，梅氏父子回梅岩。王式父子与古希兄弟、巢迪仍在耽石院攻读，黄正亦加入。自始翁源县净源山耽石院读书堂愈加闻名，风靡韶府。在此有名士的培育教导。余靖打下了坚实的文化学识基础。
    1011年辛亥，宋真宗大中祥符四年，余庆升潮州长吏，因母丧回家守孝。黄正带外甥回韶州，亦向王式求教，黄正悉心教诲外甥，余庆亦时而指导。1013年因潮州海湧受灾，朝廷要余庆停丧复任。余庆赴任，带靖至潮州，与广南东路转运副使林从周结识。林见14岁余靖一表人才，遂把次女许配余靖订婚。林从周致函杭州西湖孤山林君复、遣女婿靖拜隐居名士君复先生为师，收为学徒。自古道：“名师出高徒”。从此，余靖走上博学成才之路。