灵璧石作为文房赏石文化起于南唐。宋蔡京幼子蔡絛《铁围山丛谈》记载:“ 江南李氏后主宝- - .研山，径长尺输咫，前耸三十六峰，皆大如手指，左右引两阜坡陀，而中凿为研。及江南国破，研山因流转数士人家，为米元章所得。”元代名士揭俁斯亲见此研山，题诗曰:‘何年灵璧一 拳石，五十五峰不盈灵璧石的观赏形成规模，始于北宋。杜绾《云林石谱》三卷，灵璧石列于上卷首篇:“宿州灵璧石， 地名磬山。石产土中，岁久。穴深数丈，其质为灰泥溃满。...之，铿然有声。”

磬石山距宿州市灵璧县渔沟镇东南2000米，海拔114米，目测☆高度只有30多米。磬石山南侧尚存摩崖石刻，有不同造型的佛像一百多座，雕刻在长16米、宽2米的巨石上，为北宋至和三年(1056) 所作。磬石山北坡下，是百米、宽千米长的平畴地带，即为灵璧磬石的产地，北宋老坑也在这里。

宋代王明清《挥尘录》记载:“政和年间建艮岳。 奇花异石来自东南，不可名状。灵璧贡一巨石，高二十余尺。”宋代《宣和别记》也载:“ 大内有灵璧石一座，长二尺许，色清润，声亦冷然，背有黄金文，皆镌刻填金。字云:宜和元年三月朔日御制。”《西湖游览志余》 又载:“杭省广 济库，出售官物。有灵璧石小峰，长仅六寸，高半之，玲珑秀润，卧沙、水道、裙折、胡桃文皆具，于山峰之顶有白石笔山，圆莹如玉。徽宗御题八小字于石背曰:山高月小，水落石出。”以上大、中、小三磬石，皆宋徽宗“花石纲”贡石也。