横溪阁又名双溪书阁。双溪，即梧枫水与寿水河这双溪汇合之处，位于荣县城西约两公里的旭水河源头。据《宋史》与《荣县志》记载，北宋名士王庠在双溪汇口处建横溪阁，其弟王序归乡后又修横溪阁，并内藏皇帝诏书和赏赐书籍。
横溪阁处双溪汇流处、石龟山下，群山环抱，风景秀丽，遂成为历代文人墨客宴游、访客之地。“晚清第一词人”赵熙在散文《横溪阁记》中这样描绘登临横溪阁所见之景——“余邻是溪，世所游钓，渚清沙白，平畴远风，一绿稻畦，色如鹦鹉。古塔若荀，远瞰于林闉；翠笔为峰，上蟠乎霄汉”；并盛赞：“斯阁也，其将并嘉州苏子之楼，而不入咸淳临安之志也乎。”
横溪阁前身为归来亭，乃王庠之父王梦易罢官归乡后，为效仿陶渊明“不为五斗米折腰”的精神而建。后因苏东坡也曾来此辅导后学，故归来亭又叫东坡讲学亭。
宋绍圣五年（1098年），黄庭坚因参与修纂《神宗实录》，被诬“修史不实”被贬涪州别驾，安置黔州，后移戎州（今宜宾）。在戎州任职的三年里，他常前往临近的荣州访友。在与王庠等人聚会时，黄庭坚写下《寄题荣州祖元大师此君轩》一诗，称赞王庠“公家周彦笔如橡，此君语意当能传”。虽未查询到黄庭坚留存下的到访横溪阁的诗词，但据此也不难猜出黄庭坚应当是王庠的常客，不可能没有登临过横溪阁。
宋淳熙元年（1174年）初冬，陆游从嘉州（今乐山）赴任荣州（今荣县）摄政，在荣州度过了七十天。在荣州，陆游曾几度游览横溪阁，赋诗饮酒，留下了《晚登横溪阁》诗二首和《沁园春·三荣横溪阁小宴》三阕。彼时，因主战，陆游被贬职四川，被迫从南郑前线撤离。后来晚登横溪阁时，他写到“晚来试问愁多少，只许高楼横笛吹”、“故乡可望应添泪，莫恨云山万叠遮”。荣州闲适的人情风光、宁静的秋草野渡也消不了他的故土愁、留不住他的归乡心。在横溪阁小宴上，“粉破梅梢，绿动萱丛，春意已深”，和煦的春风吹不进陆游的心，久久地凭栏远眺，不过叹一句“山川冉冉”，山河日久难变；恨一声“岁月骎骎”，流年拍马不及。他以身许国的志向尚还坚定，眼前却是报国无门，“万里凄凉谁寄音”正是他对心中凄楚和苦痛的宣泄。谁能理解他呢？唯有“东风里，有灞桥烟柳，知我归心”。七十天后，陆游离开了荣州。
岁月骎骎，宋朝赵氏的江山在元人的铁蹄下覆灭，横溪阁也没能抵挡住时光磨蚀。清光绪末年，荣县人在横溪阁旧址上再建书阁。书阁坐北向南，北面阁门上有这样一幅对联，上联“大宋小宋，大苏小苏，一朝难弟难兄，此地有二王合传”，下联“古文今文，古体今体，独占好山好水，何人更高阁藏书”。这一对联道尽横溪阁的百年风霜。
“晚清第一词人”、书法家赵熙似乎尤其钟爱故乡的横溪阁，不仅亲自为重建的横溪阁提写了对联“北宋古书阁，东坡同党人”，更是为其写下《吉了犯·横溪阁》、《梅子黄时雨·横溪阁用玉田韵》等诗词。而后，横溪阁成为荣州十二景之一。
新中国成立后不久，为修建红旗水库（后更名双溪水库），横溪阁被拆毁。据悉，现双溪水库正是因为坝址距原双溪书阁旧址极近而得名“双溪”。
而今，横溪阁早已荡然无存，唯有双溪湖的粼粼波光依旧撩动着游人的心弦。正如有的诗词不经意间在时光中走失，承载着诗歌的地名也可能静悄悄地淡出人们的视线。诗路地名不仅要向那些藏在角落的地名投去目光，更要为那些失落黯淡的地名擦去灰尘……
