鹅湖书院之所以以“鹅湖”命名，是因为该地原有鹅湖寺的缘故。鹅湖寺创建于唐代大历年间（公元766年—779年），初名仁寿院，后因山名而改称鹅湖寺。因此，书院由寺而得名，寺又由山而得名。
]南宋淳熙二年（1175年），朱熹、陆九龄、陆九渊、吕祖谦曾同会于此，辩论“性理”之道，不合而散，后人为纪念“鹅湖之会”，建“四贤阁”，淳熙十年赐名文宗书院，后更名为鹅湖书院。
主要是因为宋代著名理学家朱熹、陆九渊等曾在这里讲过学，进行过学术辩论之故。南宋淳熙二年，吕祖谦因鉴于朱熹、陆九渊两派学说论点不同，常引起争论，故而发起约会，邀请朱、陆两家***于鹅湖寺。[2]
当时，朱熹和陆九渊、陆九龄兄弟皆应邀赴约。在这里，发生了朱、陆两派学说问的第一次面对面的激烈争论。争论的焦点是关于认识论的问题朱烹主张“泛观博览，而后为之约”；防九渊则主张“先发明人之本心，而后使之博览”。这就是朱、陆两派的分歧点。朱熹认为陆学太简易；陆九渊则认为朱学太支离。
这次争论，就是哲学史上著名的“鹅湖之会”。由于朱熹持客观唯心主义观点，陆九渊持主观唯心主义观点，因此，这次乃是唯心主义阵营内部两种不同流派之间的争论。
争论的实质，都是为了互争正宗教主地位。但是，这次“鹅湖之会”并没有解决他们两派学说之间的分歧，故以后还有更加激烈的关于世界观问题的争论。尽管如此，“鹅湖之会”对当时学术界却有很大的影响；鹅湖书院之所以能几百年来永留胜迹，誉满江南，正与朱、陆诸子的“鹅湖之会”有关
