山东大学图书馆前身是始建于1901年的山东大学堂藏书楼，是我国较早的近代新型图书馆之一。

2000年7月，原山东大学、山东医科大学、山东工业大学合并成立新的山东大学，三校图书馆合并成为新山东大学图书馆。设有中心校区图书馆、蒋震图书馆、洪家楼校区图书馆、趵突泉校区图书馆、千佛山校区图书馆、兴隆山校区图书馆、软件园校区图书馆、青岛校区图书馆，文献资源建设中心、信息情报研究中心、网络信息技术中心以及特藏部和总馆办公室等机构。

截至2022年12月，馆藏纸质文献802万册，电子图书235万册，数据库324个，覆盖文、理、工、医等领域；馆藏古籍4.3万种，是“全国古籍重点保护单位”和“山东省重点古籍保护单位”。

山东大学图书馆是首批中国高等教育文献保障系统（CALIS）成员之一，CALIS山东省文献信息服务中心，中国高等人文社会科学文献中心（CASHL）学科中心，卫生部、教育部科技查新工作站。