Thư viện Trường Đại học Mở Hà Nội ra đời ngay sau khi Viện Đại học Mở Hà Nội được thành lập năm 1993 với tên gọi là Phòng Thư viện. Khi mới thành lập, Phòng Thư viện là đơn vị phục vụ đào tạo trực thuộc Ban giám hiệu nhà trường, có vị trí quan trọng trong việc phục vụ cán bộ, giảng viên, học viên và sinh viên của Viện. Ở thời kỳ mới thành lập này, hoạt động của Thư viện còn nhiều hạn chế do thiếu thốn về cơ sở vật chất cũng như tài liệu, số lượng cán bộ Thư viện còn ít, chuyên môn nghiệp vụ còn hạn chế.
Trường Đại học Mở Hà Nội với sứ mệnh “Mở cơ hội học tập cho mọi người” đã phát triển đa dạng hóa các loại hình đào tạo, coi đào tạo từ xa là nhiệm vụ trọng tâm. Quy mô đào tạo của Trường không ngừng gia tăng (lên đến 50 nghìn sinh viên, học viên các hệ); địa bàn đào tạo của Viện không ngừng mở rộng (46/63 tỉnh, thành phố). Điều đó đã đặt ra yêu cầu phát triển hệ thống thông tin thư viện để ngang tầm nhiệm vụ. Ngày 15/5/2009, Viện trưởng Viện Đại học Mở Hà Nội ký quyết định số 52/QĐ-ĐHM thành lập Trung tâm Thông tin Thư viện trên cơ sở nâng cấp Phòng Thư viện. Đây là dấu mốc lịch sử quan trọng trong quá trình phát triển của Thư viện Trường Đại học Mở Hà Nội.
Hệ thống Thư viện Trường Đại học Mở Hà Nội giai đoạn này bắt đầu được phân làm 2 cấp: Thư viện cấp Trường và Thư viện cấp Khoa, Trung tâm. Thư viện cấp Khoa, Trung tâm là các thư viện chuyên ngành tại các khoa và các thư viện mini tại các trung tâm liên kết địa phương (gọi tắt là thư viện khoa, trung tâm).
Được sự quan tâm của Đảng ủy, Ban Giám hiệu nhà trường, cùng với sự nỗ lực của ban giám đốc và toàn thể cán bộ, viên chức trong đơn vị, Thư viện đã có những bước phát triển đột phá đóng góp tích cực cho sự phát triển chung của Trường. Thư viện giữ vai trò đầu mối của hệ thống thông tin thư viện, trọng tâm vào xây dựng và phát triển thư viện điện tử số. Cuối năm 2008, Trung tâm Thông tin Thư viện bắt đầu triển khai thư viện số Libol. Đến tháng 10 năm 2014, Thư viện nâng cấp lên thư viện số Kipos với hơn 5000 tài liệu số và gần 20 nghìn đầu tài liệu in, phục vụ tốt nhu cầu đọc trực tuyến, xem tài liệu mọi nơi mọi lúc của của cán bộ, giảng viên, học viên và sinh viên thuộc Trường Đại học Mở Hà Nội trên địa bàn cả nước. Thư viện hiện đang tọa lạc tại tòa nhà 4 tầng thuộc Cơ sở 2 Trường Đại học Mở Hà Nội, Thị trấn Văn Giang (Hưng Yên).
Ngày 09 tháng 4 năm 2022, Hiệu trưởng Trường Đại học Mở Hà Nội đã ban hành Quyết định số 1160/QĐ-ĐHM đổi tên Trung tâm Thông tin - Thư viện thành Thư viện thuộc Trường Đại học Mở Hà Nội.
Là giai đoạn phát triển toàn diện về mọi mặt của Thư viện nhằm đạt được mục tiêu hiện đại hóa Thư viện trong công tác quản lý cũng như công tác phụ vụ. Hiện nay hệ thống Thư viện Trường Đại học Mở Hà Nội có 10 thư viện tại các khoa chuyên ngành và 17 thư viện mini tại các trung tâm liên kết đào tạo địa phương. Thư viện đã chuyển giao tối đa số lượng sách tham khảo chuyên ngành (dạng in ấn) về cho các thư viện Khoa và Trung tâm, đồng thời, phối hợp và hỗ trợ tích cực về mặt chuyên môn nghiệp vụ cho các thư viện Khoa và trung tâm để phục vụ có hiệu quả các nhu cầu đọc, mượn, trả tại chỗ của cán bộ, giảng viên, sinh viên và học viên tất cả các hệ đào tạo.