以色列国家图书馆是是希伯来大学的中央图书馆，它收集该国所有的出版物并发行书目。同时它还收集全部与以色列有关的世界各地的出版物，有选择地收集有关中东的出版物；并负责编辑以色列图书馆的期刊联合目录。

19世纪70年代，耶路撒冷业已有了电报业、希伯来文印刷业、希伯来文报纸以及现代教育和研究，然而却没有图书馆。经犹太人多次酝酿后，1892年犹太国家与大学图书馆终于面世，这就是位于耶路撒冷由圣约之子会建立的米德拉希·阿瓦瓦内尔图书馆。该馆问世要归功于锡安运动及著名的波兰学者约瑟夫·沙赞诺维奇博士，沙赞诺维奇从1890年到耶路撒冷参观后，即执著于建立犹太国家图书馆，到死为止他将一切都贡献给了图书馆。他以馆为家，将自己私人藏书捐献给图书馆并收集图书，总计20,000卷。这部分藏书是图书馆头20年主要的收藏。

在第一次世界大战结束时，该图书馆有两项职能:犹太国家图书馆和耶路撒冷犹太人居民的公共图书馆。在其1920年被移交给创立希伯来大学的世界锡安联合会后，它仍然保存了这两项功能。1925年重新开馆时改为现在的名称，并增添了新功能。成为大学馆后，图书馆发展较快，首先是有了第一位专职的馆长胡戈·贝格曼博士，他移居巴勒斯坦之前是布拉格大学图书馆馆长。1933年该馆正式成为国家馆，隶属于耶路撒冷希伯来大学，比以色列建国还要早15年。国际联盟的托管政府要求当地的出版商缴送2本出版物给图书馆，这一法令后被以色列政府继承下来。

第二次世界大战、以色列建国和中东战争后，建设了新馆。以色列国内外捐款捐书的人很多，还从德国接收了大量犹太人的藏书，由于纳粹时期的迫害，这部分书已经成为无主财产。该馆开展馆际互借，并为国际图联成员。

图书馆出版《Kiryat Sefer》，报导有关以色列及犹太人的全部出版物、以及约旦和国外出版的有关以色列的书目，其中还有书评、书目研究及介绍馆藏的文章。另有期刊文献书目《犹太研究文章索引(Index of Articles on Jewish Studies)》。

因为绝大多数犹太人生活在以色列境外，所以图书馆要尽其所能地收集反映和代表犹太民族历史和文化的普通图书、期刊、手稿、文献、录音和图片以及摇篮本、善本、手稿。它收集各种犹太语言——希伯来语、意第绪语、拉迪诺语等——各个地方、各个时代的资料。出于同样目的，图书馆还对那些有大量犹太人居住和生活国家的作品进行收集。注重收藏犹太研究的书目和印刷术发明以来的希伯来文图书的回溯性书目。