Академическая библиотека была основана одновременно с Академией Художеств. С самого начала она была учреждением, призванным собирать и хранить издания, посвящённые истории мирового и российского изобразительного искусства.
Её фонды комплектовались необходимыми для образования и воспитания будущих художников и архитекторов изданиями по теории и истории искусства, рисунку, живописи, гравированию, архитектуре, анатомии, перспективе мифологии и прочим дисциплинам. Многие из них изданы в XV - XVIII веках в Италии, Англии, Франции, Голландии, Германии и являются прекрасными образцами полиграфического искусства.
Начало комплектования фонда библиотеки положил дар основателя Академии Ивана Ивановича Шувалова (1727-1797), президентом которой он был до 1763 года. Традиция дарения была продолжена: книги из собрания И.И. Бецкого, А.Н. Оленина, А.С. Строганова, Б.П. Шереметева, О. Монферрана, Тома де Томона, Д.А. Ровинского, членов императорской фамилии и многих других, сегодня хранятся в Отделе редких изданий академической библиотеки. Современные художники, историки искусств, архитекторы продолжают эту традицию.
Особый фонд составляет листовой материал: гравюры, эстампы, литографии, экслибрисы, афиши, плакаты, репродукции, открытки, уникальные фотографии середины XIX- начала XX вв.
Значительная часть фонда отнесена к культурному достоянию народов РФ и имеет статус «Книжные памятники», в их числе много ценных и редких книг и увражей, изданных в XV-XIX вв.
%201.jpg "Редкая книга")
Отдельный раздел книжного собрания составляют издания с автографами и пометками владельцев. Среди них книги по искусству из библиотеки Феофана Покоповича, Ивана Зарудного, Б. Шереметева, архитекторов Ч. Камерона, О. Монферрана, К. Тона, П. Гонзаго, С.С. Гагарина, основателя Академии художеств И.И. Шувалова.
В настоящее время в хранилищах библиотеки находится более 500 000 библиотечных единиц. 