C'est sur la bibliothèque Ulpienne que nous disposons des renseignements les plus fournis. Elle était en effet la plus célèbre du monde romain, et sans doute la seule à avoir survécu jusqu'au milieu du V^e siècle après J.-C. Divisée en deux bâtiments distants de 40 m environ, placés sur les côtés opposés du portique et séparés par la Colonne Trajane, la bibliothèque du forum de Trajan comporte, on l'a dit, deux sections distinctes, l'une consacrée aux livres grecs, l'autre aux textes latins. Telles qu'on peut les reconstruire à partir des fouilles archéologiques, les deux bâtiments comportaient deux étages et offraient chacun une vaste salle de 27,10 m sur 20,10 m. L'entrée en était fermée par une simple grille de bronze placée entre quatre colonnes, qui servait à interdire l'accès en dehors des heures d'ouverture. La décoration était grandiose : l'ensemble était pavé de granit d'Égypte et de marbre jaune ; le soleil faisait varier les couleurs des murs et des colonnes de marbre. Une statue colossale - représentant sans doute l'empereur Trajan - agrémentait le mur du fond. Tout en présentant des dimensions et un décor similaires, les deux salles de la bibliothèque n'étaient pourtant pas strictement identiques. La section latine, en effet, comportait des tables où les lecteurs pouvaient s'installer et consulter les ouvrages. La section grecque était, quant à elle, essentiellement conçue comme un espace de stockage : les lecteurs ne disposaient d'aucun espace de travail propre et consultaient les livres en s'installant entre les colonnes.

Les rouleaux étaient conservés horizontalement dans des armaria de bois placées dans les niches aménagées dans chaque mur : on trouvait quatorze niches larges de 1,61 m réparties en deux niveaux sur chacun des deux murs principaux, et quatre larges de 1,35 m sur chacun des deux niveaux du mur qui formait le fond de la salle. L'accès aux niches du niveau inférieur était rendu possible par une estrade formée de marches qui interdisait aux lecteurs un accès direct aux ouvrages : cet espace était réservé au personnel de la bibliothèque. De la même manière, le personnel pouvait atteindre les niches du niveau supérieur au moyen d'une galerie courant tout autour de la salle et accessible par un escalier situé à l'arrière du bâtiment. Les armaria, moins larges que les niches dans lesquelles ils étaient placés, n'étaient pas au contact du mur et isolaient ainsi les rouleaux en les protégeant de l'humidité. On estime que les 36 niches des deux salles pouvaient contenir un total de 10 000 rouleaux.