国会議事堂4階にある。
衆議院と
参議院の議場がある国会議事堂の主要部分は地上3階なので、この場所は外から見ると議事堂の中央部で塔の付け根のあたりにある張り出し部分に相当する。この場所は、
1936年竣工の議事堂建設時に、衆議院側が衆議院図書館、貴族院側が貴族院図書館に割り当てられたものを受け継いでいる。
1948年にこの両院図書館を統合して国会図書館が発足したときはこの場所が本館で、同年に本館は旧
赤坂離宮に移転したため、議事堂内の図書館は現在のように分館となった。
この図書館は議事堂内に設けられた図書室ではあるが、国会関係者の調査に役立てるための議事資料や学術専門書に加えて、一般書や新聞、雑誌などもあり、相当な規模の蔵書が揃っている。さらに全国から選出される議員のために、全国各地の地方新聞も取り寄せられている。