הנשיא ג'ון אדאמס מאשר את החקיקה המתאימה לסכום של 5,000 דולר לרכישת "ספרים ככל שיהיו נחוצים לשימוש בקונגרס", ובכך הקים את ספריית הקונגרס. הספרים הראשונים שהוזמנו מלונדון הגיעו בשנת 1801 ואוחסנו בקפיטול האמריקני, ביתה הראשון של הספרייה. בקטלוג הספרייה הראשון, מתאריך אפריל 1802, נכתב 964 כרכים ותשעה מפות. שתים-עשרה שנים לאחר מכן פלש הצבא הבריטי לעיר וושינגטון ושרף את הקפיטול, כולל ספריית הקונגרס של 3,000 נפחים דאז.

הנשיא לשעבר תומאס ג'פרסון, שדגל בהרחבת הספרייה בשתי כהונתו בתפקיד, הגיב לאובדן על ידי מכירת הספרייה האישית שלו, הגדולה והמשובחת במדינה, לקונגרס כדי "להתחיל מחדש" את הספרייה. רכישת 6,487 כרכים של ג'פרסון אושרה בשנה הבאה, וספרן מקצועי, ג'ורג 'ווטרסטון, נשכר כדי להחליף את פקידות הבית במנהל הספרייה. בשנת 1851, שריפה גדולה שנייה לעבר הספרייה הרסה כשני שלישים מ 55,000 הנפחים שלה, כולל שני שלישים מספריית תומאס ג'פרסון. הקונגרס הגיב במהירות ובנדיבות לאסון, ותוך כמה שנים הוחלף רוב הספרים האבודים.

לאחר מלחמת האזרחים, האוסף הורחב מאוד, ובמאה ה -20 הפכה ספריית הקונגרס לספרייה הלאומית דה-פקטו של ארצות הברית ולאחת הגדולות בעולם. כיום, האוסף, ששוכן בשלושה בניינים עצומים בוושינגטון, מכיל יותר מ 17 מיליון ספרים, כמו גם מיליוני מפות, כתבי יד, צילומים, סרטים, הקלטות שמע ווידאו, שרטוטים וציורים.