تاریخ قلعه ارزروم تقریباً به ۲۵۰۰ سال پیش و به دوران اورارتوها برمی‌گردد که بر منطقه تسلط داشتند. اولین نسخه از قلعه داخلی که هنوز هم پابرجاست، در سال ۴۱۵ میلادی توسط امپراتور بیزانس تئودوسیوس ساخته شد.

قلعه ارزروم از دو بخش تشکیل شده است: یک قلعه داخلی که محل استقرار نگهبانانی بود که امنیت شهر را تضمین می‌کردند و یک قلعه بیرونی که خیابان‌ها، کوچه‌ها و محله‌هایی را که جمعیت در آن ساکن بودند، در بر می‌گرفت. حیاط قلعه داخلی شامل یک حمام آجری و اتاق‌هایی است. در دوران امپراتوری عثمانی، مسجد قلعه داخلی در مجاورت دیوار شمالی قلعه داخلی ساخته شد. مقبره چهل شهید، مقبره ابو اسحاق کازرونی و چشمه علی آقا نیز به این سازه‌ها اضافه شدند.

امروزه دیوارهای بیرونی قلعه تا حد زیادی ویران شده‌اند و تنها نام دروازه‌هایی که به چهار جهت باز می‌شوند، مشخص است. این دروازه‌ها عبارتند از دروازه تبریز، دروازه ارزنجان، دروازه گرجستان و دروازه استانبول که بعدها به آن اضافه شد و دروازه جدید.

این قلعه که در زمان‌های مختلف تعمیراتی را پشت سر گذاشته، آخرین بار دو بار، یک بار در قرن شانزدهم توسط سلیمان قانونی و بار دیگر در قرن نوزدهم توسط محمود دوم تعمیر شده است.