کاروانسرای رستم پاشا که با نام تاشان نیز شناخته می‌شود، در سال ۱۵۶۱ توسط رستم پاشا، وزیر اعظم سلطان سلیمان قانونی، ساخته شد. این بنا شاهکاری از معماری کاروانسراهای عثمانی است. این بنا به عنوان مکانی برای رفع نیازهای مسافران در طول شبانه‌روز مورد استفاده قرار می‌گرفت. کاروانسرای رستم پاشا شامل یک آشپزخانه خیریه، یک مسجد، محل‌های استراحت، مغازه‌های تجاری و بخش‌هایی برای بستن شتر، الاغ، گاو، گاومیش و اسب بود. با این حال، برخی از این سازه‌ها تا به امروز باقی نمانده‌اند.

 
کتیبه بالای دروازه ورودی طاق ضربی رو به غرب اشاره می‌کند که ارزروم به دلیل اینکه یک شهر مرزی بود، «رباط» نامیده می‌شد. رباط‌ها نوعی ساختمان پیشرفته برای استقرار حدود ۴۰ تا ۵۰ سرباز مهاجم بودند که برای محافظت از مرزها ساخته می‌شدند. با گسترش مرزهای امپراتوری عثمانی و شامل شدن تفلیس و دریای خزر، این ساختمان‌ها ویژگی‌هایی مانند اقامتگاه، پناهگاه، اصطبل و مراکز خرید پیدا کردند.

کاروانسرای رستم پاشا سازه‌ای دو طبقه است که شامل اتاق‌هایی است که پشت طاق‌های ساخته شده از سنگ تراشیده قرار گرفته‌اند و حیاطی مستطیل شکل را احاطه کرده‌اند. سی و دو اتاق حیاط را احاطه کرده‌اند که از طریق دو دروازه قوسی و طاقدار در ضلع شرقی و غربی وارد می‌شوند. طبقه بالا دارای اتاق‌هایی با سقف‌های طاقدار کوتاه است که در اطراف یک راهرو چیده شده‌اند. تزئینات اینجا بعداً اضافه شده‌اند. کاروانسرا در سال ۱۹۶۵ تحت مرمت قابل توجهی قرار گرفت. نمای غربی آن کمی بیرون زده است و یک ورودی عمیق با طاق ضربی در زیر و اتاقی برای مدیر کاروانسرا در بالا باقی گذاشته است.

امروزه، این کاروانسرا به عنوان مرکز تولید و فروش سنگ‌تراش‌های اولتو فعالیت می‌کند. ده‌ها نوع مختلف از اقلام هدیه ساخته شده از سنگ اولتو، عمدتاً مهره‌های نماز، انگشتر و گردنبند، در اینجا به فروش می‌رسد.