Taşhan adıyla da anılan Rüstem Paşa Kervansarayı, Kanuni Sultan Süleyman’ın sadrazamı Rüstem Paşa tarafından 1561 yılında yaptırılmıştır. Yapı, Osmanlı kervansaray mimarisinin şaheser örneklerinden biridir. Burası yolcuların gece ve gündüz her çeşit ihtiyaçlarının karşılandığı yerdir. Rüstem Paşa Kervansarayı’nda imarethane, mescit, dinlenme yeri, bezirgân dükkânları, deve, eşek, öküz, manda ve atların bağlandığı bölümler yapılmıştır. Ancak, bunların bir kısmı günümüze ulaşamamıştır.

 
Batıya bakan beşik tonozlu giriş kapısı üzerindeki kitabede, Erzurum’un serhat şehri olması dolayısıyla, buraya “ribat” denildiği dikkat çekmektedir. Ribatlar, sınırları korumak amacıyla içerisinde 40-50 civarında akıncı birliğinin bulunduğu bir çeşit ileri karakol binalarıdır. Osmanlı Devleti sınırlarının zamanla Tiflis’e ve Hazar Denizi’ne kadar genişlemesiyle buraya konak, barınak, ahır ve alışveriş merkezi özellikleri kazandırılmıştır.

Rüstem Paşa Kervansarayı, dikdörtgen bir avlu çevresinde, kesme taştan yapılmış revakların arkasına sıralanmış odalardan oluşan iki katlı bir yapıdır. Doğu ve batı yönünde sivri kemerli ve tonozlu iki kapıdan girilen avlunun çevresinde 32 oda bulunmaktadır. Üst katta koridor çevresinde sıralanmış basık tonozlu odalar bulunmaktadır. Buradaki süslemeler daha sonra yapılmıştır. 1965 yılında önemli bir restorasyon geçiren kervansarayın batıya bakan ön cephesi, hafif ileri taşırılmış, altta beşik tonozlu derin bir giriş, üstte de kervansaray yöneticisine ait bir oda bırakılmıştır.

Kervansaray, günümüzde oltu taşı esnafının imalat ve satış yeri olarak hizmet vermektedir. Oltu taşından yapılmış, başta tespih, yüzük, gerdanlık olmak üzere, onlarca çeşit hediyelik eşyanın satışı burada yapılmaktadır.