Oberhalb der Altstadt befindet sich der Hofbezirk. Über eine Treppe und durch einen Torturm hindurch, der eine gotische Trinkstube aufweist, gelangt man auf einen ansteigenden dreieckigen Platz, der beidseits von den Domherrenhäusern flankiert wird. Oben links wird der Platz durch das bischöfliche Schloss abgeschlossen. Das weltliche Gegenstück zur Kathedrale erhielt seine heutige Gestalt unter Bischof Joseph Benedikt von Rost (reg. 1728-54). Die Anlage ist um einen Innenhof gebaut. Die nur drei Fensterachsen umfassende Fassade wird durch aufsteigende Pilaster in zwei breite und in einen schmalen mittleren Abschnitt gegliedert, wobei die beiden seitlichen Teile von Giebeln, der Mittelteil von einem lukarnenartigen Aufsatz gekrönt sind. Aus Gründen der Symmetrie wurde dem linken Portal rechts ein Gegenstück beigestellt, das allerdings lediglich die Einfahrt zu einer Wagenremise bildet. An den Türen dienen bronzene Löwenmasken als Ringhalter. Türen und Fenster sind mit Stuckdekorationen versehen. Joseph Benedikt von Rost stammte aus dem Tirol und es ist nicht erstaunlich, dass sein Werk vom österreichischen Barock beeinflusst ist. Dem Bischof ist es gelungen, das Bauwerk aus dem Schatten des Domes zu lösen und ihm einen beherrschenden Akzent aufzudrücken. Nirgendwo in Graubünden finden wir sonst eine derart reiche plastische Aussendekoration.