La Cadell House est située dans un lieu isolé, au large de Canongate, entre le jardin public restauré du XVIIe siècle, Dunbar Close, qui s’étend sur toute la longueur d’un des longs terrains et derrière le complexe résidentiel des années 1930 de Sir Basil Spence qui fait face au Canongate. La maison Cadell est une bonne survivance d’une maison de marchands du XVIIIe siècle qui a conservé sa forme originale. L'élévation à pignon aveugle montre des ouvertures antérieures maintenant bloquées. William Cadell (1668-1728) était un marchand et homme libre renommé de la ville. Son petit-fils, William, était également l'un des fondateurs de la Carron Company Ironworks à Falkirk, la plus grande de ce type en Europe au 18e et au début du 19e siècle. La maison a été restaurée en tant qu’appartement en 1954.
Cadell House était liée au tristement célèbre Adam Smith FRSA (16 juin 1723 - 17 juillet 1790), économiste, philosophe et auteur écossais, ainsi qu’un philosophe moral, pionnier de l’économie politique et personnage clé du siècle des Lumières écossais. Smith a écrit deux ouvrages classiques, The Theory of Moral Sentiments (1759) et Une enquête sur la nature et les causes de la richesse des nations (1776). Ce dernier, souvent abrégé en Richesse des nations, est considéré comme son œuvre maîtresse et le premier ouvrage d’économie moderne.
La valeur historique et architecturale de la région de Canongate à Edimbourg dans son ensemble ne peut être surestimée. Incarnant un esprit de permanence tout en évoluant constamment, ses bâtiments reflètent près de 1000 ans de développement politique, religieux et civique en Écosse. Le roi David Ier autorisa les chanoines de l'Abbaye de Holyrood à fonder le bourg de Canongate en 1140. L'un des côtés de la rue (une crête volcanique) était divisé en longues et étroites bandes de terre ou «toits». À la fin du XVe siècle, tous les logements étaient occupés, certains subdivisés en «avant-pays» et en «arrière-pays» appartenant à des propriétaires différents. La supériorité Fuedal sur Canongate a cessé après 1560. Le siècle suivant a été une période de reconstruction à grande échelle et c’est à cette époque que la plupart des hôtels particuliers et des belles maisons de ville ont été construits, généralement vers l’arrière des toits, à l’écart de la misère de la rue principale. Le 17ème siècle a également vu la fusion des parcelles étroites et leur réaménagement en cours intérieures entourées d'immeubles. La ville a été officiellement incorporée à la ville en 1856. Au cours du XIXe siècle, la prospérité du Canongate déclina à mesure que de grandes parties de la noblesse et des classes moyennes quittaient la région pour s’installer au profit de la grandeur et des installations améliorées de la nouvelle ville d’Édimbourg. La Improvement Act de 1867 s’est efforcée de remédier à cette situation en réagissant rapidement à l’épuration à grande échelle des taudis et au réaménagement de toutes les façades des rues. Une autre loi sur l'amélioration (1893) fut en partie une réaction à cette «intervention maximale», répondant à un programme de changements relativement mineurs à l'intérieur du modèle de rue existant. Cette dernière approche était plus conforme au concept de «chirurgie conservatrice» de Patrick Geddes. Un intellectuel de renom, Geddes, qui vivait dans la vieille ville, a été un pionnier du mouvement de la conservation moderne en Écosse, qui a pris de l’élan tout au long du XXe siècle. Des reconstructions et des remplissages importants de parties des nombreux logements du Canongate ont eu lieu, notamment par les architectes de la ville, E. J McRae et Robert Hurd (milieu du XXe siècle), certaines façades anciennes ayant été conservées et d'autres reconstruites à l'identique.