This paper analyzes the impact of colonialism on the ways in which subaltern populationsestablish relations of sameness and otherness with their ancestors and with archaeologicalvestiges in their surroundings. From a perspective that questions the dominant dichotomousand structural interpretation that conceived the logic of otherness as a product of intrinsiccommunity dynamics, this study reveals the central role of historically specific powerrelations in the articulation of identity configurations. This is revealed in the comparativeanalysis of the northwest region of the Iberian Peninsula, the Bolivian highlands, and theChilean Atacama region. The populations of the three regions present animistic beliefs inmouros, chullpas, gentiles and abuelos, which they associate with archaeological remains undera common logic. Starting with the Christian struggle against paganism in Europe and theextirpation of idolatry in America, this article demonstrates how enlightened modernity,nationalism and contemporary multiculturalism have led to different configurations ofpatterns of identity and alterity, as well as alternative notions of ancestry in each case.Archaeology has played a prominent role in these processes, subordinating local conceptionsof otherness and partaking in their heritagisation.Este artículo analiza los efectos del colonialismo sobre las maneras en que las poblaciones subalternizadas plantean relaciones de alteridad con sus ancestros y con los vestigios arqueológicos de sus entornos. Desde una perspectiva que cuestiona la interpretación dicotómica y estructural dominante que concebía estas lógicas de alteridad como producto de dinámicas comunitarias intrínsecas, este estudio visibiliza el rol central de las relaciones de poder históricamente específicas en su articulación. Para ello se comparan los casos del noroeste de la península ibérica, el altiplano boliviano y la región atacameña chilena, donde existen creencias animistas en mouros, chullpas, gentiles o abuelos, siempre asociados a vestigios arqueológicos, cuya existencia deriva de lógicas similares. Partiendo del proceso de despaganización en Europa y la extirpación de idolatrías en América, con la ruptura de la relación con los ancestros que implicaron, este artículo muestra cómo la modernidad ilustrada, el nacionalismo y el multiculturalismo contemporáneo han incidido en distintas configuraciones identitarias y nociones de ancestralidad en cada caso. La arqueología ha tenido un rol destacado en estos procesos al subalternizar las construcciones locales de alteridad e intervenir en su patrimonialización.