Goudji est né en Géorgie en 1941. Il étudie à l’Académie des Beaux-arts de Tbilissi, en section sculpture, de 1958 à 1962. Parmi des professeurs de grand talent, Choukhaeiev, peintre russe de l’École de Paris dans la France des années vingt – trente, lui enseigne le dessin. En 1964, Goudji s’établit à Moscou ; il y devient le plus jeune membre jamais admis de l’Union des Artistes de l’URSS, à l’âge de 23 ans.

En 1969, il épouse Katherine Barsacq, fille du metteur en scène et directeur du Théâtre de l’Atelier à Paris et petite nièce de Léon Bakst, décorateur des Ballets russes. Dès lors, les autorités lui refusent tout travail. Après cinq années de démarches incessantes et l’intervention personnelle du Président de la République Georges Pompidou, il parvient à quitter, pour la première fois de sa vie et à jamais, l’URSS en 1974. Il s’installe à Paris où il peut enfin réaliser son œuvre. « Je suis né à Paris, à l’âge de 33 ans ! ».

C’est à Montmartre qu’il s’attaque aux métaux précieux – formellement interdits dans son pays d’origine – selon une technique très personnelle qu’il s’invente au fil des ans. Il forge ses outils lui-même au fur et à mesure de ses besoins et donne forme à ses créations « au marteau, à partir d’une simple feuille de métal ». Car par la volonté farouche de Goudji, chacune de ses créations doit être unique, non reproductible, et doit sortir de ses propres mains. « Qu’importe la technique, seule la créativité compte ».

Dans la préface d’un ouvrage consacré à Goudji, François Mathey, conservateur en chef du Musée des Arts Décoratifs de Paris, cite l’Abbé Suger, de Saint Denis : « Opus superabat materiam » (l’œuvre surpasse la matière).