Michel Piccoli est le fils d'Henri Piccoli, violoniste, de lointaine origine tessinoise et de Marcelle Expert-Bezançon (1892-1990), pianiste, elle-même fille de l'industriel et homme politique français Charles Expert-Bezançon.

Il a « une enfance assez compliquée. C'est un enfant de remplacement, qui est venu remplacer son frère aîné décédé. » Il est placé dans un établissement pour enfants à problèmes où il se retrouve « dans une situation de liberté totale ».

Les engagements du jeune Piccoli, notamment politiques et « contre le monde de l'argent», se comprennent par l'opposition à la personnalité de son grand-père, sénateur de la IIIe République, financier du parti radical, et important industriel de la peinture, accusé par la gauche syndicale et Georges Clemenceau, d'avoir intoxiqué des ouvriers à travers le blanc de plomb qui donnait le saturnisme.

Michel Piccoli suit une formation de comédien d'abord auprès d'Andrée Bauer-Théraud puis au cours Simon

Après une apparition en tant que figurant dans Sortilèges de Christian-Jaque en 19458, Michel Piccoli débute au cinéma dans Le Point du jour de Louis Daquin.

Cependant, c'est surtout au théâtre qu'il s'illustre dans le début de sa carrière, avec les compagnies Renaud-Barrault et Grenier-Hussot ainsi qu'au Théâtre de Babylone (géré par une coopérative ouvrière et qui met en scène les pièces d'avant-garde de Ionesco ou Beckett). Bien que remarqué dans le film French Cancan en 1954, il poursuit sur les planches et travaille avec les metteurs en scène Jacques Audiberti, Jean Vilar, Jean-Marie Serreau, Peter Brook, Luc Bondy, Patrice Chéreau ou encore André Engel.

Durant la même période, il se fait connaître dans des téléfilms populaires tels que Sylvie et le fantôme, Tu ne m’échapperas jamais ou encore L’Affaire Lacenaire de Jean Prat.

Devenu athée après un deuil familial, il rencontre en 1956 Luis Buñuel, réalisateur connu pour son anticléricalisme, et prend ironiquement le rôle d'un prêtre dans La Mort en ce jardin.

En 1959, il tourne Le Rendez-vous de Noël, court métrage d’André Michel d’après la nouvelle de Malek Ouary, Le Noël du petit cireur, qui se passe à Alger.

.

Il devient l'un des acteurs fétiches de Marco Ferreri, avec sept films, de Dillinger est mort à Y'a bon les blancs en passant par Touche pas à la femme blanche ! — avec pour point d'orgue La Grande Bouffe —, de Luis Buñuel avec six films : Le Journal d’une femme de chambre (1964), Belle de jour (1967), La Voie lactée (1969), Le Charme discret de la bourgeoisie (1972), Le Fantôme de la liberté (1974) et Cet obscur objet du désir (1977) ainsi que de Claude Sautet, avec Les Choses de la vie, Max et les Ferrailleurs, Mado et Vincent, François, Paul… et les autres. Il joue également dans le singulier Themroc.

Il entame la décennie 1980 par le prix d'interprétation au festival de Cannes en 1980, avec Le Saut dans le vide de Marco Bellocchio, et celui du festival de Berlin en 1982, avec Une étrange affaire de Pierre Granier-Deferre8. Il travaille avec le jeune cinéma français, comme Jacques Doillon (La Fille prodigue en 1985), Leos Carax (Mauvais sang en 1986), n'hésitant pas à casser son image bienveillante avec des rôles provocateurs ou antipathiques, avant de s'essayer lui-même à la réalisation.

Il tourne également plusieurs films avec Manoel de Oliveira, de Party (1996) à Belle toujours (2006) en passant par Je rentre à la maison (2001).

Habitué du festival de Cannes, il fait partie du jury de la compétition officielle du 60e festival en 2007 sous la présidence de Stephen Frears.

Amateur de littérature, il a également enregistré la lecture des Fleurs du mal de Charles Baudelaire et de Gargantua de François Rabelais.

En 2011, il joue dans Habemus Papam de Nanni Moretti, présenté en compétition à Cannes. C'est sa dernière apparition au cinéma.