Actor norteamericano, hijo del director John Cromwell y de la actriz Kay Johnson, estudió ingeniería mecánica el Vermont's Middlebury College y en el Carnegie Institute of Technology. Después de trabajar en un film de su padre, decidió seguir la carrera de actor, actuando y dirigiendo diversas producciones teatrales y convirtiéndose en integrante regular del Mark Taper Forum de Los Angeles. En 1974 debutó en televisión en la serie All in the Family, a la que le siguieron Hot L Baltimore, The Last Precint, Once an Eagle y en telefilmes como As Christmas Without Snow (1980).
En cine debutó en 1976 en la comedia Murder by Death, con Peter Sellers y David Niven. Pero no fue hasta 1995 cuando alcanzó fama mundial como el granjero taciturno y comprensivo de Babe, el chanchito valiente (Babe), por el que fue nominado al Oscar como Mejor actor secundario. Este reconocimiento dio origen a papeles más interesantes en filmes como Larry Flynt (The People vs Larry Flynt, 1996), Star Trek: First Contact (1996) y Los Angeles al desnudo (L.A. Confidential, 1997). Fue también uno de los protagonistas de Zona de seguridad (Fail Safe), de Stephen Frears, de Mientras nieva sobre los cedros (Snow Falling on Cedars, 1999), de Scott Hicks, y de The Green Mile (1999).