Su carrera futbolística comenzó en Newell's Old Boys de Argentina, donde debutó en el año 1997. Tras disputar solo 8 encuentros, fue transferido a España. En 1997 Heinze llega al Valladolid. Durante su primera temporada en ese club fue suplente, sin llegar a disputar encuentros. Ya en la segunda temporada disputó 5 encuentros, y luego fue cedido al Sporting de Lisboa de Portugal, en 1998. Tras su regreso al Valladolid, en 1999, logró encontrar su lugar en el equipo. Luego fue transferido a Francia, más precisamente al Paris Saint Germain en el año 2001, club en el cual alcanzó notoriedad internacional. Allí obtuvo la Copa de Francia de 2004, y el subcampeonato de la Ligue 1 en la temporada 2003-04. En el 2004 fue transferido al Manchester United de Inglaterra, donde mantuvo una buena actuación hasta una lamentable lesión producida a finales de 2005, la cual consistió en una rotura de ligamentos cruzados de su pierna derecha. Dicha lesión lo mantuvo alejado de los estadios hasta casi mediados de 2006. A su regreso, Heinze intentó forzar su salida hacia el Liverpool FC, pero el Manchester United se negó a venderlo a un rival directo, luego de otorgarle una carta que prometía que le dejarían salir a cualquier club que ofreciese 10 millones de euros. Heinze llevó al Manchester United a la comisión de arbitrajes, pero los tribunales le terminaron dando la razón al club, alegando que la carta era ambigua y que solo hacía referencias a transferencias internacionales. En 2007 fue fichado por el Real Madrid, el día 23 de agosto, que pagó al Manchester United 10 millones de euros. En mayo de 2008 se consagró campeón de la Liga Española. Ha dejado constancia de su polivalencia defendiendo tanto la banda izquierda como el centro de la defensa.