Baker milita in un college non di prima fascia, ad Hartford, ma il suo talento e la sua prestanza fisica sono notati dagli scout NBA. Nel draft NBA del 1993 viene selezionato come ottava scelta assoluta dai Milwaukee Bucks. Fin dal suo esordio dimostra un notevole talento a rimbalzo e una spiccata capacità di produrre punti. A Milwaukee, sotto coach Mike Dunleavy, Vin forma con Glenn Robinson una coppia di ali dal notevole talento offensivo, che fanno ben sperare la società. Dal 1993 alla stagione 1995-96 però, sotto coach Dunleavy i play-off non sono mai raggiunti e neanche l'approdo in panchina di Chris Ford nella stagione 1996-97 porta al traguardo della post season. La dirigenza decide così di scindere la coppia Baker-Robinson, e a partire è proprio Baker.

Baker viene mandato ai Seattle SuperSonics in un giro a tre squadre che vede Shawn Kemp da Seattle approdare ai Cleveland Cavs e Terrell Brandon da Cleveland andare a Milwaukee. A Seattle Baker ha il difficile compito di sostituire Kemp, ma grazie all'intesa con Gary Payton riesce ad eseguire il suo compito. I Sonics approdano ai play-off come una delle migliori squadre della Western Conference; nella post season eliminano i Minnesota Timberwolves, ma al secondo turno vengono eliminati dai Los Angeles Lakers. Per la squadra è una delusione. Coach George Karl sente terminato il suo ciclo da allenatore a Seattle e lascia la squadra.

L'estate del 1998 è un periodo pieno di dubbi per l'NBA: non si sa se l'anno dopo ci sarebbe stato il campionato a causa della serrata e dei litigi tra i proprietari e l'associazione dei giocatori. Le squadre non si allenano. Baker a Seattle è lontanissimo da casa sua (è originario del New England, anche se è nato in Florida) e per ingannare il tempo comincia a bere e di conseguenza ad ingrassare. Quando nel 1999 riprende la stagione Baker è completamente fuori forma e le sue cifre calano drasticamente. Seattle avrebbe bisogno di una seconda stella a fianco di Payton, stella che Baker era stato la stagione prima ma che adesso non riesce più ad essere. Tiene celati i suoi problemi di alcolismo e continua a giocare alternando momenti di gioco desolante ad altri in cui la sua classe torna a brillare. Seattle ha dei modesti risultati di squadra, riuscendo a raggiungere i play-off nella stagione 1999-2000 e in quella del 2001-2002, in entrambi i casi venendo eliminata al primo turno in cinque partite, da Utah nel 2000 e da San Antonio nel 2002.

Nell'estate Seattle decide di scambiare Baker, e lo manda nella squadra della sua città d'origine, i Boston Celtics. Finalmente Baker trova il coraggio di ammettere i suoi problemi di dipendenza dall'alcool, problemi che comunque a Seattle erano abbastanza noti. Viene ricoverato in una clinica saltando la parte conclusiva della stagione. L'anno dopo torna in campo ma ancora ricade nei problemi di dipendenza dall'alcool; Boston rescinde il suo contratto e Baker torna in clinica.

Uscito dalla clinica Baker sembra completamente guarito; le squadre NBA però non hanno più molta fiducia in lui. Nella parte finale della stagione 2003-04 gioca qualche partita con i New York Knicks, come anche all'inizio della stagione successiva. Baker è tornato con un fisico notevole, dimagrito e muscoloso. È comunque l'ombra della stella che aveva calcato i parquet NBA a metà degli anni novanta. Gioca tre partite alla fine della stagione 2004-05 negli Houston Rockets e nella stagione 2005-06 ottiene un ingaggio dai Los Angeles Clippers. Il 1º ottobre 2006 firma il suo ultimo contratto NBA con i Minnesota Timberwolves, che però lo tagliano il 13 novembre senza che sia mai sceso sul parquet.

• NBA All-Rookie First Team: 1994
• All-NBA Second Team (1998)
• All-NBA Third Team (1997)
• 4 volte NBA All-Star (1995, 1996, 1997, 1998)