Hijo de padres judíos residentes en Moscú, al nacer su padre acababa de abrir una pequeña factoría. Estudió piano con su madre, y después con Alexander Villoing, como su hermano. En la década de 1840, él y Antón fueron enviados a Berlín por su madre, donde estudiaron con Siegfried Dehn y atrajeron el interés y el apoyo de Mendelssohn y
Giacomo Meyerbeer. Se encargó de la fundación del Conservatorio de Moscú, que fue inaugurado el 1 de septiembre de 1866, en donde también fue su director.
Está considerado como uno de los mejores pianistas de su época, a pesar de que actualmente su reputación ha quedado en un segundo plano, detrás de la de su hermano. Aun así, su estilo como pianista era bastante diferente al de Antón. Nikolai optó pronto por un contenido clasicista, más en la línea de los valores musicales de
Clara Schumann que en la del atrevido romanticismo de
Franz Liszt. Mientras ocupaba la dirección del Conservatorio, Nikolai persuadió a Chaikovski para que escribiera para él el célebre
Concierto para piano n° 1. De acuerdo con la correspondencia de Chaikovski, Rubinstéin se mostró disgustado con la obra y manifestó que sólo la interpretaría si Chaikovski la sometía a una revisión. Este se negó, y la obra fue estrenada por
Hans von Bülow. No obstante, Chaikovski compuso su Trío con piano en la menor a la memoria de Rubinstéin, después de la muerte de este. Nikolái Rubinstéin también se dedicó a la composición. Entre sus obras más populares hace falta mencionar su Tarantella en sol menor y su Fantasía sobre un tema de Schumann, ambas para piano.
