Родился 20 апреля (3 мая по н. с.) 1910 г. в г. Москве.Учился в Музыкальном училище им. Гнесиных (класс Е. Ф. Гнесиной). В 1925 г. поступил в Московскую консерваторию (класс Г. Г. Нейгауза), у него же совершенствовался аспирантуре. Занимался также в классе композиции Г. И. Литинского.
Профессор кафедры камерного ансамбля и квартета.
Член Союза композиторов СССР (РФ).
Педагогическая деятельность:
В 1935 г. начал работать на кафедре камерного ансамбля и квартета, возглавлявшейся его учителем по камерному ансамблю А. Ф. Гедике. С 1964 г. – профессор.
В педагогике был последователем Г. Г. Нейгауза: эмоционально заражал учеников, много рассказывал об исполняемой музыке. Педагогический репертуар охватывал все стили и направления, от сочинений И. С. Баха до современной музыки.
Среди предпочтений – камерные сочинения Л. ван Бетховена и И. Брамса (последнего особенно любил, прекрасно знал его музыку), Соната С. Франка, Трио П. И. Чайковского, Квинтет С. И. Танеева, Виолончельная соната С. В. Рахманинова, Трио Д. Д. Шостаковича.
В классе Мильмана часто исполнялись новые или малоизвестные сочинения.
На протяжении многих лет вел «Клуб камерной музыки» в Доме композиторов, где были впервые исполнены многие сочинения современных композиторов.
Ученики:
Среди учеников: В. Ашкенази, Р. Баршай, Н. Гутман, Б. Давидович, Р. Дубинский, В. Третьяков, А. Наседкин, Т. Алиханов, А. Мельников, композиторы Б. Чайковский, Э. Денисов.
Концертная деятельность:
Как пианист добился признания, получив диплом на Всесоюзном конкурсе музыкантов-исполнителей в 1933 г., однако в дальнейшем оставил исполнительство и полностью посвятил себя композиции и педагогике.
Сочинения:
Автор Симфонии (1945), фортепианных, камерно-инструментальных сочинений (струнных квартетов, духовых ансамблей), вокальных циклов на слова Р. Бёрнса, Ш. Петефи, П. Элюара, современных отечественных поэтов – Н. С. Тихонова, Л. Н. Мартынова и других.
В числе наиболее известных – Скрипичный концерт, Соната для скрипки и фортепиано, Трио памяти А. И. Хачатуряна, Концерт для фортепиано и струнного оркестра, Соната для альта, Соната для виолончели и фортепиано.
Автор оперы «Алые паруса» (по А. Грину, 1974). ного работал в области детской музыки (опера «Четыре секрета», хоры, песни). Автор статей и рецензий. мер 16 января 1995 г. в г. Москве.