Михаил Павлович Рыба родился 16 февраля 1923 года в Варшаве в семействе музыкантов. Когда нацисты захватывали Польшу в 1939 г., Михаил, спасаясь, добрался до Советского Союза на велосипеде. В Москве он продолжил музыкальное образование, которое завершил окончанием Консерватории.