У транзисторов с корпусом TO-220 или TO-3 лучше теплоотдача с радиатором?

Однозначно на все вопросы ответ да.

У транзисторов в корпусе ТО 3 большая площадь самой поверхности корпуса, при чем намного. Как правило и мощность рассеивания выше о чем можно убедится в справочных данных. Лучше показатели температурного режима. Больше площадь для контакта с охладителем, большая площадь контакта самого кристалла внутри корпуса.

Полагаю, для описываемого вами примера, лучше использовать все с запасом. Если проблемы с размерами, превратите в охладитель корпус устройства, или вообще все смонтируйте на самом радиаторе.

Использовать транзисторы на 80% от максимально рассчитанной мощности, технологически неправильно. Существуют два классических подхода американский и русский. Американцы как раз стремятся все использовать по максимуму, а русский подход, это все делать с запасом. Отсюда и надежность с русским подходом всегда выше.