почему в полиграфии не используется RGB

Потому, что при увеличении картинки модели RGB, она будет рваться, т. к. состоит из точек.
CMYK - изображение состоит из линий.