В каком формате лучше сохранить отсканированную книгу, pdf или docx?

Если вас интересует внешний вид страниц, то PDF.

Если вас интересует, исключительно, текст, то DOCX, но в этом случае лучше планарный текст. В DOCX хранится слишком много лишней, не отображаемой информации.

Про ресурсоемкость PDF. Этот формат создан именно для сохранения внешнего вида документов, читается, практически, на любом устройстве. Со сканера, обычно, сохраняется как JPEG картинка встроенная в PDF документ. Редакторы платные.

DOCX же требует распознавания символов, с сопутствующими ошибками. Редакторы есть бесплатные, что угрожает изначальному тексту.