Никак. Если вы ограничиваете доступ конкретной группе или пользователю, доступ ограничивается полностью по тому критерию который вы выбрали, а не отдельно, текст не может читать, а файлы может скачивать. Файлы он сможет качать лишь если они загружены напрямую в файловый менеджер или облачные хранилища и пользователь имеет прямые ссылки на файлы, по другому никак.