Почему копатели именно черные?

Чёрный рынок, чёрный нал. Чёрные копатели. Чёрный - значит нелегальный, противозаконный.

Например, в толковом словаре Ожегова:

Или у Ефремовой:

У слова "чёрный" помимо обозначения цвета издавна есть значения плохого, отрицательного (выставить в чёрном свете), преступного и даже связанного с силами вселенского зла.