Фига в кармане - откуда повелось это выражение?

Почему-то мне вспоминаются старинные картины, на которых обнаженная натура всегда прикрывала интимные зоны фиговыми листочками. Быть бедняком в Средневековье было тоже неприлично. Что бы скрыть факт бедности, люди залезали в долги, тратились на показ (как и в современном обществе). Пустой карман, бедность еще именуют "без штанов" - это неприлично, так вот фига, как и фиговый лист, должны прикрыть срам. Ну, и может бедняк в кармане фигу (дулю) скрутить, приобретая что-то в долг и думая, что не отдаст деньги.