マジレスすると頼朝の母方の同族が後白河ママの部下に何人か居て縁が深いから
その庇護を受ける形になって清盛じゃ手出し出来なくなったって話