<VirtualHost>
  ...
  # Evitar swagger para todos excepto para 10.1.20.41 y 192.168.1.101
  # La primera IP sí consigue acceso swagger. La segunda IP siempre recibe error 403
  # Conceptualmente está mal ya que debería ser
  # !(condicion1 OR condicion2) and condicion3
  RewriteEngine on
  RewriteCond %{REMOTE_ADDR} !^10\.1\.20\.41$
  RewriteCond %{REMOTE_ADDR} !^192.\168\.1\.101$
  RewriteCond %{REQUEST_URI} ^/api-docs/*$ [NC]
  RewriteRule ^.*$ / [F]
  ...
</VirtualHost>

Add a code snippet to your website: www.paste.org