]> git.piffa.net Git - doc/.git/blobdiff - source/servizi.txt
Sistemata la parte di Squid per servizi.txt
[doc/.git] / source / servizi.txt
index cf8e88e9e8c816f200172aa4a13f6cbd7848f3e4..d3aaf4cc48f381b500f8babb5fa77e52b92d6d01 100644 (file)
@@ -7,7 +7,7 @@ Appunti sulla installazione e configurazione dei servizi
 
   :Author: Andrea Manni
   :Copyright: GFDL
-  :Version: 0.4
+  :Version: 0.5
 
 Questa guida e' dedicata agli studenti delle lezioni di informatica tenute da Andrea nel lab208. Nella parte iniziale sono presenti alcuni richiami alle impostazioni di rete e di installazione del laboratorio 208 (lab208) dove generalmente si tengono le lezioni. Questi parametri non sono interessanti per chiunque si trovasse al di fuori della rete piffa.net .
 
@@ -24,7 +24,7 @@ Solo per uso interno
 
 Impostazioni di base per la configurazione del sistema operativo e della rete nel laboratorio 208 facente parte della rete piffa.net .
 
-Qui riportati per comodita' degli studenti (e del docente che non sara' **mai piu'** costretto a ripeterli! )
+Qui riportati per comodita' degli studenti (e del docente che non sara' **mai piu'** costretto a ripeterli continuamente! ). Gli altri lettori potranno tenerli presenti per cercare di comprendere gli esempi nel testo. Ad esempio: quando leggerete ``10.10.208.254:3128`` saprete che si tratta del nostro *proxy http*, stara' quindi a voi sostituire i dati con gli *ip* della vostra rete.
 
 Rete
 ------
@@ -43,9 +43,10 @@ gateway            10.10.208.250
 DNS          10.10.208.254
 DNS          10.10.208.250
              persistente
+proxy http    10.10.208.254:3128
 ============= ================
 
-Sul portatile di Andrea, corrispondente all'ip 254, gira un DHCP, proxy http e mirror di Debian ( http://debian.piffa.net). Se Andrea non e' in aula (o ancora peggio non c'e' il suo portatile Net) gli studenti dovranno darsi un indirizzo ip manualmente e disabilitare il proxy (che pero' e trasparente, quindi fate pure come se non ci fosse ;) .
+Sul portatile di Andrea, corrispondente all'ip 254, gira un DHCP, proxy http e mirror di Debian ( http://debian.piffa.net). Se Andrea non e' in aula (o ancora peggio non c'e' il suo portatile Net) gli studenti dovranno darsi un indirizzo ip manualmente e disabilitare il proxy (che pero' e trasparente, quindi fate pure come se non ci fosse ;) . Questo in attesa che si sappia se sara' nuovamente utilizzabile il vecchio server Bender.
 
 Bash completion
 -------------------
@@ -235,7 +236,7 @@ Gli archivi sono generalmente:
 
 Questo file contiene le opzioni di apt, come ad esempio il proxy::
 
-    Acquire::http::Proxy "http://10.10.208.254:3128"
+    Acquire::http::Proxy "http://10.10.208.254:3128";
 
 Si tenga conto che se si imposta un proxy per apt sul proprio portatile e tornati a casa propria si vuole scaricare nuovi pacchetti si dovra' disabilitare il proxy.
 
@@ -243,6 +244,232 @@ Si tenga conto che se si imposta un proxy per apt sul proprio portatile e tornat
 Squid
 ======
 
+Squid e' un proxy  cache http (ma anche FTP e https) robusto e strutturato, puo' essere usato sia in reti relativamente piccole grazie alla semplicita' di configurazione che in scenari piu' complessi grazie alla possibilita' di gestirne in modo granulare le risorse partendo dalle configurazioni piu' semplici per la semplice *condivisione della navigazione* internet, la gestione degli accessi, il filtraggio dei contenuti (Squid e' una applicazione che si muove nel 4' livello del modello TCP/IP a differenza di un *ipfilter* limitato al 2') nel l bilanciamento del carico tra piu' hosts.
+
+Inoltre svolge la funzione di *anonymizer*:
+       nasconde i client http alla rete internet: risulta solo il server proxy nei log dei server web frequentati dagli utenti di Squid.
+
+Cosa a volte sottovalutata, squid permette la navigazione web a una rete basata su *indirizzi ip privati* (es una 192.168.0.0/24). E se la rete privata deve *solo navigare* in internet, non serve un *NAT* od altro, basta il solo Squid. Per altro non servira' neanche un servizio DNS dato che *sara' il solo squid a risolvere i nomi di dominio* per i suoi client http.
+
+Squid ascolta di default sulla porta 3128,  per impostare *apt* per utilizzarlo si aggiunga ad ``/etc/apt/apt.conf`` ::
+
+       Acquire::http::Proxy "10.10.208.254:3128";
+
+
+Per installare Squid si usino i pacchetti::
+
+       squid3
+
+
+Configurazione: squid.conf
+-------------------------------
+
+Segue un estratto delle direttive principali viste in aula presenti nel file di configurazione ``/etc/squid3/squid.conf`` .
+
+Cache_dir
+~~~~~~~~~~~~
+
+Cache dir serve per impostare dimensione e percorso della cache creata sul supporto di storaggio. Essendo la dimensione di default della cache pari a ``~100 MB`` e' altamente consigliabili aumentare questo parametro se si vuole poter utilizzare la funzione di *cache* http del software.
+
+La dimensione ovviamente dipendera' dallo spazio disponibile, dimensioni tipiche e massime degli oggetti che si vuole tenere in cache (un solo file *.iso e' circa ``700 MB``, il pacchetto *Openoffice.org* cira ``150 MB``, un pacchetto debian circa ``20 MB``), numero dei client.
+
+Si presti poi attenzione alla natura dei dati che saranno salvati nella cache: sono tutti dati facilmenti sostituibili (gli originali sono *on-line*) la cui perdita non arreca danni permanenti. Questo rende la cache di Squid un possibile candidato ad un *RAID stripe* (livello 0), con vantaggi sia per le prestazioni (e la velocita' di navigazione e' uno dei motivi per cui si installa Squid) che per l'utilizzo estensivo dello spazio di storaggio. Questo fino al momento in cui per voi non sia piu' importante *garantire la disponibilita' del servizio* (se il RAID stripe dovesse rompersi gli utenti non potrebbero piu' navigare, cosa che per natura dello stripe e' maggiormente probabile rispetto  ad un *mirror* o a un filesytem *normale*)  con un RAID mirror o 5.
+
+Altra considerazione: i dati del proxy vengono slavati sul filesytem del server dietro richiesta di utenti esterni talvolta sconosciuti. Come per i servizi di file sharing o per la posta elettronica non c'e' motivo che il filesystem su cui sono ospitati questi dati abbia i privilegi di eseguibilita' o suid (in genere si puo' anche usare *noatime* per renderlo piu' veloce, che si usi o meno il journal dipende dalle preferenze: affidabilita' oppure prestazioni):
+
+/etc/fstab ::
+
+       ...
+       # Filesystem per Squid http cache
+       /dev/md3/       /var/spool/squid/       ext3,noexec,nosuid,noatime  0 3
+
+Ora possiamo impostare la cache direttamente nel file ``/etc/squid3/squid.conf``::
+
+       #TAG: cache_dir (riga 1628)
+       #       Usage:
+       #
+       #       cache_dir Type Directory-Name Fs-specific-data [options]
+       #
+       #       You can specify multiple cache_dir lines to spread the
+       #       cache among different disk partitions.
+       #       ...
+       #Default:
+       # cache_dir ufs /var/spool/squid3 100 16 256
+       cache_dir aufs /var/spool/squid3 300 24 256
+       #         algoritmo
+       #              path della cache
+       #                                dimensione in MB
+       #                                    directory primo livello
+       #                                       secondo livello di directory 
+
+Se si modifica la struttura del filesytem della cache di Squid, ad esempio variando il numero delle directory, puo' essere opportuno rigenerare la struttura della cache di squid (per lo meno se si *aumenta il numero delle directory di primo o secondo livello). Tipicamente e' opportuno cancellare (se si ha *ridotto* il numero delle diectory) la vecchia cache e poi generare una nuova struttura. Se si vuole *star nel sicuro* ogni volta che si modifica l'impostazione delle directory *si svuoti la vecchia cache e se ne generi una nuova* ::
+
+       # /etc/init.d/squid3 stop
+       # rm -r /var/spool/squid3/??
+       # squid3 -z
+       # /etc/init.d/squid3 start
+
+TAG: maximum_object_size
+~~~~~~~~~~~~~~~~~~~~~~~~~~
+
+Questa direttiva imposta la dimensione massima degli oggetti che vengono slvati sul supporto di storaggio, oggetti di dimensioni superiori saranno comunque scaricati ma non tenuti in cache.
+
+TAG: maximum_object_size (1760)::
+
+       # TAG: maximum_object_size (1760)
+       #       Objects larger than this size will NOT be saved on disk.  The
+       #       value is specified in kilobytes, and the default is 4MB.  If
+       #       you wish to get a high BYTES hit ratio, you should probably
+       #       increase this (one 32 MB object hit counts for 3200 10KB
+       #       hits).  If you wish to increase speed more than your want to
+       #       save bandwidth you should leave this low.
+       #
+       #       NOTE: if using the LFUDA replacement policy you should increase
+       #       this value to maximize the byte hit rate improvement of LFUDA!
+       #       See replacement_policy below for a discussion of this policy.
+       #
+       #Default:
+       # maximum_object_size 4096 KB
+       maximum_object_size 150 MB
+       
+TAG: cache_mem
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+
+*Cache_mem* imposta quanta memoria RAM venga utilizzata per la cache di Squid. 
+Questo dipendera' dalla RAM disponibile sul sistema, e da quanta di questa volete mettere a disposizione di Squid (altri servizi iimportanti girano sulla stessa macchina?).
+Questo paramentro influisce sulle prestazioni e sul degrado dei supporti di storaggio (sopratutto se magnetici).
+
+Se si stesse pensando di usare dell'hardware *embedded* a basse prestazioni / consumo per realizzare un server gateway / NAT / Squid si tenga presente che Squid e' relativamente esoso di risorse: avra' bisogno di una macchina con ``~25MB`` (MegaByte) di RAM e *~150MHZ di CPU ARM* per servire decorosamente una decina di client http su una rete ethernet 10/100. In questo caso non fate scendere ``cache_mem`` sotto i ``2/4 MB`` pena un accesso continuo al supporto di storaggio.
+
+Se invece si disponesse di una macchina dedicata a Squid con gigabytes di RAM non si esiti a dedicarne buona parte a *cache_mem*.
+
+TAG: cache_mem   (1566)::
+
+       #       'cache_mem' specifies the ideal amount of memory to be used
+       #       for:
+       #               * In-Transit objects
+       #               * Hot Objects
+       #               * Negative-Cached objects
+       #Default:
+       # cache_mem 8 M
+       cache_mem 100 M
+
+
+TAG: minimum_object_size
+~~~~~~~~~~~~~~~~~~~~~~~~~~
+
+Questo parametro imposta la dimensione minima degli oggetti salvati nella cache. Settato a ``0`` o a valori molto piccoli puo' influire negativamente sulla deframmentazione del filesytem e consumare un numero elevato di *inode* (cosa non piu' importante con ext4 o altri filesytem).
+
+TAG: minimum_object_size::
+
+       #  TAG: minimum_object_size     (bytes)
+       #       Objects smaller than this size will NOT be saved on disk.  The
+       #       value is specified in kilobytes, and the default is 0 KB, which
+       #       means there is no minimum.
+       #
+       #Default:
+       # minimum_object_size 0 KB
+       minimum_object_size 0 KB
+
+Negoziazione degli accesi al servizio
+---------------------------------------
+
+Squid e' uno di quei servizi soggetto a problemi di tipo *open relay* , si deve quindi limitare la rete che puo' accedere al servizio. 
+
+Open Relay:
+       Un servizio a cui possono accedere tutti indiscriminatamente.
+       La cosa puo' andare bene per servizi come i server web, che aspirano per loro natura
+       al maggior numero possibile di utenti, ma non a servizi come i proxy http oppure
+       ai server di posta elettronica (che permetterebbero l'invio di SPAM).
+
+Generalmente non volete che il vostro proxy http venga usato da persone sconosciute le quali sostanzialmente *navigherebbero sotto l'identita' del vostro proxy* (probabilmente per visionare materiali che non vorrebbero fossero ricondotti direttamente a loro, per motivi che sta a voi prendere in considerazione) consumando traffico e banda della vostra connessione a internet. Tenere Squid in modalita' *Open relay* e' al giorno d'oggi un buon modo per essere inseriti in una *black list*.
+
+Per poter limitare gli accessi a Squid dal punto di vista dell'applicazione (quarto livello TCP/IP) si identifichera' inizialmente l'entita' *rete locale* (es: ``localnet``) con una ACL di tipo *src* (indirizi IP sorgenti) indicando la *classe / range di ip* della nostra rete.
+
+ Dopodiche l'accesso (``http_access``) si concedera' (*allow*) a questa entita' (es: ``localnet``) negando chiunque altro.
+
+Per maggiori dettagli sulla sintassi utilizzabile per esprimere i range di ip: 
+http://www.visolve.com/squid/squid24s1/access_controls.php
+
+
+ACL e http access
+~~~~~~~~~~~~~~~~~~~~~
+Si proceda a creare una ``ACL`` di tipo ``src`` per identificare la lostra rete locale, poi si abiliti l'accesso a questa con la direttiva ``http_access``. Tutto quanto non e' espressamente autorizzato viene poi negato da un ``http_access deny all`` finale.
+
+::
+
+       #  TAG: acl
+       #       Defining an Access List
+       #
+       #       Every access list definition must begin with an aclname and acltype,
+       #       followed by either type-specific arguments or a quoted filename that
+       #       they are read from.
+       #       ...
+       #       ***** ACL TYPES AVAILABLE *****
+       #
+       #       acl aclname src ip-address/netmask ...          # clients IP address
+       # riga 588
+       
+       # Example rule allowing access from your local networks.
+       # Adapt to list your (internal) IP networks from where browsing
+       # should be allowed
+       #acl localnet src 10.0.0.0/8    # RFC1918 possible internal network
+       #acl localnet src 172.16.0.0/12 # RFC1918 possible internal network
+       #acl localnet src 192.168.0.0/16        # RFC1918 possible internal network
+       #
+       acl localnet src 10.10.208.0/24    
+
+       # Riga 606
+       #  TAG: http_access
+       #       Allowing or Denying access based on defined access lists
+       #
+       #       Access to the HTTP port:
+       #       http_access allow|deny [!]aclname ...
+       #
+       #       NOTE on default values:
+       #
+       #       If there are no "access" lines present, the default is to deny
+       #       the request.
+       
+       # Riga 643
+       # INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
+       
+       # Example rule allowing access from your local networks.
+       # Adapt localnet in the ACL section to list your (internal) IP networks
+       # from where browsing should be allowed
+       #http_access allow localnet
+       http_access allow localnet
+
+Testare Squid
+---------------
+
+Configurato squid e' fondamentale testarne il corretto funzionamento per assicurarsi di non aver creato un *open-relay*. Per fare dei test significativi serve utilizzare degli host remoti: ci si connetta via ssh a questi per poi utilizzare ``wget`` da riga di comando.
+
+
+Client: ~/.wgetrc
+~~~~~~~~~~~~~~~~~~~
+
+Nel file ``.wgetrc`` (si noti il punto iniziale: e' un file nascosto) si puo' impostare il proxy per wget. Si utililizzi l'indirizzo ip del server che si vuole testare, e si seguano i log ``/var/log/squid3/access.log`` sul server.
+
+Da notare che la prova va' fatta su una macchina della rete che si vuole testare, non da *localhost*. Per altro se si utilizzasse *direttamente* ``localhost`` non si testerebbe la *ACL* predisposta, dato che si si rientrerebbe nella ACL (pre-configurata di default) ``localhost``.
+
+.wgetrc
+       http_proxy=10.10.208.178:3128
+
+Si proceda a scaricare dal client scelto con un wget::
+
+       wget http://www.google.it
+
+Server: access.log
+~~~~~~~~~~~~~~~~~~~~~
+
+Si puo' controllare il corretto funzionamento del server seguendo i log di accesso a Squid::
+
+       # tail -f /var/log/squid3/access.log
+
+In oltre e' possibile configurare diversi *analizzatori di log* come ``Webalizer`` per studiare i log di Squid.
+
+
 Apache
 ========
 
@@ -1070,6 +1297,16 @@ Analoga a: iptables -I INPUT -p tcp --dport 80 -j ACCEPT
 Esempio per permettere ad un pacchetto con IP sorgente 10.0.0.4 di raggiungere il server 192.168.0.1 attraversando il firewall:
 iptables -I FORWARD -s 10.0.0.4 -d 192.168.0.1 -j ACCEPT
 
+Flush automatico per macchine remote
+---------------------------------------
+
+Se state provando una configurazione del firewall per una macchina remota e' buona norma per evitare brutte figure attivare uno script che faccia il *flush* delle regole dopo qualche minuto. Potreste infatti inavvertitamente impostare una regola che vi impedisca di raggiungere la macchina remota, cosi' da non poter neanche eliminare quella regola e ripristinare la situazioe precedente.
+
+*Veramnete*, prima di lavorare sul firewall di una macchina remota inpostate almeno un ``at now +5 min`` o con un'oretta di margine per fare il *flush* delle regole (su tutte le tabelle)::
+
+           at now +5 min
+        at> /sbin/iptables -F
+       at> [CTR+d]