Espelhando o FreeBSD

2.4.1. FTP

Este é um dos serviços mais básicos, e ele é requerido em todos os mirrors que oferecem acesso público às distribuições via FTP. O acesso ao FTP deve ser anônimo, e não é permitido o uso de taxas de upload/download (algo ridículo de qualquer forma). Nao é necessário ter o upload de arquivos habilitado (e ele nunca deve ser permitido na área onde os arquivos do FreeBSD são mantidos). Os arquivos do FreeBSD devem ficar disponíveis sob o caminho /pub/FreeBSD .

Abaixo você encontra diversos softwares disponíveis os quais podem ser configurados para operarem como servidor de FTP Anônimo (em ordem alfabética).

• /usr/libexec/ftpd: É o servidor de FTP nativo do FreeBSD. Consulte o ftpd(8).

• ftp/ncftpd: Um pacote comercial, gratuito para uso educacional.

• ftp/oftpd: Um ftpd desenvolvido com foco principal voltado para a segurança.

• ftp/proftpd: Um ftpd modular e muito flexível

• ftp/pure-ftpd: Outro ftpd desenvolvido com foco na segurança.

• ftp/twoftpd: Ftpd desenvolvido com foco na segurança.

• ftp/vsftpd: Um ftpd muito seguro.

• ftp/wu-ftpd: O ftpd da universidade de Washington. Ele se tornou impopular, por causa da enorme quantidade de problemas de segurança que foram descobertos nele. Se você optar por utilizar este software, certifique-se de mantê-lo atualizado.

O ftpd nativo do FreeBSD, o proftpd, o wu-ftpd e talvez o ncftpd são os programas utilizados com mais frequência. Os demais não possuem uma grande base de usuários entre nossos sites espelho. Um item a ser considerado é que você pode precisar de flexibilidade para controlar quantas conexoes simultâneas serão permitidas no servidor, limitando quanto da banda IP e dos recursos do sistema são consumidos.

2.4.2. RSYNC

O rsync pode ser oferecido como opção para acesso ao conteúdo da area de FTP do FreeBSD, desta forma outros sites espelho podem utilizar o seu sistema como fonte para o sistema deles. O protocolo do rsync é diferente do FTP em muitos aspectos. Ele é muito mais amigável com relação ao consumo de banda IP, uma vez que apenas as diferenças entre os arquivos são tranferidas ao invés de transferir o arquivo completo quando ele se altera. O rsync necessita de uma grande quantidade de memória para cada instância. A quantidade de memória alocada depende do tamanho do modulo sincronizado em termos de número de diretórios e de arquivos. O rsync pode utilizar o rsh e o ssh (agora é padrão) para transporte dos dados, ou então utilizar o seu próprio protocolo para acesso stand-alone (este é o método preferido para um servidor público de rsync). Autenticação, limite para o número de conexoes e outras restrições podem ser aplicadas. Até o momento só existe um pacote de software disponível para implementar um servidor de rsync:

• net/rsync

2.4.3. HTTP (Necessário para as páginas web, Opcional nos servidores FTP)

Se você deseja oferecer as páginas web do FreeBSD, você precisa instalar um servidor web, conhecido por httpd. Opcionalmente você pode oferecer acesso a sua árvore de FTP via HTTP. A escolha do software do servidor web é uma escolha do administrador do site espelho. As opções mais populares são:

• www/apache13: O apache é o servidor web mais amplamente utilizado na Internet. Ele é usado extensivamente pelo projeto FreeBSD. Você também pode desejar utilizar a nova geração do servidor web apache, disponível na coleção de ports como www/apache2 .

• www/thttpd: Se você for servir uma grande quantidade de conteúdo estático, você pode constatar que o uso de uma aplicação como o tHttpd é mais eficiente do que o uso do Apache. Ele é otimizado para operar sob a máxima performance no FreeBSD.

• www/boa: O Boa é uma outra alternativa ao uso do tHttpd e do Apache. Ele deve prover uma performance consideravelmente melhor que a do Apache para conteúdos puramente estáticos. Ele não possui, pelo menos até o momento em que esse artigo está sendo escrito, o mesmo conjunto de otimizações para o ambiente FreeBSD que encontramos disponíveis no tHttpd.

2.4.4. CVSup (desejado para repositórios CVS)

O CVSup é um meio muito eficiente de distribuição de arquivos. Ele trabalha de forma semelhante ao rsync, porém foi desenvolvido para uso com repositórios CVS. Se você desejar disponibilizar um repositório CVS do FreeBSD, você deve considerar fortemente fazê-lo via CVSup . É possível oferecer acesso a um repositório CVS via AnonCVS, FTP, Rsync ou HTTP, mas as pessoas vão se beneficiar muito mais de um acesso via CVSup . O CVSup foi desenvolvido pelo John Polstra <jdp@FreeBSD.org>. É um pouco complicado instalá-lo em uma plataforma diferente do FreeBSD, uma vez que ele foi escrito em Modula-3 e consequentemente necessita de um ambiente Modula-3 disponível. O John Polstra preparou uma versão simplificada do M3 a qual é suficiente para executar o CVSup, a qual pode ser facilmente instalada. Consulte Ezm3 para maiores detalhes. Os ports relacionados são:

• net/cvsup: O port nativo do CVSup (cliente e servidor) o qual requer a instalação do lang/ezm3 .

• net/cvsup-mirror: O kit de espelhamento do CVSup, o qual requer o net/cvsup, e que o configura para atuar no espelhamento dos serviços. Alguns administradores de sistema podem preferir uma forma diferente de configurar um site espelho.

Existem alguns outros, como o net/cvsup-without-gui o qual você pode desejar olhar. Se você preferir um pacote binário, compilado estaticamente, de uma olhada aqui. Esta página continua mencionando o erro SG1, o qual esteve presente no CVSup. Pode ser que o John venha a definir no futuro um site genérico para download de binários estáticos para várias plataformas.

É possível utilizar o CVSup para disponibilizar qualquer tipo de arquivo, e não apenas repositórios CVS, mas a configuração será mais complexa. O CVSup é conhecido por comer um pouco de CPU tanto no servidor quanto no cliente, o que ocorre porque ele precisa comparar muitos arquivos.

2.4.5. AnonCVS (Opcional para um repositório CVS)

Se você possui o repositório CVS, você pode desejar disponibilizá-lo via cvs anônimo. Um pequeno aviso antes: Não existe muita demanda para este tipo de acesso, ele requer alguma experiência, e você precisa saber o que está fazendo.

Geralmente há duas formas de se acessar um repositório CVS remotamente: via pserver ou via ssh (nós não consideramos o rsh ). Para acesso anônimo, o uso do pserver é mais que suficiente, porém alguns também oferecem acesso via ssh. Existe um wrapper customizado no repositório CVS, para ser utilizado como shell para uma conta de ssh anônimo. Ele faz um chroot, e consequentemente requer que o repositório CVS esteja disponível no diretório home do usuário anônimo. Isto pode não ser possível para todos os sites. Se você for oferecer apenas acesso via pserver, esta restrição não se aplica, mas você pode ficar sujeito a um risco maior de segurança. Você não precisa instalar nenhum software especial, uma vez que o cvs(1) vem por padrão na instalação básica do FreeBSD. Você precisa habilitar o acesso através do inetd, para isto basta adicionar uma entrada ao seu /etc/inetd.conf semelhante a esta:

cvspserver stream tcp nowait root /usr/bin/cvs cvs -f -l -R -T /anoncvstmp --allow-root=/home/ncvs pserver
          

Consulte o manual para detalhes das opções. Consulte também a página de info do CVS sobre formas adicionais de certificar-se de que o acesso é de apenas leitura. Recomenda-se que você crie uma conta não privilegiada, preferencialmente chamada anoncvs . Você também precisa criar um arquivo passwd no seu /home/ncvs/CVSROOT e atribuir um password (em branco ou anoncvs) para acesso deste usuário ao CVS. O diretório /anoncvstmp é um sistema de arquivo baseado em memória que tem um propósito especial. Ele não é obrigatório mas seu uso é recomendado, uma vez que o cvs(1) cria uma estrutura de diretórios ocultos no seu /tmp a qual não é utilizada depois da operação, mas que deixa as coisas dramáticamente lentas se forem necessárias operações reais de escrita/leitura para o disco. Aqui está um fragmento do /etc/fstab, de como configurar um MFS:

/dev/da0s1b /anoncvstmp mfs rw,-s=786432,-b=4096,-f=512,-i=560,-c=3,-m=0,nosuid,nodev 0 0
          

Esta é (naturalmente) uma sintaxe ajustada ao máximo, e foi sugerida pelo John Polstra <jdp@FreeBSD.org>.

3.1.1. Espelhando com FTP

Você pode utilizar um programa de espelhamento de FTP para obter os arquivos. Existem muitos programas disponíveis, os quais são amplamente utilizados tais como:

• ftp/mirror

• ftp/ftpmirror

• ftp/emirror

• ftp/spegla

• ftp/omi

• alguns usam mesmo o ftp/wget

O ftp/mirror é muito popular, mas parece ter alguns inconvenientes, ele é escrito em perl(1), e possui alguns problemas reais para espelhar grandes diretórios como o site FreeBSD. Existem rumores de que a versão atual corrigiu isso ao permitir que seja especificado um algoritimo diferente para comparar a estrutura de diretórios.

Em geral o FTP não é bom para tarefas de espelhamento. Ele transfere o arquivo inteiro se ele for alterado, e não cria um único stream de dados o qual o beneficiaria de uma grande janela de congestão TCP.

3.1.2. Espelhando com RSYNC

Uma forma melhor de espelhar uma área FTP é através do uso do rsync. Você pode instalar o port net/rsync e então utilizá-lo para sincronizar com o seu servidor de upstream. O rsync já foi mencionado na Seção 2.4.2. Uma vez que a disponibilização de acesso via rsync não é obrigatória, o seu site preferido de upstream pode não adotá-lo. Você pode ter um pouco de trabalho para encontrar um servidor que permita o acesso via rsync.

A linha de comando para espelhar o FreeBSD pode ser parecida com essa:

% rsync -vaz --delete ftp4.de.FreeBSD.org::FreeBSD/ /pub/FreeBSD/
          

Consulte a documentação do rsync, a qual está disponível em http://rsync.samba.org/, sobre as várias opções que podem ser utilizadas com o rsync. Se você sincronizar o módulo inteiro (ao contrário de apenas alguns subdiretórios), esteja ciente de que o módulo-diretório (normalmente "FreeBSD") não será criado, assim você não deve omitir o diretório alvo. Você também pode desejar configurar um script de trabalho o qual seria executado como um comando pelo cron(8), para automatizar o processo.

3.1.3. Espelhando com o CVSup

Poucos sites, incluindo o ftp-master.FreeBSD.org, oferecem acesso via CVSup para espelhamento da área de FTP. Você deve instalar um cliente de cvsup, preferencialmente a partir do port net/cvsup (também visto na Seção 2.4.4). Um exemplo de arquivo supfile para fazer o espelhamento a partir do ftp-master.FreeBSD.org se pareceria com isto:

         #
          # FreeBSD archive supfile from master server
          #
          *default host=ftp-master.FreeBSD.org
          *default base=/usr
          *default prefix=/pub
          #*default release=all
          *default delete use-rel-suffix
          *default umask=002

          # If your network link is a T1 or faster, comment out the following line.
          #*default compress

          FreeBSD-archive release=all preserve
          

Parece que o CVSup seria a melhor forma de espelhar o arquivo em termos de eficiência, mas infelizmente ele está disponível em apenas alguns sites.

3.2.1. Utilizando o CVSup

O CVSup já foi descrito em algum detalhe na Seção 2.4.4 e na Seção 3.1.3.

Abaixo você encontra um exemplo de supfile para realizar esta tarefa:

         #
          # FreeBSD CVS supfile from master server
          #
          *default host=cvsup-master.FreeBSD.org
          *default base=/usr
          *default prefix=/pub/FreeBSD/development/FreeBSD-CVS
          *default release=cvs
          *default delete use-rel-suffix
          *default umask=002

          # If your network link is a T1 or faster, comment out the following line.
          #*default compress

          cvs-all
          

Você também deve dar uma olhada em /usr/share/examples/cvsup.

3.2.2. Utilizando outros métodos

Geralmente não se recomenda o uso de outros métodos que não o CVSup. De qualquer forma, vamos descrever rapidamente como fazer. Uma vez que a maioria dos sites oferecem o repositório CVS como parte da área de FTP, sob o caminho /pub/FreeBSD/development/FreeBSD-CVS, os seguintes métodos podem ser utilizados.

• FTP

• RSYNC

• e talvez HTTP

Se você encontrar um site que suporte, você pode utilizar o net/sup. Mas ele é inferior ao CVSup e foram as suas deficiências que levaram o John Polstra a desenvolver o CVSup, então o seu uso é claramente não recomendado.

3.3.1. Espelhando a documentação do FreeBSD

Uma vez que a documentação é fortemente referênciada a partir das páginas web, recomenda-se que você também espelhe a documentação do FreeBSD. Entretanto, isto não é tão trivial quando espelhar as páginas www isoladamente.

Antes de mais nada, você deve obter os fontes da documentação, e de novo o método preferencial é via CVSup. Aqui está um exemplo do supfile correspondente:

        #
         # FreeBSD documentation supfile
         #
         *default host=cvsup3.de.FreeBSD.org
         *default base=/usr
         *default prefix=/usr/share
         *default release=cvs tag=.
         *default delete use-rel-suffix

         # If your network link is a T1 or faster, comment out the following line.
         #*default compress

         # This will retrieve the entire doc branch of the FreeBSD repository.
         # This includes the handbook, FAQ, and translations thereof.
         doc-all
         

Então você terá que instalar diversos ports. Mas você está com sorte, pois existe um meta port: textproc/docproj que faz o trabalho para você. Você precisa configurar algumas variáveis de ambiente, como por exemplo SGML_CATALOG_FILES. Também de uma olhada no seu /etc/make.conf (faça uma cópia do /etc/defaults/make.conf se você não possuir um), e verifique a variável DOC_LANG . Agora você já está provavelmente pronto para executar o comando make no seu diretório dos fontes da documentação (por padrão /usr/share/doc) para construí-la. De novo, você precisa torná-lo acessível através do seu servidor web e certifique-se de que os links apontam para o local correto.

4.2.1. Eu quero apenas espelhar a partir de algum lugar!

Se você não possui nenhuma intenção ou necessidade especial, a indicação da Seção 4.2 se aplica. Isto significa:

4.2.2. Eu sou um site espelho oficial, qual é o site correto para mim?

Em geral a descrição da Seção 4.2.1 continua válida. Naturalmente você pode desejar colocar algum peso no fato de que com a sua capacidade de upstream você poderia ter um tier menor. Existem algumas outras considerações sobre os sites espelhos oficiais que são descritos na Seção 5.

4.2.3. Eu quero ter acesso aos servidores mestres!

Se você possui boas razões e bons pré-requisitos, você pode querer e ter acesso a um dos servidores mestre. O acesso a estes servidores é geralmente restrito, e existem regras especiais para o acesso. Se você já é um site espelho oficial, isto certamente irá auxiliá-lo a conseguir o acesso. Em qualquer outro caso, certifique-se que o seu país realmente precisa de outro site espelho. Se ele já possui 3 ou mais, pergunte ao administrador da zona (<hostmaster@CC.freebsd.org>) ou primeiro ao lista de discussão FreeBSD de sítios espelho

Quem quer que tenha lhe ajudado a se tornar um site espelho oficial, deve ter providenciado para que você obtivesse acesso a um servidor de upstream apropriado, seja ele um dos servidores mestres ou um servidor Tier-1 apropriado. Se não, você pode enviar um email para <mirror-admin@FreeBSD.org> solicitar ajuda com isto.

Existem 3 servidores master para a árvore de FTP e um um para o repositório de CVS (as páginas web e a documentação são obtidos apartir do CVS, assim não há necessidade de se ter um servidor mestrei para eles).