init

[sourcephile-txt.git] / ddc / ddc8-une-infra.md

# Une première infrastructure informatique pour la logiciellerie
- Demande de Critiques: 8
- De: Julien Moutinho (julm)
- À: Zabl
- Phase: Écriture
- Révision: 1 (2019-11-15)
- Licence: Creative Commons BY-SA
- Préoccupations: autonomie, compréhension, développement, financement, maintenance, performance, sécurité, service, social

# Bilan approximatif
## Analyses reconnues
- [G] financement
  - [G] julm: on est sur une dépense de ~500€ de matériel pour une espérance de fonctionnement et d’usage >5ans, et un récurrent de ~60€/an pour l’hébergement. C’est un prix très correct pour ce que c’est.
- [T] autonomie
  - [T] julm: on a la main sur le matériel, le logiciel, mais pas sur l’hébergement (toutefois 15km, ça reste à portée de vélo).
- [T] développement
  - [T] julm: on peut mettre du NixOS, mais ce n’est pas une machine avec beaucoup de CPU et de RAM, mais ça devrait largement suffire et me dépanner tant que je n’ai pas d’élec @home.
- [T] performance
  - [T] julm: la machine peut suffire pour commencer, l’hébergement aussi mais peut rapidement être limitant (ce n’est qu’une VDSL2+).
- [A] compréhension
  - [A] julm: on est en logiciel libre, mais que partiellement en matériel ouvert.
- [A] maintenance
  - [A] julm: on peut mettre du NixOS ce qui me simplifiera la tâche. L’hébergeur n’offre pas (encore) de seconde connexion via le port série et n'est que semi-professionnel, par contre il est proche.
- [A] sécurité
  - [A] julm: on est en logiciel libre, mais que partiellement en open hardware. Mutualiser pleins de services sur une seule machine n’est pas très sécurisant. L’hébergement est semi-professionnel (porte à serrure standard dont il n’est pas clair qui a les clés, et pas (encore) de caméra).
- [A] social
  - [A] Les machines sont fabriquées à l'autre bout de la planète dans des conditions probablement déplorables.
- [C] service
  - [C] julm: aucun service non-lié à la production n’est proposé aux membres.
## Mentions possibles
- R: « À rejeter »
- C: « À clarifier »
- A: « À améliorer »
- T: « À tester »
- G: « À garder »

# Explications
## Motivations
### S'émanciper d'autogeree.net
Les logiciels que j'écris sont actuellement hébergés sur `chomsky.autogeree.net`, une machine virtuelle relativement modeste que me fournie Grésille depuis 2012 (en contre-partie d'un Dell R210) et qui m'a longtemps servi de bac à sable pour jouer à l'adminsys, qui sert encore à un copain et moi-même pour avoir du mél et de l'IRC. Je l'ai eue en 2012 en contre-partie d’un Dell R210 (« rouf ») acquis dans l'enthousiasme naïf de l'essaimage de FDN.

`chomsky` est une Debian dans une machine virtuelle Xen (1 CPU, 750Mo de RAM, 50Go de stockage **probablement** HDD), dans une machine hébergée professionnellement en datacenter à Grenoble. Cette machine est actuellement reliée à l'Internet par une autre infrastructure de Grenode à Lyon (au Netcenter via Rézopole).
`chomsky` n’a pas vraiment les ressources d’une machine de développement (nixpkgs c’est déjà 10Go de stockage, stack 5Go, et le REPL de GHC ou de PureScript c’est minimum 0.5Go de RAM).

### S'émanciper de Debian
Depuis que je me suis mis à NixOS, je ne suis plus enthousiasmé par Debian. En tant que dev il est bien plus facile de faire et de partager de manière reproductible et récente des paquets NixOS que des paquets Debian (dans le cas de paquets Haskell tout du moins). Et en tant qu'adminsys il est bien plus facile de maîtriser ce qu'il se passe sur une NixOS que sur une Debian. Le seul avantage de Debian en ce qui me concerne c'est sa plus grande portabilité sur des architectures basse conso ou OSHW comme certaines ARM ou MIPS. Mais ce n'est **certainement** qu'un avantage temporaire.

Cependant, il est **peu probable** que je puisse passer `chomsky` sous NixOS, car mon copain n’envisage pas de se mettre à NixOS, et puis c'est une opération risquée demandant une intervention délicate sur une machine hébergeant actuellement des services en production (essentiellement nos méls persos en MX n°1).

- https://wiki.debian.org/FreedomBox/Hardware
- https://nixos.wiki/wiki/NixOS_on_ARM

## Objectif
### Objectif minimal : infra de production
- Noms de domaine (nsd4, unbound)
  - VPN DNS (iodined)
- Certificats X.509 (certbot, nginx)
- Shell distant SSH (openssh)
  - 2FA: yubikey
- Compte (openldap)
- Chiffrement du stockage (dm-crypt, dropbear)
- Pare-feu (shorewall)
- Adresses méls (postfix, dovecot2, rspamd)
- Forge logicielle (gitolite, gitweb, nginx)
- Partage en ligne (nextcloud, pastebin, etherpad)
- Messagerie instantanée (prosody)
- VPN (wireguard)

### Objectif modeste : infra de documentation
- Site Web des journaux de bord (nginx)
- Site Web des demandes de critiques (nginx)

### Objectif honorable : infra de démonstration
- vote.zabl.org (zablvote)
- doc.zabl.org (zabldoc)
- compta.zabl.org (zablcompta)
- loto.zabl.org (zabloto)

### Objectif ambitieux : infra de discussion
- Listes méls et/ou forum (discourse)
- audioconf (mumble)
- visioconf (jitsi)
- Microblogging (mastodon)

### Objectif maximal : infra de services


### Exister

# Actions
## Serveur APU2 de PCengines
L’APU2 est un routeur conçu par une entreprise suisse (PCengines) et fabriqué à Taïwan.
Le CPU est un AMD, dont l'architecture « x86_64 » est officiellement supportée par NixOS et ses caches binaires.
Ce n'est pas complètement en open hardware car certains composants clés comme le CPU ne le sont pas, mais PCengines publie ce qu'elle fait elle pour sa part (schémas et code source des modifications à Coreboot).

L’APU a plusieurs versions : APU2, APU3 et APU4.
L'APU2 est annoncé comme celui consommant le moins : 10W max contre 12W max pour l’APU3 et l’APU4.
L’APU3 est optimisé pour faire de la 3G/LTE.
Et l’APU4 a un quatrième port Ethernet.

### Caractéristiques
- Processeur : AMD G series GX-412TC, 1 GHz quad core (Jaguar core) with 64 bit support, AES-NI, 32K data + 32K instruction cache per core, 2MB shared L2 cache
  - 170€HT, http://store.clemanis.com (PCE-APU2D4)
  - 148€HT, https://teklager.se/en/products/router-components/pc-engines-apu2d4
- Coprocesseur : AMD CCP (pour cryptographie AES-GCM) https://openwrt.org/toh/pcengines/apu2#cryptographic_hardware
- Mémoire : 1x 4Go DDR3-DRAM 1333Mhz ECC (soudée !) (4Go permet de rester en 32 bits)
- Stockage : Boot from SD card (built-in adapter, connected through USB), USB or m-SATA SSD. 1 SATA data + power connector
- Électricité : 12V DC. About 6 to 10W depending on CPU load. Recommend for at least 1.5A to provide margin for peripherals
- Extensions : 2 miniPCI express (one with SIM socket for 3G modem), LPC bus, GPIO header, optional I2C bus, COM2 (3.3V RXD/TXD)
- Réseau : 3 Gigabit Ethernet (Intel i210AT / i211AT), 1 DB9 serial port (console)
- Firmware : CoreBoot open source system BIOS with support for iPXE and USB boot
- Taille : 152,4mm x 152,4mm
  - 35€HT, http://store.clemanis.com (RMT-CASE-S1)
  - 12€HT, https://teklager.se/en/products/router-components/pc-engines-apu-enclosure
- Refroidissement : conductive cooling from the CPU to the enclosure
- Conception : Suisse
- Fabrication : Taïwan

### Calculs
L’APU2 est généralement utilisé comme routeur, mais peut aussi servir de petit serveur, voire de petit « NAS » (Network Attached Storage).
### Mémoire
4GB de RAM ce n’est pas énorme, ce serait peut-être même trop peu pour une machine de build, mais pour un serveur hébergeant des choses assez légères c'est pas mal. D’un point de vue sécurité, il semble d'ailleurs préférable d'avoir plusieurs machines physiques distinctes qu’une grosse machine blindée hébergeant des machines virtuelles. Genre de machine qu'on ne trouvera d'ailleurs probablement pas de si tôt en open hardware.
La RAM a de l’ECC (Error Correcton Code), supportée depuis peu dans le firmware.
### Réseau
Quelques commentaires signalent que l’APU2 sature un peu quand il s’agit d’utiliser la pleine connectivité d’une fibre optique. Notamment à travers un VPN (connexion chiffrée) qui requièrerait plus de cache L2.
À PTT il n’y a pas de fibre optique pour le moment de toute façon.
### Maintenance
La présence d’un port série permet un accès de maintenance plus simple et plus sécurisé que de l’IPMI (qui est un second OS en parallèle).
Cependant PTT n'a pas de switch serie pour le moment.

Câbles utiles :
- USB to serial port
  - 17€HT, https://www.ldlc.com/fiche/PB00026389.html
  - 11€HT, https://teklager.se/en/products/router-components/serial-to-usb-cable
- null-modem "DB9" serial cable, 5€HT, https://www.ldlc.com/fiche/PB00170050.html
### Stockage
Il est possible de mettre deux disques SSD, un sur le port mSATA et un sur le port SATA.
Il est aussi possible de mettre une extension PCIe pour rajouter 4 ports SATA : https://pcengines.ch/howto.htm#add_on_cards
Il est également possible de mettre une carte SD, mais les cartes SD tendent à mourrir plus vite et sont plus lentes.
### Enclosure
Il existe de nombreuses enclosures.
Les noires dissipent mieux la chaleur : https://openwrt.org/toh/pcengines/apu2
La RMT-CASE-S1 de Clemanis est 15€ plus chère que d’autres enclosures plus petites, mais permet de stocker deux disques 2.5" sur le côté, ou de mettre une extension : http://store.clemanis.com/en/cases/324-pc-engines-alix-2d22d32d13-apu1apu2-case-with-hdd-wifi-black-3700667301379.html

### Espérance de fonctionnement
Matériellement, les disques peuvent mourrir assez vite, entre 3 et 5 ans.
Une redondance en RAID1 logiciel (mdadm) rendra **probablement** le remplacement assez simple.
La carte de l’APU2 devrait pouvoir durer plus de 10 ans.
Mais le fait que la RAM soit soudée fait qu'il faudra tout changer si elle vient à avoir des défaillances.

Concernant l'usage, à court et moyen terme les disques n'ont pas besoin d'être particulièrement grands, 64GB ou 128GB seront largement assez.

### Ressources
- https://pcengines.ch/howto.htm
- https://openwrt.org/toh/pcengines/apu2
- https://www.cs.cmu.edu/~davide/howto/apu4c4.html
- https://blog.linuxserver.io/2016/12/17/review-pcengines-apu2-c4-prebuilt-by-linitx/#vpnperformance
- https://teklager.se/en/knowledge-base/

## 120GB de stockage
TODO: détailler l’usage

## Hébergement chez PTT
PTT propose de l’hébergement à Tarnac (Corrèze).
L’hébergement se fait dans une petite salle dédiée et climatisée d’un "tier-lieu" (médiathèque, cyberespace) du village.
La connexion est derrière une VDSL2+ fournie par l’association Ilico.

- https://www.fnac.com/mp37714266/Transcend-ts128gmsa230s-ssd-interne-msata-iii-128-go-sata-iii-6-gbps-3d-tlc/w-4
- https://www.ldlc.com/fiche/PB00253086.html

# Critiques
## Inconvénients
### Vulnérabilités Metldown et Spectre
Problème : l’AMD GX-412TC de l’APU2 est vulnérable à Meltdown et Spectre. L’atténuation n’est que partielle : https://blog.3mdeb.com/2019/2019-05-29-spectre-and-meltdown-on-apu2/

Réponse : Tous les CPU Intel ou AMD sont plus ou moins affectés par ces vulnérabilités.

### nsd4 et iodined nécessitent tous deux le port 53
Problème : Normalement nsd4 et iodined sont incompatibles sur une seule et même IPv4 (à 3€/mois ici), car ils requièrent tous deux l’écoute sur le port 53 du DNS.

Réponse : Il est possible de mutualiser ce port avec une règle iptables du genre : `-A nat -p udp --dport 53 -m string --algo kmp --from 40 --hex-string |01|i|04|zabl|03|org|00| -j DNAT --to-destination :5353` où iodined écoute maintenant sur le port 5353.

## Question non-résolues
## Alternatives
### TLsense
- Processeur : Intel i3 | i5 | i7
  - i7 : https://teklager.se/en/products/routers/tlsense-i7-4lan
- Mémoire : 8Go
- Réseau : 4x Gigabit Ethernet
- Conception : Suède
- Fabrication : ?

### Helios4
- Infos : https://kobol.io/helios4/
- Prix : 177€
Open hardware mais ARM pas x86, et plus en vente pour le moment.

### HPE ProLiant MicroServer
- Processeur : AMD Opteron X3416 (2x 1.6–3.0GHz) | X3421 (4x 2.1–3.4GHz)
- Mémoire : 1x 8Go (max 2x 16Go) DDR4-SDRAM (X3416: 1600Mhz | X3421: 2400MHz) Unbuffered ECC (non-soudées)
- Cache L2 : X3416: 1Mo | X3421: 12Mo
- Réseau : 2x Gigabit Ethernet
- Électricité : 12-35W
- Stockage : 4x SATA 3.5"
- Extensions : 2x PCIe 3.0
- Prix :
  - X3416 : 328€HT https://www.senetic.fr/product/873830-421
  - X3421 : 415€HT https://www.senetic.fr/product/P04923-421
- Conception : USA
- Fabrication : ?