Caratteristiche :
- Server/workstation Hardware consigliato :
- CPU AMD ryzen 9 7950X o equivalente
- Ram 128 GB DDR5 ECC
- GPU 2 X RTX 4090 24 GB
- Motherboard/alimentazione/SSD adeguate alle caratteristiche CPU/GPU
- Debian 12
- Apache Server 2.4.62
- Php 8.2.28 Python 3.11.2 Mariadb 10.11.11
- Modelli I.A. 9b q4_0 num_ctx 36.000 Open source ottimizzati a inferenza esclusivamente esterna
- 15.000 utenti al giorno
- Contemporaneita > 100
- Risposte complete e dettagliate su qualsiasi argomento
- Citazione delle fonti dei dati
- Consumo energetico giornaliero inferiore a 3 euro/giorno a uso intensivo
Sistema Operativo e Software
Le nostre configurazioni a inferenza esterna permettono un risparmio di energia e risorse oltre il 90% rispetto a tradizionali addestramenti. Buona parte della elaborazione dei dati avviene attraverso script php e bash, limitando al massimo il lavoro delle GPU.
Una configurazione Hardware e Software come sopra esposta permette :