Установленные мощности на суперкомпьютере Colossus 2 достигли 1 гигаватта

Таким образом, xAI стали первыми в истории обладателями единого дата-центра гигаваттного класса. К апрелю планируется увеличить мощность до 1,5 гигаватт, а позднее и до 2. Один гигаватт - это пиковое потребление города с населением около миллиона человек.
Colossus 2 располагается в здании с ни на что не намекающей надписью Macrohard на крыше. Размеры здания примерно 180 на 500 метров, общая площадь 93 тысячи квадратных метров.
В Colossus 2 сейчас установлено около полумиллиона ускорителей Nvidia GB200 и GB300.
GPT-4, обучение которой в свое время заняло 3 месяца, на таком можно было бы обучить часов за 5.
Маск подчеркивает, что этот кластер, как и первый Colossus, будет использоваться именно для обучения моделей. Для инференса xAI арендует мощности у Oracle Cloud Infrastructure.
Здание под кластер было приобретено 7 марта 2025 года - тогда и начались работы.
По грубым прикидкам, постройка Colossus 2 обошлась в 30-40 миллиардов долларов, львиная доля из которых пришлась на ускорители. Это больше, чем затраты на ITER на сегодняшний день.