Google представила восьмое поколение тензорных процессоров TPU, сообщает The Wall Street Journal. Впервые в истории компания разделила их на два отдельных чипа: один для обучения моделей ИИ, другой — для непосредственной работы с запросами пользователей и ИИ-агентов (инференса). Анонс состоялся на мероприятии компании в Лас-Вегасе.
Чип TPU 8t предназначен для обучения ИИ-моделей и масштабируется до 9600 процессоров в одном суперкластере — это вдвое больше межчиповой пропускной способности по сравнению с предыдущим поколением Ironwood. Чип TPU 8i создан для инференса и рассчитан на параллельную работу с миллионами ИИ-агентов. Он масштабируется до 1152 процессоров в одном кластере. По словам главы облачного подразделения Google Томаса Куриана, инференс в перспективе станет таким же крупным рынком, как обучение моделей, а возможно, и превзойдет его.
Новый чип TPU 8i содержит 384 мегабайта статической памяти (SRAM) — втрое больше, чем в Ironwood. Такая архитектура призвана обеспечить высокую пропускную способность и минимальные задержки при одновременной работе с миллионами агентов. Одиночный запрос к ИИ-агенту генерирует в 20–50 раз больше транзакций инференса, чем обычный запрос к чат-боту, поскольку агент самостоятельно выполняет множество действий, а не просто формирует ответ.
Производительность TPU 8t в расчете на цену почти втрое превосходит Ironwood, а TPU 8i показывает на 80% лучшее соотношение производительности и стоимости по сравнению с предшественником. Google разрабатывает TPU совместно с Broadcom, их партнерство длится уже более десяти лет. На этой неделе компании также объявили о расширении сотрудничества в целях создания чипов для компании Anthropic.
Отмечается, что этот анонс обостряет конкуренцию с Nvidia — нынешним лидером рынка ИИ-чипов. В марте Nvidia представила собственное решение для инференса на основе технологии, полученной в рамках сделки со стартапом Groq стоимостью $20 млрд. Среди других конкурентов — стартап Cerebras, который недавно заключил крупный контракт с Amazon Web Services и подал заявку на IPO.
Оба новых чипа Google поступят в продажу позднее в этом году. Anthropic уже взяла на себя обязательства использовать TPU суммарной мощностью в несколько гигаватт.
Ранее сообщалось, что Nvidia стала первой компанией в истории с капитализацией свыше $5 трлн на фоне глобального бума нейросетевых технологий и ожиданий заказов на ИИ-чипы на $500 млрд.
