Для металлургии разработали нейросеть
«Норникель», работающий в Красноярском крае, представил собственную доменную языковую модель для металлургии и горнодобывающей промышленности – MetalGPT-1. Это первый цифровой продукт в семействе больших языковых моделей компании с открытым исходным кодом.
«MetalGPT-1» в отличие от универсальных моделей, которые обучают на общих интернет-данных, с самого начала настроили на работу с профессиональной терминологией, аббревиатурами, сложными технологическими цепочками.
Так, модель, включающая 32 млрд параметров, обучалась на 10 гигабайтах профильных текстов по металлургии и горной добыче.
Уникальность инструмента в том, что обучение проводилось в том числе на более чем 1 млн документов, недоступных в открытых источниках, – технологических протоколах, внутренних регламентах, патентах, отчетах НИОКР, научно-технической литературе. Все данные прошли анонимизацию и многоступенчатую очистку, что позволило использовать отраслевые знания без раскрытия коммерческой тайны.
Вдобавок создано около 500 тыс. вопросно-ответных и инструктивных пар для решения реальных задач науки и производства.
Разработка продукта велась около года, начиная со сбора данных и заканчивая тонкой настройкой.
Итоговая MetalGPT-1 формирует единый языковой слой для разного рода инженерных, технологических, производственных и корпоративных задач. Тщательная разработка и комплексное обучение модели снизят уровень «галлюцинаций» и повысят качество решений, которые специалисты будут принимать на основе рекомендаций искусственного интеллекта. С использованием модели будут созданы персональные ИИ-ассистенты и автономные агенты, которые внедрятся в операционные процессы компании.
«Металлургия – один из самых сложных отраслевых доменов со своим языком процессов, аббревиатур и терминов. Универсальные модели, обученные на общем веб-корпусе, теряют точность на таком специализированном языке, а крупномасштабные модели требуют колоссальных вычислительных ресурсов. MetalGPT-1 меняет правила игры: это первая в мире доменная модель на 32 миллиарда параметров, специально оптимизированная под металлургию, – отмечает руководитель направления по развитию ИИ «Норникеля» Данил Ивашечкин. – На промышленном бенчмарке модель показывает лучший в отрасли уровень понимания металлургического языка при ресурсах, доступных для реального промышленного применения. Каждая компания теперь может адаптировать модель под свои задачи».
Модель и промышленный бенчмарк выложены на платформе Hugging Face для общего использования отраслевиками.