Breaking! Nvidia выпустили открытую LLM Nemotron 4 340B! – По классике есть три варианта: Base, Instruct и Reward модель
– Дышит в спину GPT-4, а кое-где и обгоняет
– Обучена на 9Т токенов
– Приготовьтесь:
Instruct модель обучена на данных, 98% которых были синтетическими – 50+ языков, 40+ языков программирования
– Лицензия Apache 2.0 (
разрешает коммерческое использование)
– Reward модель сейчас #1 на RewardBench
Еще одна особенность модели – она
совсем не прожорливая, ей нужны всего-то две A100 и 1.3TB памяти. Nemotron предназначена в первую очередь для генерации синтетических данных для обучения LLM.
Плюсом ко всему, Nvidia выкатила еще и новый датасет человеческих предпочтений (для reward моделей) HelpSteer2. Ну просто песня
Все модели и датасет | тех.репорт
