15 июня 2024
Вычислительную мощность нейросети можно оценочно описывать числом нейронных связей в ней (именно числом нейронных связей, а не числом нейронов). В области машинного обучения, число нейронных связей — это число тренируемых параметров нейросети.
По современным данным, в человеческом мозге 85 млрд нейронов, каждый из которых обладает 1’000…15’000 синаптическими связями.
Итого, связей в мозге оценочно: 85 млрд * 5000 ≈ 500’000’000’000’000 = 500’000 млрд
Будем считать, что это и есть число тренируемых параметров мозга.
Сети, способные распознавать чёрно-белые рукописные цифры (с достоверностью >90%) существуют примерно с 1980 годов. Сейчас традиционно эти цифры хранятся в изображениях размером 28x28 пикселей.
Примерное число параметров в сети, способной различать такие цифры: от 10’000 до 100’000 в зависимости от архитектуры.
Изображения, которые способна распознать рассматриваемая нейросеть
В 2012 году была создана важная для истории развития нейросетей — нейросеть AlexNet. Она способна классифицировать цветные изображения размером 227x227 пикселей на вплоть до 1000 разных классов (собака, кошка, машина и т.п.).
Число тренируемых параметров: 62 млн
Изображения, которые с
Современные модели, способные генерировать изображения из текста (такие как Stable Diffusion, DALL-E и др.) в зависимости от поколения содержат от 1 до 20 млрд тренируемых параметров.
Шаги генерации изображений из текста (первый шаг — 100% шум, последующие шаги этот шум уменьшают и приводят в осмысленное изображение)
Нейросеть ChatGPT развивалась в несколько поколений (сейчас самое актуальное — ChatGPT-4), и в каждом поколении использовалось большое число разных моделей (ada, davinci, gpt-turbo и т.п.). Но ориентироваться можно осреднённо не следующие цифры (по данным Википедии):
| Число тренируемых параметров | |
|---|---|
| ChatGPT-1 | 0.12 млрд |
| ChatGPT-2 | 1.5 млрд |
| ChatGPT-3 | от 0.4 млрд (ada) до 170 млрд (davinci) |
| ChatGPT-4 (2024+) | 1’700 млрд |
| Число нейронных связей | |
|---|---|
| Простейшие сети, способные распознавать чёрно-белые рукописные цифры размером 28x28 пикселей (например, сеть LeNet, 1998) | 10’000 .. 100’000 |
| AlexNet, 2012. Классифицирует цветные изображения размером 227x227 пикселей на вплоть до 1000 разных классов) | 62 млн = 0.062 млрд |
| Text-to-Image models (Stable Diffusion, DALL-E и др.) | 10 млрд (ориентировочно) |
| ChatGPT-3 | 100 млрд (ориентировочно) |
| ChatGPT-4, 2024+ | 1’700 млрд |
| Человеческий мозг | 500’000 млрд (нейронных связей) |
Итого, у одной из самых больших современных сетей (ChatGPT-4) число связей — около 0.3% от числа связей в человеческом мозге. ДУМАЙТЕ.