Что новый Пин Ап искусственного интеллекта нам готовит?

Современные технологии не стоят на месте - каждый день появляются новые устройства, улучшающие качество жизни. Так, на днях токийские исследователи представили новый чип-ускоритель Hiddenite, Пин Ап передовой точности расчёта скрытых разреженных нейросетей, тем самым сокращая вычислительные издержки. РассказываетТимур Фаизов, педагог по направлению «IT-моделирование»«Новых мест дополнительного образования».

- Традиционные ускорители DNN предлагают высокую производительность, но не Пин Ап мощность, потребляемую при доступе к внешней памяти.

По словам профессора Мотомура, сокращение обращений к внешней памяти - ключ к уменьшению потребления вычислительной мощности. Сегодня для достижения высокой точности выводов требуется больше нейронных сетей. Но они увеличивают количество обращений к внешней памяти, Пин Ап загрузить параметры, тогда как Hiddenite их сокращает.

Hiddenite - это тензорный движок вывода скрытых нейронных сетей и первый чип вывода HNN. Его архитектура позволяет достичь трёх преимуществ в эффективности. Веса генерируются и регенерируются при помощи генератора случайных чисел. Это Пин Ап обращения к внешней памяти и издержки на хранение весов.

Расширение супермаски прямо на кристалле сокращает количество загружаемых ускорителем супермасок из внешней памяти. Пин Ап параллельный процессор с высокой плотностью транзисторов, который доводит переиспользование (и, таким образом, эффективность) данных при вычислениях до максимума.

Первые два преимущества отличают чип Hiddenite от существующих ускорителей вывода DNN, Более того, разработчики ввели новый метод обучения скрытых нейросетей и назвали его «дистилляцией оценки», где общепринятая дистилляция знаний весов конвертируется в оценки, поскольку скрытая нейросеть никогда не обновляет веса. По словам профессора, точность этого подхода сравнима с точностью бинарной модели, Пин Ап размер в два раза меньше.

На основе технологии Пин Ап команда сконструировала и изготовила прототип чипа на ISMC при технологическом процессе 40 нм.

Чип Пин Ап всего 3×3 мм справляется с 4096 операциями умножения-сложения сразу. Он достигает передовой вычислительной эффективности, а это до 34,8 триллиона операций в секунду на ватт при размере, в два раза меньшем размера бинарных моделей.

Эти находки и успех демонстрации реального кремниевого чипа определённо изменят Пин Ап в миремашинного обучения, прокладывая путь к более быстрым, эффективным и, в Пин Ап счёте, экологичным вычислениям.