✔IBM разработала энергоэффективный аналоговый процессор для ИИ - «Новости сети»

25 августа 2023 152 Новости / Новости мира Интернет 0

Источник изображения: ColiN00B / Pixabay

Большие языковые модели, стоящие за такими технологиями, как ChatGPT, невероятно сложны. Они содержат миллиарды вычислительных узлов и требуют множества соединений между ними. Это приводит к множественным обращениям к памяти и высокому энергопотреблению.

Один из способов решения этой проблемы — комбинирование памяти и блоков обработки данных. IBM и Intel уже разработали чипы, в которых каждому нейрону предоставляется необходимая память для выполнения своих функций. Альтернативой такому подходу является выполнение операций прямо в памяти, что было продемонстрировано с использованием фазово-изменяемой памяти (phase-change memory).

IBM продемонстрировала новый чип на основе фазово-изменяемой памяти, который ближе к функциональному процессору ИИ. В статье, опубликованной в Nature, компания показала, что её аппаратное обеспечение может выполнять распознавание речи с приемлемой точностью и значительно меньшим энергопотреблением.

Фазово-изменяемая память находится в разработке уже довольно долго. Она сочетает в себе долговечность флеш-памяти и производительность, сравнимую с существующей оперативной памятью. Эта память работает на основе нагрева небольшого участка материала и контроля скорости его охлаждения.

Такое поведение оказалось идеальным для нейронных сетей. В нейронных сетях каждый узел получает входной сигнал и, основываясь на своём состоянии, определяет, сколько этого сигнала передать дальше. Благодаря свойствам фазово-изменяемой памяти, эту силу можно представить в виде отдельного бита памяти, работающего в аналоговом режиме.

Когда мы сохраняем информацию, она использует два основных состояния — включено и выключено. Эти состояния созданы таким образом, чтобы минимизировать ошибки при сохранении данных. Однако интересно то, что мы можем настроить эту память так, чтобы она принимала любое промежуточное значение между «включено» и «выключено», создавая аналоговое поведение.

Это похоже на регулировку громкости музыки — от низкой до высокой, где каждый уровень громкости представляет собой плавный градиент потенциальных значений. Таким образом, мы можем использовать эти промежуточные значения для отображения разной «силы» или важности связей в нейронных сетях.

IBM уже демонстрировала эффективность этого подхода. Однако описанный чип гораздо ближе к функциональному процессору. Он содержит всю необходимую начинку для соединения отдельных узлов и работает на масштабе, приближенном к большим языковым моделям.

Основным компонентом нового чипа является так называемая плитка — это массив крестовин (представьте себе квадратную сетку) из отдельных битов фазово-изменяемой памяти размером 512 на 2 048 единиц. Каждый чип содержит 34 таких плитки, что равно примерно 35 млн бит фазово-изменяемой памяти.

Гибкость работы процессора позволяет контролировать силу любого соединения переменным числом битов. Кроме того, возможна коммуникация между чипами, что позволяет разделять большие задачи между несколькими чипами.

Для демонстрации работы исследователи использовали процессор для распознавания речи. В результате он смог выполнить 12,4 трлн операций на каждый ватт потребляемой мощности на пике своей производительности. Это во много раз меньше, чем потребляемая мощность традиционного процессора для выполнения эквивалентных операций.

Однако стоит отметить, что он оптимизирован для работы только с определённым типом нейронных сетей. Также он не очень подходит для обучения ИИ, и процесс обучения нейронной сети должен быть адаптирован под этот процессор. Несмотря на то, что этот процессор не является универсальным для ИИ, он предлагает значительное снижение энергопотребления.

IBM создала процессор для ИИ на аналоговой основе с низким энергопотреблением. Этот прорыв может решить проблему высокого энергопотребления, характерную для больших языковых моделей, таких как ChatGPT. Источник изображения: ColiN00B / Pixabay Большие языковые модели, стоящие за такими технологиями, как ChatGPT, невероятно сложны. Они содержат миллиарды вычислительных узлов и требуют множества соединений между ними. Это приводит к множественным обращениям к памяти и высокому энергопотреблению. Один из способов решения этой проблемы — комбинирование памяти и блоков обработки данных. IBM и Intel уже разработали чипы, в которых каждому нейрону предоставляется необходимая память для выполнения своих функций. Альтернативой такому подходу является выполнение операций прямо в памяти, что было продемонстрировано с использованием фазово-изменяемой памяти (phase-change memory). IBM продемонстрировала новый чип на основе фазово-изменяемой памяти, который ближе к функциональному процессору ИИ. В статье, опубликованной в Nature, компания показала, что её аппаратное обеспечение может выполнять распознавание речи с приемлемой точностью и значительно меньшим энергопотреблением. Фазово-изменяемая память находится в разработке уже довольно долго. Она сочетает в себе долговечность флеш-памяти и производительность, сравнимую с существующей оперативной памятью. Эта память работает на основе нагрева небольшого участка материала и контроля скорости его охлаждения. Такое поведение оказалось идеальным для нейронных сетей. В нейронных сетях каждый узел получает входной сигнал и, основываясь на своём состоянии, определяет, сколько этого сигнала передать дальше. Благодаря свойствам фазово-изменяемой памяти, эту силу можно представить в виде отдельного бита памяти, работающего в аналоговом режиме. Когда мы сохраняем информацию, она использует два основных состояния — включено и выключено. Эти состояния созданы таким образом, чтобы минимизировать ошибки при сохранении данных. Однако интересно то, что мы можем настроить эту память так, чтобы она принимала любое промежуточное значение между «включено» и «выключено», создавая аналоговое поведение. Это похоже на регулировку громкости музыки — от низкой до высокой, где каждый уровень громкости представляет собой плавный градиент потенциальных значений. Таким образом, мы можем использовать эти промежуточные значения для отображения разной «силы» или важности связей в нейронных сетях. IBM уже демонстрировала эффективность этого подхода. Однако описанный чип гораздо ближе к функциональному процессору. Он содержит всю необходимую начинку для соединения отдельных узлов и работает на масштабе, приближенном к большим языковым моделям. Основным компонентом нового чипа является так называемая плитка — это массив крестовин (представьте себе квадратную сетку) из отдельных битов фазово-изменяемой памяти размером 512 на 2 048 единиц. Каждый чип содержит 34 таких плитки, что равно примерно 35 млн бит фазово-изменяемой памяти. Гибкость работы процессора позволяет контролировать силу любого соединения переменным числом битов. Кроме того, возможна коммуникация между чипами, что позволяет разделять большие задачи между несколькими чипами. Для демонстрации работы исследователи использовали процессор для распознавания речи. В результате он смог выполнить 12,4 трлн операций на каждый ватт потребляемой мощности на пике своей производительности. Это во много раз меньше, чем потребляемая мощность традиционного процессора для выполнения эквивалентных операций. Однако стоит отметить, что он оптимизирован для работы только с определённым типом нейронных сетей. Также он не очень подходит для обучения ИИ, и процесс обучения нейронной сети должен быть адаптирован под этот процессор. Несмотря на то, что этот процессор не является универсальным для ИИ, он предлагает значительное снижение энергопотребления.