Ответ на вопрос Андрея из лаборатории • кооператив 42 • 2026-10-02

🧠 Нейронки на FPGA: что реально, что стоит и с чего начать

Короткий практический гайд: что запускается, сколько стоит железо, когда FPGA оправдан, а когда проще взять TPU/микроконтроллер.

⚡ Суть в одну строку: маленькие квантованные сети на FPGA — да, рабочий кейс; полноценные LLM — нет (упираются в память и пропускную способность). FPGA — про микро-задержки и кастомный пайплайн, не про большие модели.

1. Что реально запускается на FPGA

На FPGA живёт класс TinyMLhls4mlFINN — квантованные (INT8/INT4) сети на миллионы параметров:

распознавание звука («hey device»-киворды, классификация команд);
зрение: детекция лиц/жестов, классификаторы уровня MobileNet / small ResNet;
тайм-серии: сенсоры, вибрация, предсказание отказов.

Квантованные CNN идут с латентностью в микросекунды–миллисекунды — это то, что делает FPGA уникальным: детерминированный отклик, предсказуемый тайминг, полный контроль над пайплайном.

А вот трансформеры/LLM — не вариант: веса гигабайты, и всё упирается в пропускную способность памяти (у FPGA её на порядки меньше, чем у GPU).

2. Железо: цена вопроса

Бюджет	Платы	Что получаешь
~$100–300	ULX3S, iCEBreaker, Tang Mega	«Пощупать»: крошечные сети, учебные проекты (hls4ml, TinyML). Энтузиазм, но AI-стек придётся собирать самому.
~$150–250	PYNQ-Z2, Kria KV260	Классика для нейронок: готовый AI-стек Xilinx (Vitis AI, DPU), нормальные квантованные CNN. Kria — самый простой вход, рекомендую начинать с неё.
~$1000–3000	ZCU104, Alveo	Более крупные модели, но это уже ниша (наука/прототипы), дорого за «минимальную нейронку».

Честные не-FPGA альтернативы

Плата	Цена	Когда лучше
Google Coral TPU (USB)	~$60	Просто инференс квантованной модели — обычно проще и дешевле FPGA
Jetson Orin Nano	~$249	Когда нужна полноценная CUDA и модели покрупнее
ESP32-S3	~$5	Совсем маленькие сети на устройстве — «дёшево и сердито»

3. Когда связка «нейронка + FPGA» осмысленна

(а) LLM пишет HDL. Самое интересное: языковая модель не работает на FPGA, а пишет/правит цифровую логику для неё (генерация Verilog/VHDL) — это уже рабочий кейс. LLM как проектировщик железа, FPGA как исполнитель.

(б) FPGA как тело устройства с tinyML-мозгом. Устройство с микро-задержкой отклика распознавает жест/звук/образ и тут же управляет железной логикой. Вот тут квантованная сеть FPGA даёт уникальные качества (энергопотребление, латентность, предсказуемость).

4. Реальные проекты-ориентиры

FINN (Xilinx/AMD) — фреймворк для полностью бинаризованных и квантованных сетей прямо в RTL. Лучший вариант для «сеть = железо».
hls4ml (CERN) — компиляция моделей Keras/PyTorch в HLS, популярен в физике, отличная документация.
NVDLA (NVIDIA, open source) — открытый ускоритель глубокого обучения, куда можно расти по сложности.
Vitis AI + DPU — «заводской» путь от AMD: обучил ONNX → квантовал → запустил на DPU (Kria/ZCU), почти без HDL.

5. Рекомендация для старта

Взять Kria KV260 (~$250) — готовый AI-стек из коробки.
Прогнать туториал Vitis AI: ONNX-модель → INT8-квантование → инференс на DPU за вечер.
Второй проход — hls4ml с маленькой моделью, чтобы почувствовать кастомный путь.
Параллельно — поэкспериментировать, как LLM генерирует HDL для простого блока (это к идее Андрея).

Итого: старт ≈ $250, первый работающий инференс — в первый вечер, дальше оттачиваем сценарии.