Компания Tiiny AI представила мини-ПК AI Pocket Lab. Это очень компактное решение размером примерно со смартфон (только толще), которое уже попало в Книгу рекордов Гиннесса в категории The Smallest MiniPC (100B LLM Locally).
То есть это самый маленький компьютер, способный локально запустить большую языковую модель, насчитывающую 100 млрд параметров. А если точнее, то компания говорит о 120 млрд параметров.
Всех подробностей нет, но известно, что в основе новинки лежит 12-ядерный процессор на архитектуре Arm v9.2. Судя по всему, отдельно от процессора имеется также некая гетерогенная однокристальная система и дискретный NPU, которые в совокупности обеспечивают производительность в 190 TOPS.
Весьма внушительно, учитывая габариты, выглядят 80 ГБ памяти LPDDR5X. Также тут есть SSD объёмом 1 ТБ.
Облачный ИИ принес замечательный прогресс, но также создал зависимость, уязвимость и проблемы устойчивости. С помощью Tiiny AI Pocket Lab мы считаем, что интеллект должен принадлежать не центрам обработки данных, а людям. Это первый шаг к тому, чтобы сделать передовой ИИ по-настоящему доступным, конфиденциальным и персонализированным, перенеся возможности больших моделей из облака на каждое отдельное устройство
Система потребляет около 65 Вт, поэтому мини-ПК оснащён активной СО. Габариты составляют 142 х 80 х 25,3 мм при массе 300 г. данных о цене пока нет.