Нейросети, нейросети, нейросети…

Тема искусственного интеллекта, а конкретнее LLM (Large Language Model) — больших языковых моделей — чуть ли не самое обсуждаемая за последний год.

Редакция Onion Links намеренно обходила стороной обзоры на проекты типа ChatGPT по причине нулевой приватности и безопасности при их использовании. Однако, проект Jan призван закрыть потребности искушённого приватностью сообщества в локальном ИИ .

http://jan.ai

Jan — это проект с открытым исходным кодом, позволяющий полноценно запускать и использовать большие языковые модели локально на вашем устройстве. Да, полностью без доступа к интернету. К использованию предлагается свыше 20 текстовых моделей, обученных под разные задачи и на разных объёмах данных. Так, к примеру, можно загрузить модель TinyLlama объёмом всего 600МБ или целую Llama Chat весом в 40ГБ.

Разумеется, модели весом до 10 ГБ могут ничтожно мало — у них крайне ограничен кругозор, а многие из них говорят по-русски с ужасным акцентом (настолько ужасным, что акцент передаётся через текст). Однако, модели по-мощнее определённо могут больше и уже вытянут какое-никакое саммари или помощь с лёгким программированием/вычислением.

Огромное спасибо разработчику хочется выразить за список поддерживаемых железок — здесь и Windows, и Linux, и MacOS, и даже поддержка множества графических процессоров Nvidia (если вдруг захотите по-максимуму загрузить вашу локальную модель).

ИМХО: Говорить о пользе подобных решений пока рано, но определённо радует, что индустрия ИИ движется не в отрыве от open-source сообщества.