Запускатель, управляемый клавиатурой, для локальных LLM и управления временем выполнения
Испытайте рабочий процесс с приоритетом клавиатуры с llml (LLM Launcher) от Flying Nobita, утилиты Windows, которая управляет локальными большими языковыми моделями и средами выполнения. Инструмент сканирует локальные файловые системы на наличие моделей GGUF и safetensors, обнаруживает среды выполнения, такие как llama.cpp, vLLM и Ollama, и сохраняет именованные параметры запуска в виде профилей TOML. С выполнением одной клавишей, постоянной строкой состояния и TUI, которая показывает полную команду перед запуском, он нацелен на разработчиков и исследователей, которым нужны повторяемые локальные запуски моделей.
Заменяет длинные флаги команд на именованные, многоразовые профили
llml автоматически обнаруживает файлы GGUF и директории safetensors в стиле Hugging Face и сопоставляет их с совместимыми средами выполнения, включая llama.cpp, vLLM, Ollama и KoboldCpp. Приложение сохраняет параметры запуска в виде именованных профилей TOML, так что сложные комбинации флагов становятся одной выбираемой конфигурацией. Этот подход устраняет необходимость искать в истории команд оболочки предыдущие команды и упрощает сохранение отдельных предустановок для скорости и качества.
Сохраняет контроль локально с компактным интерфейсом, управляемым с клавиатуры
Инструмент предоставляет интерфейс терминала, который находится между голым терминалом и браузерным интерфейсом, позволяя запускать команды одним нажатием клавиши R и обеспечивая постоянную строку состояния для фоновых задач, таких как предварительная загрузка Ollama. Он отображает полную сгенерированную команду перед выполнением, что помогает пользователям подтвердить параметры. Бинарный файл доступен на настольных платформах и устанавливается на Windows через Windows Package Manager, сохраняя контроль на локальной машине.
Поддерживает настраиваемые пути и переносимые, совместимые конфигурации
Для нестандартного хранения вы можете установить LLML_MODEL_PATHS или отредактировать config.toml, чтобы указать на пользовательские местоположения моделей, которые приложение затем сканирует. Профили используют переносимый формат TOML, так что оптимизированные настройки могут быть импортированы или поделены между машинами. Эта комбинация конфигурации переменных окружения и профилей в простом текстовом формате подходит разработчикам, исследователям и любителям, которым нужны воспроизводимые текстовые настройки развертывания без дополнительных уровней оркестрации.
Практичный, ориентированный на терминал вариант, который предпочитает повторяемость графическим инструментам
Приложение является практичным вариантом для разработчиков и исследователей, которые запускают локальные LLM и нуждаются в последовательных, повторяемых запусках; его именованные профили TOML и обнаружение времени выполнения сохраняют параметры явными. Основное предупреждение заключается в его ориентации на терминал, что может не соответствовать пользователям, ищущим полноценный графический интерфейс на базе браузера. Совет: установите LLML_MODEL_PATHS для нестандартных каталогов и сохраните профиль TOML перед запуском моделей, чтобы обеспечить воспроизводимые запуски.
Pros
Автоматическое обнаружение моделей GGUF и safetensors
Обнаруживает среды выполнения, такие как llama.cpp, vLLM и Ollama
Названные TOML профили для повторяемых конфигураций запуска
Запуск R одним нажатием с постоянным статусом и историей оповещений
Cons
Интерфейс на основе терминала может не подойти пользователям, ориентированным на графический интерфейс.
Полагается на локально установленные среды выполнения, облачный резерв не упоминается
Нестандартные пути модели требуют изменений в окружении или конфигурации
Законы, касающиеся использования этого программного обеспечения, варьируются от страны к стране. Мы не поощряем и не одобряем использование этой программы, если она нарушает эти законы. Softonic может получить реферальное вознаграждение, если вы перейдете по ссылке или купите и продукты, представленные здесь.
