Платформа с открытым исходным кодом для наблюдения за приложениями машинного обучения, созданная для инженеров
Документация - Попробуйте - Сообщество поддержки - Отчет об ошибке - Запрос функции
UpTrain это инструмент с открытым исходным кодом и защитой данных, с помощью которого специалисты по машинному обучению могут наблюдать и совершенствовать свои модели машинного обучения, отслеживая их производительность, проверяя сдвиги в распределении (данных) и собирая крайние случаи для их повторного обучения. Он легко интегрируется с вашими существующими производственными конвейерами, и его запуск занимает несколько минут ⚡.
- Проверка дрейфа данных - Определите сдвиги распределения во входных данных вашей модели.
- Мониторинг производительности - Отслеживайте производительность своих моделей в режиме реального времени и получайте оповещения о снижении производительности.
- Поддержка вложений - Специализированные информационные панели для понимания встраивания на основе модели.
- Сигналы пограничного случая - Определяемые пользователем сигналы и статистические методы для обнаружения точек данных вне распределения.
- Проверка целостности данных - Проверяет наличие отсутствующих или противоречивых данных, дубликатов записей, качества данных и т. д.
- Настраиваемые показатели - Определите пользовательские показатели, которые имеют смысл для вашего варианта использования.
- Автоматизированное переобучение - Автоматизируйте переобучение модели, подключив конвейеры обучения и логического вывода.
- Смещение модели - Отслеживайте предвзятость в прогнозах вашей модели машинного обучения.
- Объяснимость ИИ - Понимание относительной важности нескольких функций для прогнозов.
- Безопасность данных - Ваши данные никогда не выходят из вашей машины.
- Slack интеграция - Получайте оповещения в Slack.
- Панели мониторинга в реальном времени - Чтобы визуализировать здоровье вашей модели вживую.
- Сдвиг метки - Определите дрейфы в ваших прогнозах. Особенно полезно в тех случаях, когда наземная правда недоступна.
- Доверительный интервал модели - Доверительные интервалы для прогнозов модели
- Усовершенствованные методы обнаружения дрейфа - Методы обнаружения дрейфа на основе выбросов
- Нарезка расширенных функций - Возможность нарезки статистических свойств
- Тест Колмогорова-Смирнова - Для обнаружения сдвигов распределения
- Прогноз Стабильность - Отфильтруйте случаи, когда прогноз модели нестабилен.
- Состязательные проверки - Борьба с вражескими атаками
И более.
Вы можете быстро начать работу с Google Colab здесь.
Чтобы запустить его на своем компьютере, выполните следующие действия:
pip install uptrain
git clone git@github.com:uptrain-ai/uptrain.git
cd uptrain/examples
pip install jupyterlab
jupyter lab
Для быстрого ознакомления с тем, как работает UpTrain, ознакомьтесь с нашим краткое руководство.
UpTrain in действие🎬
Одним из наиболее распространенных вариантов использования ML сегодня являются языковые модели, будь то суммирование текста, NER, чат-боты, языковой перевод и т. д. UpTrain предоставляет способы визуализации различий в обучающих и реальных данных с помощью кластеризации UMAP встраивания текста (выведено из BERT). Ниже приведены некоторые повторы с панели управления UpTrain.
Модели машинного обучения (ML) широко используются для принятия важных бизнес-решений. Тем не менее, ни одна модель машинного обучения не является точной на 100%, и, кроме того, их точность со временем ухудшается 😣. Например, прогноз продаж со временем становится неточным из-за изменения покупательских привычек потребителей. Кроме того, из-за того, что модели машинного обучения представляют собой «черный ящик», выявить и устранить их проблемы сложно.
UpTrain решает эту проблему. Мы облегчаем специалистам по данным и инженерам машинного обучения понимание того, где их модели работают не так, и помогаем им исправить их до того, как другие пожалуются 🗣️.
UpTrain можно использовать для самых разных моделей машинного обучения, таких как LLM, модели рекомендаций, модели прогнозирования, модели компьютерного зрения и т. д.
Мы постоянно работаем над тем, чтобы сделать UpTrain лучше. Хотите новую функцию или нужны какие-либо интеграции? Не стесняйся создать проблему или способствовать прямо в репозиторий.
Этот репозиторий опубликован под лицензией Apache 2.0. В настоящее время мы сосредоточены на разработке некорпоративных предложений, которые должны охватывать большинство вариантов использования за счет добавления дополнительных функций и расширения на большее количество моделей. Мы также работаем над добавлением размещенного предложения — связаться с нами если ты заинтересован.
Мы постоянно добавляем множество функций и вариантов использования. Пожалуйста, поддержите нас, поставив звезду проекту ⭐!
Мы строим UpTrain публично. Помогите нам стать лучше, оставив свой отзыв здесь.
Мы приветствуем вклад в UpTrain. Пожалуйста, смотрите наш руководство по взносам для деталей.