У NVIDIA есть недавно представленный революционный чат-бот с искусственным интеллектом Chat with RTX. Он предназначен для локального запуска на ПК с ОС Windows, оснащенных графическими процессорами NVIDIA RTX 30 или 40-й серии. Этот инновационный инструмент позволяет пользователям персонализировать чат-бот с помощью своего контента. Он хранит конфиденциальные данные на своих устройствах и устраняет необходимость в облачных сервисах. Чат-бот «Чат с RTX» спроектирован как локализованная система, которую пользователи могут использовать без доступа к Интернету. Все графические процессоры GeForce RTX 30 и 40 с объемом видеопамяти не менее 8 ГБ поддерживают приложение.
Чат с RTX поддерживает несколько форматов файлов, включая текст, PDF, doc/docx и XML.. Просто укажите приложению папку, содержащую файлы, и оно за считанные секунды загрузит их в библиотеку. Кроме того, пользователи могут указать URL-адрес плейлиста YouTube, и приложение загрузит расшифровки видео в плейлисте. Это позволяет пользователю запрашивать контент, который он охватывает.
Судя по официальному описанию, пользователи могут использовать Chat With RTX так же, как и ChatGPT через разные запросы. Однако, сгенерированные результаты будут полностью основаны на конкретных наборах данных. Кажется, это больше подходит для таких операций, как создание сводок и быстрый поиск документов.
Наличие графического процессора RTX с поддержкой TensorRT-LLM означает, что пользователи будут работать со всеми данными и проектами локально. Таким образом, у пользователей не будет необходимости сохранять свои данные в облаке. Это сэкономит время и обеспечит более точные результаты. Nvidia заявила, что TensorRT-LLM v0.6.0 улучшит производительность в 5 раз и будет выпущена позднее в этом месяце. Кроме того, он будет поддерживать другие LLM, такие как Mistral 7B и Nemotron 3 8B.
Новости недели
[embed]https://www.youtube.com/watch?v=Hx0DOeKmnFM[/embed]
Ключевые особенности чата с RTX
- Локальная обработка: чат с RTX работает локально на ПК и рабочих станциях с Windows RTX, обеспечивая быстрые ответы и сохраняя конфиденциальность пользовательских данных.
- Персонализация: пользователи могут настраивать чат-бота со своим контентом, включая текстовые файлы, PDF-файлы, DOC/DOCX, XML и видео YouTube.
- Поисково-дополненная генерация (RAG). Чат-бот использует RAG, программное обеспечение NVIDIA TensorRT-LLM и ускорение NVIDIA RTX для генерации контента и предоставления контекстуально релевантных ответов.
- Модели большого языка с открытым исходным кодом (LLM): пользователи могут выбирать из двух LLM с открытым исходным кодом, Mistral или Llama 2, для обучения своего чат-бота.
- Удобство для разработчиков: Чат с RTX создан на основе справочного проекта для разработчиков TensorRT-LLM RAG, доступного на GitHub, что позволяет разработчикам создавать свои приложения на основе RAG.
Требования и ограничения
- Требования к оборудованию: для общения с RTX требуется графический процессор NVIDIA GeForce RTX серии 30 или выше с не менее 8 ГБ видеопамяти, Windows 10 или 11 и новейшие драйверы графического процессора NVIDIA.
- Размер: размер чат-бота составляет 35 ГБ, а экземпляр Python занимает около 3 ГБ ОЗУ.
- Чат-бот находится на ранней стадии демо-версии для разработчиков, поэтому у него все еще ограниченная контекстная память и неточное указание источника.
Приложения и преимущества
- Исследование данных: Чат с RTX может стать ценным инструментом для исследования данных, особенно для журналистов или тех, кому необходимо проанализировать коллекцию документов.
- Конфиденциальность и безопасность: ограничивая данные и ответы локальной средой пользователя, можно значительно снизить риск раскрытия конфиденциальной информации извне.
- Образование и обучение**: в чате RTX можно получить краткие руководства и инструкции на основе лучших образовательных ресурсов.
Заключение
Чат с RTX — это захватывающая разработка в мире искусственного интеллекта, предлагающая локально управляемый персонализированный чат-бот, который может повысить производительность труда, одновременно снижая проблемы конфиденциальности. Будучи ранней демо-версией для разработчиков, она все еще имеет некоторые ограничения, но она показывает потенциал ускорения LLM с помощью графических процессоров RTX и перспективы того, что в будущем чат-бот с искусственным интеллектом сможет делать локально на вашем ПК. Что вы думаете об этой новой функции? Дайте нам знать ваши мысли в разделе комментариев ниже
Отказ от ответственности: Мы можем получать вознаграждение от некоторых компаний, о продуктах которых мы говорим, но наши статьи и обзоры всегда являются нашим честным мнением. Для получения более подробной информации вы можете ознакомиться с нашими редакционными правилами и узнать, как мы используем партнерские ссылки.
(function(d, s, id) {
var js, fjs = d.getElementsByTagName(s)[0];
if (d.getElementById(id)) return;
js = d.createElement(s);
js.id = id;
js.src="https://connect.facebook.net/en_US/sdk.js#xfbml=1&version=v3.2&appId=1623298447970991&autoLogAppEvents=1";
fjs.parentNode.insertBefore(js, fjs);
}(document, 'script', 'facebook-jssdk'));
У NVIDIA есть недавно представленный революционный чат-бот с искусственным интеллектом Chat with RTX. Он предназначен для локального запуска на ПК с ОС Windows, оснащенных графическими процессорами NVIDIA RTX 30 или 40-й серии. Этот инновационный инструмент позволяет пользователям персонализировать чат-бот с помощью своего контента. Он хранит конфиденциальные данные на своих устройствах и устраняет необходимость в облачных сервисах. Чат-бот «Чат с RTX» спроектирован как локализованная система, которую пользователи могут использовать без доступа к Интернету. Все графические процессоры GeForce RTX 30 и 40 с объемом видеопамяти не менее 8 ГБ поддерживают приложение.
Чат с RTX поддерживает несколько форматов файлов, включая текст, PDF, doc/docx и XML.. Просто укажите приложению папку, содержащую файлы, и оно за считанные секунды загрузит их в библиотеку. Кроме того, пользователи могут указать URL-адрес плейлиста YouTube, и приложение загрузит расшифровки видео в плейлисте. Это позволяет пользователю запрашивать контент, который он охватывает.
Судя по официальному описанию, пользователи могут использовать Chat With RTX так же, как и ChatGPT через разные запросы. Однако, сгенерированные результаты будут полностью основаны на конкретных наборах данных. Кажется, это больше подходит для таких операций, как создание сводок и быстрый поиск документов.
Наличие графического процессора RTX с поддержкой TensorRT-LLM означает, что пользователи будут работать со всеми данными и проектами локально. Таким образом, у пользователей не будет необходимости сохранять свои данные в облаке. Это сэкономит время и обеспечит более точные результаты. Nvidia заявила, что TensorRT-LLM v0.6.0 улучшит производительность в 5 раз и будет выпущена позднее в этом месяце. Кроме того, он будет поддерживать другие LLM, такие как Mistral 7B и Nemotron 3 8B.
Новости недели
[embed]https://www.youtube.com/watch?v=Hx0DOeKmnFM[/embed]Ключевые особенности чата с RTX
- Локальная обработка: чат с RTX работает локально на ПК и рабочих станциях с Windows RTX, обеспечивая быстрые ответы и сохраняя конфиденциальность пользовательских данных.
- Персонализация: пользователи могут настраивать чат-бота со своим контентом, включая текстовые файлы, PDF-файлы, DOC/DOCX, XML и видео YouTube.
- Поисково-дополненная генерация (RAG). Чат-бот использует RAG, программное обеспечение NVIDIA TensorRT-LLM и ускорение NVIDIA RTX для генерации контента и предоставления контекстуально релевантных ответов.
- Модели большого языка с открытым исходным кодом (LLM): пользователи могут выбирать из двух LLM с открытым исходным кодом, Mistral или Llama 2, для обучения своего чат-бота.
- Удобство для разработчиков: Чат с RTX создан на основе справочного проекта для разработчиков TensorRT-LLM RAG, доступного на GitHub, что позволяет разработчикам создавать свои приложения на основе RAG.
Требования и ограничения
- Требования к оборудованию: для общения с RTX требуется графический процессор NVIDIA GeForce RTX серии 30 или выше с не менее 8 ГБ видеопамяти, Windows 10 или 11 и новейшие драйверы графического процессора NVIDIA.
- Размер: размер чат-бота составляет 35 ГБ, а экземпляр Python занимает около 3 ГБ ОЗУ.
- Чат-бот находится на ранней стадии демо-версии для разработчиков, поэтому у него все еще ограниченная контекстная память и неточное указание источника.
Приложения и преимущества
- Исследование данных: Чат с RTX может стать ценным инструментом для исследования данных, особенно для журналистов или тех, кому необходимо проанализировать коллекцию документов.
- Конфиденциальность и безопасность: ограничивая данные и ответы локальной средой пользователя, можно значительно снизить риск раскрытия конфиденциальной информации извне.
- Образование и обучение**: в чате RTX можно получить краткие руководства и инструкции на основе лучших образовательных ресурсов.
Заключение
Чат с RTX — это захватывающая разработка в мире искусственного интеллекта, предлагающая локально управляемый персонализированный чат-бот, который может повысить производительность труда, одновременно снижая проблемы конфиденциальности. Будучи ранней демо-версией для разработчиков, она все еще имеет некоторые ограничения, но она показывает потенциал ускорения LLM с помощью графических процессоров RTX и перспективы того, что в будущем чат-бот с искусственным интеллектом сможет делать локально на вашем ПК. Что вы думаете об этой новой функции? Дайте нам знать ваши мысли в разделе комментариев ниже
