NVIDIA представляет Chat with RTX, технологическую демонстрацию, которая позволяет пользователям персонализировать чат-бота с помощью собственного контента, ускоренного локальным графическим процессором NVIDIA GeForce RTX серии 30 или выше с не менее 8 ГБ видеопамяти с произвольным доступом или VRAM. Чат с RTX использует генерацию с расширенным поиском (RAG), программное обеспечение NVIDIA TensorRT-LLM и ускорение NVIDIA RTX для реализации возможностей генеративного искусственного интеллекта на локальных ПК с ОС Windows под управлением GeForce. Пользователи могут быстро и легко подключать локальные файлы на ПК в виде набора данных к большой языковой модели с открытым исходным кодом, такой как Mistral или Llama 2, позволяя выполнять запросы для получения быстрых, контекстуально релевантных ответов.
Вместо поиска по заметкам или сохраненному контенту пользователи могут просто вводить запросы. Например, можно спросить: «Какой ресторан порекомендовал мой партнер, когда он был в Лас-Вегасе?» а Chat с RTX просканирует локальные файлы, на которые указывает пользователь, и предоставит ответ с контекстом.
Инструмент поддерживает различные форматы файлов, включая .txt, .pdf, .doc/.docx и .xml. Укажите приложению папку, содержащую эти файлы, и инструмент за считанные секунды загрузит их в свою библиотеку.
Пользователи также могут включать информацию из видео и плейлистов YouTube. Добавление URL-адреса видео в Chat с RTX позволяет пользователям интегрировать эти знания в своего чат-бота для контекстных запросов. Например, попросите рекомендации для путешествий на основе контента из любимых видеороликов влиятельных лиц или получите краткие руководства и инструкции на основе лучших образовательных ресурсов.
Поскольку Chat с RTX работает локально на ПК и рабочих станциях с Windows RTX, результаты предоставляются быстро, а данные пользователя остаются на устройстве. Вместо того, чтобы полагаться на облачные сервисы LLM, Chat with RTX позволяет пользователям обрабатывать конфиденциальные данные на локальном ПК без необходимости передавать их третьим лицам или подключаться к Интернету.
В дополнение к графическому процессору серии GeForce RTX 30 или выше с минимум 8 ГБ видеопамяти для Chat with RTX требуется Windows 10 или 11 и новейшие драйверы графического процессора NVIDIA. Узнать больше о Чат с RTX.
