С повышением сложности систем возникают вопросы безопасности и юридической ответственности. Допустим, LLM что-то пообещала клиенту — мы должны выполнить это обязательство, ведь именно компания несет ответственность за свои инструменты.
Также возникают этические вопросы. Например, если LLM представляется клиенту как человек — это этично или нет? По современным нормам, которые в том числе разрабатывала наша группа, скорее, нет. Если общается робот — он должен честно в этом признаться.
С развитием технологий количество таких ограничений будет только расти. Нужно выстраивать защитные механизмы, системы фильтрации ответов и постоянно «дрессировать» модели, чтобы оставаться в рамках контролируемого развития. Но эти усилия оправданы: через 10 лет у каждого клиента может быть персональный менеджер, учитывающий его потребности, настроение и цели. Такой сервис из эксклюзивного станет массовым, и в страховании мы стремимся к созданию подобной незаметной, но точной системы, которая предлагает нужное решение в нужный момент.