Российские ученые разработали программу поиска «правильного» оператора для нейросети

Доверие к искусственному интеллекту: как найти баланс между безопасностью и экономией

 В условиях, когда искусственный интеллект (ИИ) все активнее используется в промышленности, особенно на объектах повышенной опасности, крайне важно понимать, как люди взаимодействуют с этими новыми технологиями. Профессор кафедры психологии Государственного университета «Дубна» Александр Венгер и профессор МФТИ Виктор Дозорцев   занялись исследованием этой важной темы. Результаты их работы опубликованы в международном журнале Mathematics.

 Сегодня ИИ способен выявлять ситуации, потенциально угрожающие аварией на производстве. Обнаружив такую угрозу, система предлагает оператору предпринять определенные действия, например, изменить режим технологического процесса или даже остановить его. Несмотря на риски, полная остановка производства влечет за собой серьезные экономические потери. При этом предсказания ИИ не могут быть абсолютно точными, и решение о дальнейших действиях всегда остается за человеком. 

 Как найти баланс между необходимостью предотвратить аварию и стремлением избежать неоправданных экономических потерь? На этот вопрос попытались ответить ученые.

Они разработали математическую модель, которая поможет оператору принимать решения на основе рекомендаций ИИ. В эту модель «заложен» баланс между безопасностью, потенциальной экономической эффективностью, а также  индивидуально-психологических особенностей оператора.

Разработчики данной модели учитывали ситуации, где  цена ошибки  несоизмеримо высока. Речь идет о производствах повышенной опасности, таких как атомные электростанции, где неверно принятое решение может привести к катастрофическим последствиям. 

Ученые выделили  два ключевых фактора, влияющих на  степень доверия оператора к  аварийным предупреждениям ИИ:

Первый – «Опасливость оператора». Эта характеристика отражает  индивидуальный уровень его терпимости к риску. Чем  «опасливее» оператор, тем меньшую  вероятность аварии он считает допустимой.

Второй фактор – «Склонность к сомнениям». Эта характеристика  определяет,   насколько  высокой  должна быть  надежность  информации,  чтобы оператор принял решение на ее основе.  Чем  выше «склонность к сомнениям», тем больше  времени  оператор будет тратить на  сбор  и проверку  данных. 

Обе  характеристики  имеют  как  положительные, так  и  отрицательные стороны.   Например,  чрезмерно  «опасливый» оператор   может  быть склонен  к  необоснованным остановкам  производства, что приведет к большим экономическим  потерям.   А  оператор  с   низкой «склонностью к сомнениям»  рискует  принять  ошибочное решение, основываясь  на   непроверенной  информации.

В будущем разработчики  планируют  создать специальные тренажеры, моделирующие  реальные  производственные  процессы,  для выявления  индивидуальных  стратегий  операторов. Это позволит проводить более эффективный  профотбор  персонала для объектов  повышенной опасности.  Кроме того,  на основе полученных данных  можно  будет разработать  специальные  программы  обучения,  направленные  на  формирование  у  операторов   навыков   принятия  оптимальных  решений  в  условиях   высокой  ответственности.

 Исследование  команды Венгера уже легло в основу исследования для   подготовки кадров для атомной отрасли.

Источник: www.mk.ru