Искусственный интеллект: нельзя недооценить опасность

«Для ученых все ясно: не изобретай лишних сущностей без самой крайней необходимости. Но мы-то с тобой не ученые. Ошибка ученого – это, в конечном счете, его личное дело. А мы ошибаться не должны. Нам разрешается прослыть невеждами, мистиками, суеверными дураками. Нам одного не простят: если мы недооценили опасность».

А. и Б. Стругацкие «Жук в муравейнике»

 В Европе и мире ведущие создатели программного обеспечения для развития искусственного интеллекта уже задумываются о том, в какой части его нужно контролировать, а в какой – запретить. ИИ оказался уже способен к самообучению, научился обманывать и создавать сфальсифицированные данные и объекты. Он оказался не так мил и безопасен, как хотелось бы многим его сторонникам и апологетам. В альма-матер ИИ –  США – ведущие IT-компании уже заявляют о необходимости запрета разработки отдельных направлений ИИ, а в Евросоюзе согласовали первый в мире закон, регулирующий сферу искусственного интеллекта. В Европарламенте считают, что закон может стать мировым стандартом регулирования ИИ в других юрисдикциях. Документ предусматривает разделение всех использующих ИИ систем по уровню риска — от низкого до неприемлемого. И это уже не безобидные картинки, а вмешательство в личное пространство человека, включая сбор биометрических данных в публичных местах.

В России же камеры слежения для сбора биометрии размножаются со скоростью просто непристойной, при этом собранная по ним биометрия уже представляет реальную угрозу для жизни и здоровья россиян. Так, «благодаря» камерам и ИИ почти год провел в СИЗО российский ученый, которого ИИ «опознал» как участника убийства многолетней давности. И хотя совпадение биометрии было всего 55%, человек был арестован и содержался в СИЗО при 100% алиби. И только 12 декабря с.г. он был освобожден из-за отсутствия доказательств. То есть полиция приняла на веру и сочла доказанным противоречивые данные, полученные от искусственного интеллекта, и не поверила не только самому «подозреваемому», но и его коллегам, представившим доказательства невозможности такого обвинения.  Так что регламенты по работе с ИИ нужны не только восторженным дизайнерам, но и замученным отчетностью по раскрываемости преступлений полицейским.

Стоит сказать, что в нашей стране пока к ИИ относятся с восторгом и относят к нему как реальные продукты машинного обучения, так и локальные программы для решения конкретных задач. Попытка депутатов Госдумы создать хартию по использованию и ограничению ИИ пока никого не впечатлила. Вот и на Конгрессе «ТИМ-СООБЩЕСТВО 2023» в адрес ИИ звучало очень много одобрительных слов и выступлений. И тем бОльшим «холодным душем» прозвучало на сессии «Диалог с Матрицей» выступление академика РАН, директора Института системного программирования РАН Арутюна Аветисяна, который призвал не доверять ИИ и очень осторожно относиться к его внедрению и результатам деятельности.

Открывая сессию, президент НОТИМ Михаил Викторов заявил, что хотел бы, наконец, понять, что такое искусственный интеллект и чем он отличается от нейросети? И 100 смартфонов, объединенных средой общих данных, это уже нейросеть или еще нет? Глава Минстроя России на совещании в Главгосэкспертизе уже сделал заявление, что с развитием искусственного интеллекта стройке ни эксперты, ни сметчики вскоре не понадобятся. Так ли это? Судя по всему, министр явно поторопился признать за ИИ возможность глобально заменить человека.

Ведущий сессии, промышленный и интерьерный дизайнер Сергей Саватеев не скрывал, что он апологет применения и развития ИИ, однако заметил, что тема ИИ – пока «глобально непонятная», хотя и накрывает постепенно все аспекты жизни и деятельности человечества. И в градостроительную отрасль нейросети и искусственный интеллект постепенно проникают – в виде специальных продуктов для дизайнеров и архитекторов, локальных собственных разработок компаний и организаций, машиночитаемых и машинопонимаемых документов.

При этом работа над программными продуктами в области ИИ, его применением, обучением, стандартизацией сегодня максимально разрознена и ведется хаотично: в регионах открываются различные образовательные программы по написанию продуктов искусственного интеллекта, а вендоры разрабатывают локальные очаги применения ИИ. Инвесторы готовы вкладывать деньги в продукты ИИ, но у них нет полной и объективной информации, где искать стартапы и как их правильно оценить. То есть в наличии большое количество очагов ИИ - от создания до потребления, но все разрознены.

Очевидно, что Россия существенно отстает от США и Китая в области ИИ, но позиция догоняющего в данной ситуации хороша тем, что позволяет избежать ошибок, допущенных лидерами, и ввести ИИ на первом же этапе в жесткие правоприменительные рамки. Однако пока у нас практически полностью отсутствует не только правовая, но и нормативная база развития и применения искусственного интеллекта, в том числе и в строительстве. А вопросов здесь также очень много, и нужно их обсуждать уже прямо сейчас – предметно и профессионально. Поэтому напрашивается создание единой площадки-агрегатора, где все заинтересованные в данном процессе стороны могли бы найти необходимую информацию. По факту такой площадкой мог бы стать НОТИМ – с его авторитетом, организационными и лоббистскими возможностями и концентрацией профессионалов на единицу площади.

Осторожно, искусственный интеллект!

Академик РАН, заведующий кафедрами системного программирования ВМК МГУ, ФУПМ МФТИ, ФКН ВШЭ, директор ИСП РАН Арутюн Аветисян, зная об искусственном интеллекте если не все, то многое, остудил некоторые восторги на этот счет: ратуя за ИИ, нужно очень четко понимать  его технологические возможности, особенности и риски применения.  Создание технологий напрямую зависит от развития аппаратной базы и появления больших данных в различных отраслях. Поэтому очень важно вписываться в общемировые тренды развития, в том числе в глобальное развитие экономики и открытое  программное обеспечение.

Последние 10-15 лет человечество перешло от отраслевого развития IT в мир, где законы и направления технологического развития диктует социум.  Это стало одной из причин бурного развития отрасли. Еще одна причина – феномен открытого ПО. Примером может выступить семейство открытых операционных систем Linux, где на основе общедоступной базовой платформы Linux разрабатываются тысячи продуктов. Только в России более 200 компаний разрабатывают решения на основе Linux. И ни одна самая гигантская и богатая корпорация не в состоянии конкурировать с миллионами разработчиков со всего земного шара, которые одновременно работают над улучшением и развитием этой открытой системы.

Ограничивать доступ к программному обеспечению сегодня не только бессмысленно, но и непродуктивно – это все равно, что ограничивать доступ к воде. Поэтому нужно ли изобретать «национальную» систему, аналогичную Linux? Академик Аветисян уверен, что делать этого не стоит, поскольку все готовые компоненты для создания соответствующих продуктов уже существуют, и нужно только уметь ими пользоваться, обеспечивая при этом необходимый уровень безопасности в соответствии с национальными стандартами.

Очередной вызов – это искусственный интеллект, который является датацентричным. Все строится на данных, и уязвимости в информационную модель тоже попадают через данные. Причем эти данные могут быть «отравлены» как специально, так и случайно, просто из-за того, что сама природа данных может быть неправильной – а это способно создать угрозу для всей информационной системы. Следовательно, нужно иметь инструментарий, который позволяет эти данные проверять и с ними работать. И очень важно не применять технологии, которые мы не контролируем. Именно в этом смысле искусственный интеллект – это новый вызов, потому что все то, что создано за последние 20 лет в области безопасной разработки, слабо применимо к вызовам, связанным с ИИ.

Остановить внедрение ИИ непродуктивно. Но нужно понимать, что эти технологии могут сгенерировать такую информацию, которая в реальной жизни будет не только неприменима, но и опасна. Классический пример – книга, созданная ИИ о грибах, при использовании которой человеку гарантировано отравление. Кроме того, ИИ научился уже и лгать, и генерить несуществующие сущности – например, археологические артефакты, которых в природе вообще не существует. И не каждый археолог может понять, что это ложь.

А теперь перенесем все это на строительную отрасль – и увидим громадные риски для безопасности тех, кто будет жить и работать в домах, полностью спроектированных ИИ. «В строительстве, если мы исключим человека, и ИИ будет нам проектировать дома – я в такой дом даже заходить не захочу, не то, что в нем жить», – заявил Арутюн Аветисян. Следовательно, нужны регламенты применения ИИ, причем отдельно для каждой отрасли с учетом отраслевой регуляторики. И в них должно быть очень четко прописано, где применяется искусственный интеллект, а где решения принимает человек – все это должно быть точно и понятно определено, опираясь на науку, которая скажет, чему мы можем доверять, а чему – нет.

И несомненно, что применение технологий информационного моделирования, создание цифровых двойников зданий, городов и всей страны поможет существенно улучшить их управление. «Но если вдруг в модели есть ошибка, и ее исправили в одной части, а в другой части модель не обновляется автоматически – а в большинстве систем в России зачастую даже не ставится такая задача, – то такую систему в мире никто внедрять не будет. А мы иногда пытаемся это делать», – отметил академик Аветисян. Он рассказал, что для того, чтобы помочь решению этой задачи, в ИСП РАН создан сервис верификации информационных моделей в архитектуре и строительстве, и пригласил участников Конгресса подключаться к этой работе.

Говоря о цифровизации строительства и развитии ТИМ, академик Аветисян предложил объединиться и совместно создать ядро этих программных продуктов, потому что 80% разработок повторяют одно и то же. И затем, опираясь на это ядро, используя технологии разработки безопасных систем, в том числе с использованием ИИ, можно создавать уникальные продукты и выводить их на рынок. «Очень важно не просто создать продукт, а создать экосистему, чтобы решения с каждым годом становились все лучше. И сделать это в рамках одной компании невозможно. IT сегодня – это сверхбольшая отрасль, это миллиарды строк кода, а у нас внутри компаний по несколько человек, которые это понимают и могут этим заниматься. Только сообща можно все это удерживать и развивать. Нужно, чтобы специалисты, сотрудничая, создавали новые технологии, а уже затем компании превращали это в новые продукты и выводили на рынок. Но ядро контролируется сообществом и развивается, чтобы вбирать в себя инновации с разных рынков. Это одна из моделей обеспечения долгосрочного устойчивого развития и технологической независимости», - считает А. Аветисян.

Остановить внедрение ИИ невозможно, потому что производительность труда с ИИ растет на порядки. И, конечно, он будет вдохновлять дизайнеров, когда будет генерить разные варианты решения, а человек будет смотреть и выбирать. Но на более прикладном уровне участие человека категорически необходимо – передоверять ИИ ключевые процессы нельзя. «Меня пугают наши общественные опросы, когда более 70% людей говорят, что они доверяют ИИ. Почему? Я вот не доверяю. Так нельзя. Свое доверие нужно основывать на науке», – уверен А. Аветисян.

Частные проявления ИИ

Вторая часть сессии была посвящена конкретным разработкам российских вендоров в области искусственного интеллекта или того, что они так называют. На самом деле, это пока локальные продукты цифровизации строительства и недвижимости – и это особенно ясно стало именно на фоне выступления академика Аветисяна и его глобального представления о том, что же такое ИИ.

Заместитель руководителя Центра цифровой трансформации Главгосэкспертизы России Александр Перепелица  представил свой взгляд на возможности использования искусственного интеллекта при экспертизе проектов. ГГЭ активно пользуется возможностями ИИ там, где это касается рутинных процессов и механических действий. Анализ показал, что большинство проектировщиков совершают, а эксперты выявляют  одни и те же ошибки, которые вполне может выявить и исправить ИИ – или хотя бы сообщить о них заявителю или проектировщику, потратив на это в сотни раз меньше времени, чем человек. Поэтому специалисты Главгосэкспетизы определили перечень рутинных мероприятий, которые нужно совершить при экспертизе проекта – и отдали это на откуп ИИ.

Однако дальнейшее использование искусственного интеллекта при экспертизе проектов затруднено колоссальной многовариантностью проектной документации – ее существует более 600 видов, и каждый проектировщик внутри обязательных разделов оформляет ее в меру своего представления о прекрасном, начиная со шрифта и кончая последовательностью описания проектных решений и применяемых СП и ГОСТОв. Поэтому, прежде чем развивать применение ИИ в этой области дальше, нужно формализовать структуру данных в проекте – и это задача на ближайший этап. Нужно сказать, что Главгосэкспертиза, не получив от вендоров продукты, которые ее бы устроили, занялась разработкой ПО для своих целей сама – и продолжает двигаться в этом направлении. Так что дело вскоре и до ИИ дойдет.

При этом Александр Перепелица твердо уверен, что ИИ – это всего лишь помощник эксперта, который избавит его от рутинных операций, но решения всегда будет принимать человек. Кроме того, ИИ должен постоянно обучаться, и сделать это может только человек.

Директор по стратегическому развитию Rocket Group Евгений Антонов   представил опыт компании по  применению технологий ИИ в градостроительной деятельности при сценарном моделировании развития территорий. По его словам, искусственный интеллект в данном случае – сверхоперативный инструмент для того, чтобы оценить потенциальные градостроительные возможности любой территории, в том числе попадающей под программу комплексного развития территорий. ИИ способен очень быстро по заданным ключевым параметрам моделировать промышленные и линейные объекты, а также гражданскую застройку. Исходя из этого, компания разработала цифровое ядро, на основе которого с применением генеративного дизайна можно очень быстро визуализировать возможные варианты одного и того же объекта.   Имея набор исходных параметров, машина способна предложить десятки сценариев развития территории, а проектировщику остается только выбрать те, с которыми можно продолжать работать дальше. Как правило, у машины на моделирование сценариев уходит 5-10 минут, у человека на то, чтобы выбрать оптимальный сценарий – до 1 дня. Это существенно сокращает сроки на предварительную проработку и принятие решений.

В процессе работы специалисты компании увидели, что разработанное ядро позволяет моделировать жизненный цикл объекта, учитывая при этом параметры не только самого объекта, но и окружения. Особенно важно это при принятии решения о строительстве в городской застройке, где нужно учитывать и транспортные потоки, и социальные объекты, и существующие здания. При этом стоит отметить – и на это обратил внимание академик Аветисян, что говорить о реальном генеративном дизайне можно только тогда, когда ИИ проработал  уже тысячи, а лучше десятки тысяч проектов. Сегодня же Rocket Group обучила свой ИИ на примерах не более сотни проектов, причем часть из них являются смоделированными, а не реальными. Так что пока можно говорить только о частном случае применения ИИ на небольшом количестве объектов.

Денис Кузнецов, СЕО компании BIMAR SYSTEM, рассказал о развитии темы  роботизированного монтажа в строительстве. Компания работает на этом направлении уже несколько лет, и программные продукты получают все большее применение на стройках и в машиностроении. По его убеждению, строительная отрасль идет к роботизации многих механических процессов, и здесь без специальных инструментов не обойтись. Пройдет еще 2-3 года, и более 80% компаний начнут применять тех или иных роботов на стройке – и для повышения скорости и качества строительства, и из-за отсутствия квалифицированных кадров. На этом фоне система цифровой маркировки для качественной сборки конструкций на  строительной площадке может стать одним из эффективных инструментов. Уникальная цифровая метка, нанесенная на каждую конструкцию, позволяет строителю  максимально точно смонтировать строительные конструкции, а строительному контролю – проверить факт и качество монтажа, наличие всех необходимых конструкций на стройплощадке, их перемещение и так далее. И если сегодня процессы монтажа делает человек, то со временем их вполне можно доверить роботам.

И все-таки все самое уникальное и удивительное всегда будет творить человек – именно такой посыл прозвучал в завершении сессии от скульптора, живописца, почетного академика Российской академии художеств, члена-корреспондента Международной Академии Культуры и Искусства Григория Потоцкого. И руководствоваться в своих решениях человек должен только одним критерием – добротой. Именно она должна лежать в основе и творческих процессов, и безопасности, и технологического развития человечества. «Из всех решений выбирай самое доброе», - так и вспоминалась фраза из одного из романов братьев Стругацких.  Но может ли искусственный интеллект быть добрым? Ближайшие годы дадут ответ на этот вопрос. 

Лариса Поршнева

Этот материал опубликован в ноябрьском  номере Отраслевого журнала «Строительство». Весь журнал вы можете прочитать или скачать по ссылке: https://www.ancb.ru/files/pdf/pc/Otraslevoy_zhurnal_Stroitelstvo_-_2023_god_12_2023_pc.pdf