Дослідження достовірності прогнозів майбутнього, зроблених Станіславом Лемом (Автор: Андрій Закревський)

Сьогодні, 12 вересня, Станіславу Лему виповнилося б 105 років.

Він народився 12 вересня 1921 року у Львові в родині лікаря-ларинголога. У 1939 році закінчив гімназію імені Кароля Шайнохи, у 1940-1941 роках навчався у Львівському медичному інституті. Після німецької окупації Львова працював помічником механіка та зварювальником у німецькій фірмі. У 1944 році після повернення радянської влади продовжив медичну освіту, а в 1946 році разом із сім'єю залишив Львів і переїхав до Кракова. Там продовжив навчання на медичному факультеті Ягеллонського університету. У 1948 році почав писати "Шпиталь Преображення", у 1951 році вийшов його перший роман "Астронавти". 27 березня 2006 року Лем помер у Кракові.

Проте для нашої сьогоднішньої бесіди значення має зовсім інше.

Станіслав Лем був не лише автором фантастичних творів, а й унікальним мислителем, який намагався заглянути у майбутнє технологій. Він досліджував не просто окремі винаходи, а глибокі закономірності їхнього розвитку. Лема більше цікавило не те, чи з'являться у людства роботи, літаючі машини чи комп'ютери. Його запитання стосувалося того, що станеться з людьми, коли технології, які вони створять, перевищать їхню здатність до повного осмислення.

У 1964 році була опублікована праця "Summa Technologiae", яка стала однією з найзначніших робіт Станіслава Лема у контексті сучасних дискусій про штучний інтелект. Четвертий розділ, названий "Інтелектроніка", містить підрозділи, такі як "Підсилювач інтелекту", "Чорний ящик", "Моральність гомеостатів", "Небезпеки електрократії", "Віра та інформація", "Експериментальна метафізика", "Переконання електричних мозків" та "Проблема інформації". Структура цієї книги вже свідчить про те, наскільки глибоко Лем осмислив питання, які сьогодні ми обговорюємо в рамках штучного інтелекту.

У розділі "Чорний ящик" Станіслав Лем починає з досить простої, але важливої історичної тези. В минулі часи люди мали чітке уявлення про функції та конструкції своїх інструментів. Вони розуміли, як працюють такі речі, як молоток, лук чи стріла. Проте з розвитком цивілізації це знання стало розпадатися. Сучасна людина вже не має повного уявлення про будову всіх технологій, якими вона користується. Однак, зазначає Лем, кібернетика має потенціал вивести цей процес на новий рівень, створюючи об'єкти, структура яких залишиться незрозумілою навіть для тих, хто їх розробив.

Ось він, чорний ящик.

Лем висловлює цю проблему ще більш радикально. Він передбачає можливість виникнення систем, в яких навіть інженер не зможе визначити математичне відображення, що зв'язує вхідні дані з вихідними. Як природний приклад такого "чорного ящика" він наводить людський мозок: ми використовуємо його можливості, хоча досі не маємо чіткого уявлення про те, як він функціонує.

Це було створено в 1964-му році.

Дев'ять років перед запуском першого комерційного мікропроцесора Intel 4004. Десять років до виникнення персональних комп'ютерів. Кілька десятиліть до появи Інтернету, смартфонів та сучасних нейронних мереж.

І сьогодні цей текст можна перевірити вже не як фантастику, а як прогноз.

Перший і, мабуть, найчистіший приклад - AlphaFold.

Понад пів століття біологи намагалися розібратися з так званою проблемою прогнозування структури білка: маючи послідовність амінокислот, визначити, яку тривимірну структуру сформує білок. Це надзвичайно складна задача, оскільки структура молекули визначає значну частину її біологічної функції.

У 2020 році AlphaFold 2 від DeepMind продемонстрував результат, який став переломним моментом у цій галузі. Під час CASP14 система досягла точності, яку організатори фактично визнали розв'язанням 50-річного завдання прогнозування структури білка. У 2021 році метод був опублікований у Nature. У 2022 році DeepMind разом з EMBL-EBI відкрила доступ до прогнозованих структур понад 200 мільйонів білків - фактично майже всіх каталогізованих білків, відомих на той момент науці.

Це був справжній успіх.

Але саме тут починається лемівська проблема.

AlphaFold не розробив всебічну фізико-хімічну теорію, що описує процес згортання білка. Він не забезпечує детального покрокового опису того, як конкретний білок проходить через усі проміжні конформаційні стадії. Однак його основна перевага полягає в здатності надзвичайно точно передбачати структуру білків.

Ми отримали відповідь. Проте ця відповідь не є ідентичною поясненню. Це суттєва різниця.

Можна знати, що структура буде саме такою, і водночас не мати повної людської інтерпретації того, як нейромережа прийшла до конкретного прогнозу.

В цій точці Лем демонструє вражаючу сучасність.

Він не уявляв "пристрій, що мислить як людина". Він пророкував систему, якою можна буде користуватися, не потребуючи знання її алгоритмів.

У "Summa Technologiae" Лем писав про підсилювач інтелекту: ми можемо не знати детальної внутрішньої конструкції такого пристрою, якщо нас цікавить кінцевий результат. Між входом і виходом виникає "сіра зона нашого незнання". В одному з англомовних перекладів це сформульовано так: "Between them stretches the gray zone of our ignorance".

Сьогодні ця "сіра зона" охоплює мільярди характеристик. І це більше не просто метафора. Це структура сучасних нейронних мереж.

Одночасно неправильно стверджувати, що сучасні AI-системи залишаються незрозумілими. Це поширений міф. Ми володіємо знаннями про структуру нейромереж, алгоритми навчання, функції втрат, параметри, набори даних та математичні операції. Проте істинна проблема полягає в тому, що нам часто не вдається спростити величезну кількість числових параметрів до зрозумілого причинного пояснення для конкретного рішення.

І саме ця різниця робить сучасний AI лемівським чорним ящиком.

Іншим значним прикладом є автомобіль.

Тут особливо цікаво послухати самого Ілона Маска.

У січні 2025 року на конференції, присвяченій підсумкам четвертого кварталу 2024 року, Маску поставили питання про його ставлення до LiDAR у контексті автономного водіння, зокрема чи залишається він при своїй думці, що це "милиця" і "безглузда річ". У відповідь Маск сказав: "Так".

Після цього він пояснив позицію Tesla ще цікавіше. Він сказав, що Tesla навіть має радар, але його вимкнули. А далі сформулював принцип: люди керують автомобілем за допомогою очей і нейронної мережі мозку, тому цифровим еквівалентом очей є камери, а цифровим еквівалентом мозку - нейронні мережі та AI.

Це дуже важлива цитата. Тому що Маск фактично описав ту саму логіку, яку Лем передбачив у 1964 році.

Людині не потрібно глибоко усвідомлювати, як саме мозок обробляє зображення дороги і приймає рішення натиснути на гальмо. Вона діє інстинктивно.

Концепція Tesla полягає в створенні цифрового варіанта цієї системи.

Камера виконує роль очей, нейронна мережа слугує мозком, автомобіль є тілом, а рішення - це підсумок функціонування всієї системи.

Проте існує суттєва проблема. Коли система допускає помилку, ми можемо виявити причини на етапах введення і виведення. Ми спостерігаємо зображення. Ми аналізуємо маршрут. Ми фіксуємо команду на гальмування. Однак між цими етапами ховається складна обчислювальна структура, яку не можна так легко описати, як класичний алгоритм з послідовністю "якщо - то".

Ось чому еволюція нейронних мереж поступово трансформує саму суть інженерної діяльності.

Класична інженерія стверджує: досліджуй систему, розроби її, а потім протестуй.

Машинне навчання все частіше реалізується за новими принципами: надайте системі великий обсяг даних, визначте критерії успішності, навчіть її, а потім оцініть результати на раніше невідомих даних.

Це функціонує. І саме з цієї причини це може бути небезпечним. Адже реальна ефективність з часом починає замінювати глибокий аналіз і розуміння.

Якщо система вдало передбачає структуру білка, ми її використовуємо.

Якщо система правильно розпізнає дорожню ситуацію - ми нею користуємося.

Якщо система виявляє патології на медичних зображеннях з більшою точністю, ніж людина, ми її використовуємо.

Запитання "чому?" поступово відходить на задній план, поступаючись місцем питанню "як часто вона помиляється?". Це свідчить про цивілізаційний зсув. Ми переходимо від аналізу причин до сфери, де важливими є статистично обґрунтовані результати.

У цей момент Лем набуває нової значущості. Його не так цікавили самі комп'ютери, скільки те, як зміниться людський контроль, коли складність технологій перевищить межі нашого розуміння та здатності їх повного освоєння.

У цьому контексті AlphaFold та Tesla можна розглядати як дві ілюстрації однієї й тієї ж тенденції. Перший з них займається молекулярними структурами, тоді як другий фокусується на фізичних об'єктах. Наступний етап полягає у розробці рішень, які безпосередньо впливають на життя людей.

Тут ми підходимо до військової сфери. І лемівський чорний ящик перестає бути філософською проблемою. Він стає питанням життя і смерті.

Міжнародний комітет Червоного Хреста прямо визначає автономні системи зброї як системи, які після активації можуть самостійно обирати й уражати цілі без подальшого втручання людини. ICRC наголошує, що проблема полягає не лише в самій автономності, а в складності передбачити, обмежити та пояснити наслідки роботи таких систем.

Особливу увагу варто звернути на те, що Міжнародний комітет Червоного Хреста (МКЧХ) прямо застосовує термін "чорна скринька" стосовно систем машинного навчання. Ці моделі можуть виявитися надзвичайно складними для сприйняття, адже важко зрозуміти, як і на яких підставах система дійшла до певного висновку.

Тобто тепер це вже не філософська інтерпретація Лема. Міжнародна гуманітарна організація описує фактично ту саму проблему мовою сучасних технологій.

У цей момент постає найгостріша загроза. На дорозі автомобіль робить помилку — і стається ДТП. У медичній сфері система може збоїти — і пацієнт отримує хибний діагноз. У фінансовій сфері алгоритми помиляються — і відбуваються фінансові втрати. У військовій діяльності помилка може призвести до трагедії — і життя людини опиняється під загрозою.

Саме тому ICRC наголошує на необхідності зберігати людський контроль над застосуванням сили. У своїх документах організація прямо зазначає, що юридична відповідальність за рішення про застосування сили не може бути передана машині.

У 2026 році це питання набуло ще більшої значущості. У березні Міжнародний комітет Червоного Хреста (МКЧХ) випустив свіжий позиційний документ, присвячений автономним зброї системам в контексті міжнародного гуманітарного права, а в серпні знову виступив із закликом до створення міжнародних норм для регулювання цих технологій.

Тут важливо внести суттєве уточнення. Лем не міг передбачити AlphaFold. Він не знав про Tesla FSD. Лем не мав уявлення про сучасну архітектуру трансформерів. Також йому не було відомо слово "machine learning" у тому контексті, який воно має зараз.

Проте він спрогнозував механізм.

Людина створює систему. Система стає складнішою за можливість повного людського пояснення. Система починає давати результат, який перевищує можливості окремої людини. Людина перестає вимагати повного розуміння. А потім починає передавати системі дедалі більше функцій.

Ось чому найважливішою складовою прогнозу Лема є не технічний аспект. Він має епістемологічну природу. Лем передбачив еволюцію самого визначення знання.

У класичній науці ідеальна структура виглядала приблизно так: ми маємо закон, усвідомлюємо механізм, створюємо модель і отримуємо прогноз.

Штучний інтелект представляє альтернативний підхід: спочатку ми збираємо дані, потім навчаємо алгоритм, перевіряємо його прогнози і лише в кінці намагаємося з’ясувати, які знання він здобув.

Це абсолютно новий підхід до наукової культури, і він вже успішно функціонує.

AlphaFold - один із найкращих прикладів. Tesla - один із найвидиміших. Автономні військові системи - потенційно найнебезпечніший. Але є ще один рівень, який Лем передбачив не менш точно. Інформація.

Він усвідомлював, що виклики майбутнього полягатимуть не тільки в браку інформації. Її стане занадто багато. Це очевидно вже зараз, з кожною миттю.

Google обробляє величезні обсяги інформації. Штучний інтелект трансформує ці дані на зрозумілі відповіді. Tesla використовує мільйони годин відео як навчальний ресурс. Наукові моделі аналізують великі обсяги біологічних даних для створення прогнозів.

Проте, чим більше даних ми надаємо машинам, тим більше стає наша залежність від їхньої здатності організувати цю інформацію.

З'являється парадокс.

Технології сприяють нашій здатності справлятися з надмірним потоком інформації. Проте, в той же час, ми надаємо їм можливість вирішувати, яка інформація має значення.

У цьому контексті чорний ящик стає інструментом, що формує нашу реальність. Пошукові алгоритми обирають, що потрапить у наше поле зору. Системи рекомендацій вирішують, що викликатиме наш інтерес. Моделі штучного інтелекту встановлюють, яку інформацію ми отримаємо. Автономні системи визначають, яким чином діятиме пристрій. А військові автономні системи потенційно здатні вирішувати, яку ціль атакувати.

Отже, справа вже не в тому, чи зможе машина перевершити людський розум. Головне питання полягає в тому, наскільки далеко люди готові дозволити їй діяти від свого імені.

У цьому моменті передбачення Лема стає майже жахливо точним. Хоча він і не передбачив бунту машин, це має вирішальне значення. Для втілення його концепції машина зовсім не повинна мати свідомості. Їй не потрібно відчувати ненависть до людей, прагнути влади чи мати власні амбіції. Головне, щоб вона була здатна діяти максимально ефективно.

На початку людина сприймає машину як простий інструмент. Згодом вона перетворюється на радника, потім — на оператора, а згодом стає автономним виконавцем. Однак наступна стадія є найнебезпечнішою: людина втрачає здатність повністю зрозуміти, чому машина прийняла певне рішення, але продовжує їй довіряти, адже статистика показує, що машина помиляється значно рідше.

Це справді є класичний приклад "лемівської проблеми чорного ящика". На сьогоднішній день ми маємо можливість провести експериментальну перевірку цього явища.

AlphaFold продемонстрував, що штучний інтелект здатний досягати надзвичайно високої точності в галузі, де традиційні підходи не могли впоратися з обсягом задач. Tesla намагається адаптувати принципи біологічного зору для автономного керування своїми автомобілями. Сучасні системи діагностики на основі штучного інтелекту виявляють закономірності, які не завжди помітні людині. Використання автономних озброєнь ставить під сумнів, чи доцільно надавати алгоритмам право самостійно вирішувати, коли застосовувати силу.

І саме тут ми підходимо до головного висновку.

Точність прогнозу Лема не полягає в угадуванні конкретних технологій, а в правильному визначенні загального напрямку розвитку.

У 1964 році автор передбачив світ, в якому технології вийдуть за межі простого інструментарію, зрозумілого їх творцеві. Вони перетворяться на складні системи, результати яких можна буде застосовувати, навіть якщо їхня внутрішня логіка перевищує людське розуміння.

Лем фактично передбачив перехід від алгоритмічної цивілізації до цивілізації статистичної довіри. Ми дедалі частіше говоримо не "я розумію, як це працює", а "я знаю, що це працює". Це величезна різниця. І саме вона може стати головною технологічною проблемою XXI століття.

Оскільки автомобіль може допускати помилки, нам важливо не лише виявити факт помилки, але й зрозуміти причини, чому це сталося.

А що, якщо автомобіль виявиться переважнішим за людину саме через те, що він здатен виявляти закономірності, які нам, людям, не під силу? У такому випадку перед нами виникне ще більш складне питання: чи готові ми покладатися на знання, яке не можемо відтворити самостійно?

Цю ідею Лем висловив понад шістдесят років тому, назвавши її чорним ящиком. Сьогодні ж цей чорний ящик більше не є чимось абстрактним, що належить далекому майбутньому. Він вже присутній у лабораторії біолога, встановлений в автомобільних комп'ютерах, працює на серверах Google і допомагає робити медичні рішення. А завтра він може стати частиною системи управління зброєю.

Найбільша тривога в цій ситуації полягає не в тому, що автомобілі стануть розумнішими за людей. Найбільш лякаючим є те, що люди можуть добровільно позбавити себе права ухвалювати рішення, адже технології виконують ці завдання більш ефективно.

Це було те, що вперше привернуло увагу Лема.

Тому сьогодні, в день його 105-річчя, "Summa Technologiae" сприймається не як футуристичний твір, а як путівник для розуміння реальності, в якій ми вже існуємо.

До речі, ця стаття була перевірена та оброблена двома штучними інтелектами: Gemini та ChatGPT. Я поклався на їхні алгоритми, а не на свою пам'ять.