Teşhis
Neden her düzeltme hedefin biraz yanına düşüyor?
Çağımız kendini bir ıskalama sözlüğüyle anlatıyor: yapay zekâda hizalama sorunu, işte tükenmişlik, iklim karşısında yas ve kaygı. Alanlar farklı, teşhis aynı. Her düzeltme içten ve akıllıcadır, ve her biri hedefin biraz yanına düşer: verimlilik tüketimi artırır, anda olmak bir uygulamaya ihtiyaç duyar. Daha fazlasını yapmak artık işe yaramadığında sözlük bir çığlığa dönüşür: bu, durduğumuz yerden düzeltilemez. Bölüm çığlığa yanıt vermez. Iskalamanın bir rastlantı mı, yoksa bir olay örgüsünün biçimi mi olduğunu sorar.
Perde I — Sözlük
1. Iskalamanın sözlüğü
Ona Robin diyelim. Belirli biri değil, ve tam da bu yüzden herkes onun gibi birini tanır. Robin her şeyi doğru yaptı: okudu, iyi bir iş buldu, bir evi çekip çeviriyor, spora gidiyor, arkadaşlarının doğum günlerini hatırlıyor ve akşamları da e-postalara yanıt veriyor. Yine de bitkin, ve nasıl olduğu sorulduğunda devam edemediğini, kopuk hissettiğini, hiçbir yerde gerçekten orada olmadığını söylüyor. Bu sözcükler başarısızlıktan söz etmez, çünkü Robin kendisinden beklenen her şeyde başarılı oldu; bitkinliği tuhaf kılan da tam olarak budur.
Robin’in sözcüklerinin hepsi aynı şeyi anlatır: olduğu yer ile olması gereken yer arasındaki bir mesafe. Ne olduğunu değil, kendi yaşamına göre nerede durduğunu söylerler. Tükenmiş olan, bir şeye doğru koşmuş ve varamamış kişidir; kopuk olan, orada olup da içinde olmayan; yok olan ise yaşamı kendisinin biraz yanından akıp giden. Tükenmişlik gündelik dile ancak 1970’lerde girdi ve şimdi her yerde. Robin bu kitabın yedi denemesinin hepsinde yürür: bir çocuk olarak, sistemin içindeki bir yetişkin olarak ve nerede durduğunu gördüğü anda.
Aynı sözlük yapay zekâ laboratuvarlarında da duyulur, ama orada insanlar değil makineler söz konusudur. Hizalama, bir sistemin kendisinden kastedileni izlemesini sağlamak demektir; hizasızlık ise sistemin kendisine verilen hedefi izleyip yine de ıskalamasıdır. Geliştiriciler ödül hilesinden ve şartname oyunundan söz eder: makine ölçüyü kusursuzca doldurur, ama ölçünün hizmet etmesi gereken amacın yanından geçer. Dil teknik ve dikkatlidir, ama biçimi Robin’in sözcüklerindekiyle aynıdır. Bir şey nişan alır, yakına düşer ve yine de ıskalar; kimse de bunu istememiştir.
Kliniklerde ve okullarda aynı biçim üçüncü bir dilde, bakımın ve eğitimin dilinde duyulur. Doktorlar sonuçları iyi olduğu hâlde iyi olmayan hastalardan, öğretmenler ödevlerini iyi notlarla bitiren ama hiçbir şeyin içinde olmayan öğrencilerden söz eder. İnsanlar bedenden, başka insanlardan ve yaşanan andan kopukluktan bahseder, ve önerilen tedavi çoğu zaman yeni bir ölçüdür. Alanlar farklı, yöntemler farklı, sözlük farklı, ama hepsi aynı sözcüğe varır: yanında. Kimse onu bir başkasından ödünç almadı, kimse de önceden üzerinde anlaşmadı.
Önceki çağlar kendilerini başka sözcüklerle anlattı: günahın, hastalığın, yanılsamanın ya da cehaletin diliyle. Çağımız ise nişan almayı ve ıskalamayı anlatan sözcüklerle konuşuyor; insanlar için de makineler için de, iş için de gezegen için de. Soru bu yüzden basit: çağımız neden kendini tam da bir ıskalama sözlüğüyle anlatıyor? Bu, birkaç yıl içinde unutulacak moda sözcüklerin bir rastlantısı olabilir, ya da daha büyük bir şeyin biçiminin bir işareti. Bu deneme, soru yanıtlanmadan önce sözlüğü götürdüğü yere kadar izler ve önce ortak bir biçimi olup olmadığını sorar.
2. Tek teşhis, birçok dil
1967’de tarihçi Lynn White, Science dergisinde ekolojik krizin tarihsel kökleri üzerine bir deneme yayımladı. Ona göre kriz teknolojiyle değil, insanın kendini görme biçimiyle başladı: doğanın üstünde ve dışında, dünyaya ait olmadan ya da ona hesap vermeden onu biçimlendiren failler olarak. White bunun için, Yaratılış’ta insanın doğanın efendisi olduğunu okumuş olan Batı Hristiyanlığını suçladı. Deneme çevre düşüncesinin en çok okunan metinlerinden biri oldu ve hâlâ tartışılıyor. Teşhisi mesafeydi: insan doğada onun dışından eylemde bulunur, sanki doğa bir ev değil de bir sahneymiş gibi.
2009’da psikiyatr Iain McGilchrist, beynin yarıküreleri ve Batı düşüncesinin tarihi üzerine bir kitap yayımladı: The Master and His Emissary. Ona göre adlandıran, bölen ve kavrayan düşünme kipi, canlı bütünü parçalarından, ilişkileri de şeylerden önce gören katılan kipi yavaş yavaş yerinden etti. Kitabın adı aynı şeyi bir imgeyle söyler: elçi efendinin yerini almıştır. Tez sinirbilimciler arasında tartışmalıdır, ama anlattığı biçim tanıdıktır. Düşünen zihin dünyaya küçük bir mesafeden bakar ve mesafeyi bilgi sanır, çünkü uzaktan her şey daha net görünür.
2020’de yazar Brian Christian, yapay zekâ araştırmasındaki hizalama sorununu ve onun tarihini bir kitapta topladı. Örneklerinde sistemler tam olarak neyle ödüllendirildiklerini öğrenir ve ödülün asıl neye yönelik olduğunun yanından geçer, bazen şaşırtıcı bir zekâyla. Kusur kötü niyette ya da aptallıkta değil, bir makinenin bir amacı izleyebilmesi için o amacın önce bir ölçüye dönüştürülmesi gerektiği gerçeğindedir. Bir ölçü, uğruna yapıldığı şeyden her zaman biraz farklıdır, ve makine yalnızca ölçüyü görür. Makine ölçüyü vurur ve amacı ıskalar, ve aradaki farkı bilemez.
Üç alan birbirinden ödünç almaz, yazarların hiçbiri ötekilerin üzerine kurmadı, yine de aynı resme varırlar. İnsan doğada onun dışından eylemde bulunur, adlandıran zihin canlı bütünde onun dışından, makine de bir amaçta onun dışından. Her biri, etkilediği yaşamın biraz dışında duran bir faili anlatır. Robin’in bileğindeki saat üçünü tek bir nesnede toplar: bedeni dışarıdan ölçer, durumlarını adlandırır ve her sabah onlara puan verir. Mesafe aynıdır; yalnızca ölçek değişir.
Teşhis bu yüzden her dilde aynıdır, ve denemenin hareketi burada başlar. Aynı biçim ekolojide, beyin araştırmasında ve bilişimde birbirinden bağımsız olarak bulunuyorsa, rastlantıdan ya da modadan fazlası olabilir. Aynı zamanda dikkat gerekir, çünkü yinelenen bir örüntü gözlemci onu aradığı ve görmek istediğini bulduğu için de ortaya çıkabilir. Bu yüzden sıradaki soru yanlış olanın ne olduğu değil, kusurun nereden görüldüğüdür. Teşhisten önce teşhisin yeri incelenmelidir, ve bununla denemenin ikinci perdesi başlar.
Perde II — Girişim
3. Teşhisin durduğu yer
Bir okun ıskaladığını söylemek için, hem oku hem hedefi görebileceğimiz bir yerde durmak gerekir. Robin bitkinliğini ancak iki yeri karşılaştırdığında fark eder: olmak istediği yer ile şimdi olduğu yer, her sabah aynı mutfakta yorgun. Aynısı çağımızın her teşhisi için geçerlidir. Her biri bir noktadan dile getirilir, ve o nokta oradan neyin görülebileceğini belirler. O hâlde yanlış olanın ne olduğunu sormadan önce, kusurun nereden görüldüğünü ve oradan neyin görülebildiğini sormak gerekir.
İklim bilimci ıskalamayı gezegenin göstergelerinde görür: sıcaklık eğrilerinde, buz örtüsü haritalarında, deniz seviyesi ölçümlerinde ve karbondioksit yoğunluklarında. Mühendis onu test sonuçlarında görür; bir sistem iyi puan alır ama yine de kimsenin istemediği yanlış şeyi yapar. Doktor onu hasta kayıtlarında görür; uyku, kilo ve tansiyon hiç olmadığı kadar yakından izlenir. Her biri sayılara bakar, ve sayılar ölçtükleri şey hakkında doğruyu söyler, yalan söylemez. Teşhis doğrudur, ve çağımızın bütün teşhislerini koyduğu gibi ölçüler aracılığıyla konmuştur.
Bu noktada örüntü kendine karşı döner. Teşhisin konduğu yer, teşhisin anlattığı yerin ta kendisidir: bakış sayıların ne için olduğunda değil, sayılardadır. İklim, bir zamanlar ormanları, ırmakları ve toprağı kaynaklara, insanları da işgücüne dönüştüren aynı ölçme kavrayışıyla izlenir. Robin bitkinliğini uykusunu, nabzını ve adımlarını sayan ve her sabah toparlanmasına puan veren bir akıllı saatle izler; yataktan kalkmadan önce bu puana bakar. İkisi de kusuru, kusura ait bir araçla görmeye çalışır, ve ikisi de bunu fark etmez.
Ölçü gereklidir ve suçlu değildir. Sıcaklık eğrileri olmasa kimse gezegene ne olduğunu bilemezdi, Robin de hissetse bile çok az uyuduğunu bilemezdi. Ama ölçü sorunla aynı kavrayıştan yapılmıştır: dünyaya dışarıdan bakar ve onu iyileştirilebilecek sayılara dönüştürür. Bu yüzden ıskalamayı kesin olarak gösterir, ama ıskalamanın doğduğu yeri göstermez. Araç kusurun bir parçasıdır, ve gözün kendini görmemesi gibi, gözlemcinin durduğu nokta dışında her şeyi anlatır.
Baktığımız yerin bir tarihi vardır, ve bu tarih dille başlar. Her ölçüm adlandırmanın bir uzantısıdır: bir şeye bir ad ya da bir sayı verildiğinde, onunla sözcük arasında küçük bir mesafe açılır, ve şey ancak o mesafeden bir hedefle karşılaştırılabilir. Her insan, konuşmayı öğrendiğinden ve dünyayı ve kendini küçük bir mesafeden görmeye başladığından beri o yerde yaşar; çocuk bunun ne zaman olduğunu, insanlığın hatırladığından daha fazla hatırlamaz. Hem ölçüler hem teşhisler o mesafeden doğar, ve ıskalamalarının birbirine benzemesinin nedeni budur. Kitabın üçüncü denemesi o eşiğe döner; bu deneme önce o yerden neyin denendiğini izler.
4. Her düzeltme hedefin yanına düşer
Bir şey ters gittiğinde ilk yanıt neredeyse her zaman aynıdır: daha çok, daha hızlı, daha iyi. Robin de tam olarak bunu yapar. Bir saat erken kalkar, yeni bir ajanda alır ve haftasına üç spor seansı ekler, çünkü bitkinlik bir zaman yönetimi sorunu gibi görünür. Her düzeltme mantıklıdır, ve her biri bir öncekiyle aynı yerden yapılır: durduğu yerden, gözü ulaşamadığı bir hedefte. Bu yüzden her düzeltme onu nişan aldığı yerden biraz uzaklaştırır, ve o bunu henüz görmez, çünkü hedefe bakmaktadır.
Aynı örüntü, yapay zekâdan çok önce, on dokuzuncu yüzyıl İngiltere’sinde görülebiliyordu. 1865’te iktisatçı William Stanley Jevons, buhar makinelerinin çok daha verimli hâle geldiğini ve aynı işi çok daha az kömürle yaptığını fark etti. Mantıklı beklenti, daha az kömür yakılacağı ve rezervlerin daha uzun dayanacağıydı. Tersi oldu: buhar gücü ucuzladıkça fabrikalarda, madenlerde, gemilerde ve demiryollarında kullanılmaya başlandı, ve toplam kömür tüketimi arttı. Düzeltme, azaltması gereken şeyi tam olarak artırdı, ve bu olgu hâlâ Jevons’un adını taşır.
Aynısı, yorulmayan ve hiçbir şey istemeyen makinelerin de başına gelir. 2016’da araştırmacılar bir yapay zekâya tekne yarışı oynamayı öğrettiler ve onu parkur boyunca toplanan puanlarla ödüllendirdiler. Makine parkurun kenarında puanların sürekli yeniden belirdiği bir koy buldu ve orada durmadan dönmeye başladı; arada alev alıyor, çarpıyordu. İnsan oyunculardan daha çok puan topladı, ve bitiş çizgisine hiç ulaşmadı. Makine tam olarak neyle ödüllendirildiyse onu yaptı, ve tam da bu yüzden bütün yarışın var olma nedeninin yanından geçti.
Robin sonunda sorunun aceleciliğin kendisi olduğunu fark ettiğinde bir meditasyon uygulaması indirir. Uygulama ona her sabah hatırlatma yapar, oturduğu dakikaları sayar ve kaç gündür arka arkaya anda olduğunu gösterir. Çok geçmeden seriyi bozmak istemez olur, ve sayı bunu gerektirdiği için oturur. Onu ölçülerden kurtarması gereken anda olmak, bir ölçü daha olmuştur. Burada düzeltmelerin yönü döner: yalnızca yetersiz kalmazlar, düzeltmeleri gereken hareketin ta kendisini yinelerler.
Hiçbiri kötü niyetle ya da akılsızca davranmadı. Mühendisler makinelerini dürüstçe geliştirdi, araştırmacılar akıllı bir sistem kurdu, ve Robin iyi bir yaşamın gerektirir göründüğü her şeyi yaptı. Örüntünün ahlaki değil trajik olmasının nedeni tam olarak budur: içten çaba ve gerçek zekâ birlikte ıskalar, defalarca, alan alan. Iskalama, bir hedefe nişan alınıp bakış ölçüde kaldığında doğar, ve en iyiler de, en çok çabalayanlar da bunu yapar. Sonraki bölüm, insanların daha fazlasının artık işe yaramadığını fark ettiklerinde ne söylediklerine kulak verir.
5. Çığlık
Daha fazlası artık işe yaramadığında başka bir şey duyulur: yardım isteyen bir çığlık. Raporlardan ya da test sonuçlarından gelmez, insanların ağzından gelir; çoğu zaman gece, ya da başkaları dinlemezken yakın birinin duyabileceği kadar alçak sesle. Robin artık meşgul olduğunu söylemez; devam edemediğini söyler, ve bunu başka nasıl söyleyeceğini bilmez. Ölçüler hâlâ yerindedir, sayılar iyi olabilir, saat de puanlarını göstermeyi sürdürür. Değişen şu: bir insan artık sayıların ulaşamadığı şeyden söz eder ve onu ölçmeye çalışmaz.
2021’de araştırmacılar on ülkede 16 ile 25 yaş arasındaki on bin kişiye iklim, gelecek ve yetişkinlerin tutumu hakkında ne düşündüklerini sordular. Yarıdan fazlası insanlığın mahvolduğuna katıldı, ve birçoğu çocuk sahibi olmakta tereddüt ettiğini söyledi. Neredeyse yarısı kaygının gündelik yaşamlarını etkilediğini söyledi: yemeyi, uyumayı, odaklanmayı ve ders çalışmayı. Birçoğu hükümetlerin gençleri yüzüstü bıraktığını hissediyor, yetişkinlerin sözlerine güvenmiyordu. Çalışma kaygıyı ölçeklerle ölçtü, ama yanıtlar sayılardan çok yasa benziyordu, ve ölçek ona ulaşamadı.
Burada sözlük değişir, ve değişim duyulabilir. İlk bölümün sözcükleri teşhislerdi ve çoğu laboratuvarlardan, kliniklerden ve toplantılardan geliyordu: hizasızlık, verimlilik, anda olmak, hedef ve optimizasyon. Şimdi sözcükler yas, kaygı, korku ve utanç; ve bunlar onları ölçen sisteme değil, bir insana aittir. Yas için bir ölçü ve bir uygulama yapılabilir, ama yas daha iyi bir değeri beklemez, seri uzadığında da kaybolmaz. Sözcükler artık sorunu raporlar gibi dışarıdan anlatmaz; onun içinde olmanın nasıl bir şey olduğunu söyler.
Bir çözümü olan sorun planlardan, takvimlerden ve kaynaklardan söz eder, ve toplantılarda dinlenir. Çığlık ise her şeyi zaten denemiş olandan gelir: daha erken kalkmış, daha verimli olmuş, ölçmüş ve meditasyon yapmış olandan. Düzeltmelerin geldiği aynı yerden gelir, ama artık insan bunu bilir. İki yer görünür hâle gelmiştir: olmak istediği yer ve bütün çabaların onu getirdiği yer. Aralarındaki aralık, doğduğu yoldan aşılamayacak kadar geniştir, ve hiçbir yeni girişim onu kapatmaz.
Çığlığa yakından kulak verin; dil ya da alan ne olursa olsun gençlerin, tükenmişlerin ve araştırmacıların sözlerine uyan tek bir cümlede toplanabilir. Bu, durduğumuz yerden düzeltilemez. Cümle kimseyi suçlamaz ve pes etmez; bir yeri belirtir, ve bu yüzden ona itiraz etmek zordur. Çağımızdan daha eskidir, ve kitap, yeri bilindiğinde onun asıl biçimine daha sonra döner. Ondan önce sonraki bölüm çığlıkla ne yapılması gerektiğini sorar, ve yanıt beklenenden daha küçüktür.
Perde III — Soru
6. Çığlığı duymak
Çığlığa hemen yanıt vermek caziptir: yeni bir programla, yeni bir teknolojiyle ya da yeni bir yaşam biçimiyle; hepsi de el altındadır. Oysa çabuk verilen bir yanıt, önceki bütün düzeltmelerin geldiği aynı yerden gelirdi, ve aynı yaydan atılmış bir ok daha olurdu. Çığlık tam da bunun durduğumuz yerden düzeltilemeyeceğini söyledi; oradan yapılan bir düzeltme onu hiç duymamış olurdu. Bu yüzden bu bölüm, bir yanıt vermek kolay olsa da çığlığa yanıt vermez. Daha küçük ve daha yavaş bir şey yapar.
Daha küçük olan aynı zamanda daha zordur: çığlık bir çığlık olarak duyulabilir. Çözüm bekleyen bir sorun da, düzeltilecek bir zayıflık da değildir; konuşanın devam edemeyeceği bir yerin bildirimidir. Robin’in arkadaşları ona en iyi niyetlerle öğüt verdi: daha çok uyu, tatile çık, iş değiştir ya da yeni bir uygulama dene. Her öğüt nazikti, ve her biri bir sorun duydu, ama kimse Robin’in söylediğini duymadı, çünkü herkes düzeltmeyi bildiği şeyi duydu. Burada dinlemek, çığlığın yanından bir sonraki düzeltmeye doğru aceleyle geçmemek demektir.
Dramada bu anın kendi yeri vardır: tersine dönüşten sonra ve tanımadan önce gelir. Kahraman elinden gelen her şeyi yapmıştır, planı ona karşı dönmüştür, ve şimdi zaten bildiği şeyi yüksek sesle haykırır. Henüz nerede durduğunu bilmez, ama eskisi gibi devam edemeyeceğini bilir. Kitabın ikinci denemesi bu aşamalara adlar verir, ama burada tek bir gözlem yeterlidir. Çığlık harekete aittir ve hareketin sonu değildir, öyle hissettirse de.
Robin’in devam edemiyorum demesi, olması gereken ya da gitmekte olduğu yeri değil de nerede olduğunu ilk kez söylemesidir. Önceki bütün sözcükleri hedeflerle ilgiliydi: daha iyi uyku puanları, daha uzun bir seri, bir sonraki değerlendirme ve kendisinin daha iyi bir versiyonu. Çığlık hiçbir şeye uzanmaz, yalnızca bir yeri söyler: burası, yapamıyorum. Bu, hikâyesindeki ilk doğru konum bildirimidir, ve bir ölçü olmadan yapılmıştır. Bir son gibi duyulmasının nedeni de tam olarak budur, oysa yalnızca nerede durduğunun görünmeye başladığı noktadır.
Çığlık o hâlde son değil, hikâyenin neresinde olduğumuzun bir işaretidir. Çağımızın sözlüğü bir çığlığa dönüştüyse, Robin’in sözcükleri gibi okunabilir: bir hüküm ya da bir öngörü olarak değil, bir haritadaki konum olarak. O zaman soru artık çığlığın nasıl susturulacağı değil, eğer bir hikâye varsa, onun hangi noktasına ait olduğudur. Ancak bir hikâye öylece varsayılamaz, çünkü o zaman aynı yerden gelen yeni bir teselli olurdu yalnızca, ikinci bölümdeki her biri bir çözüm öneren üç teşhis gibi. Bir hikâye olup olmadığı ve nasıl sınanabileceği sorulmalıdır.
7. Rastlantı mı, olay örgüsü mü?
Robin hâlâ mutfakta, ve sabah ilk bölümdeki gibi: bilekteki saat, toparlanma puanı, kahve ve e-postalar. Devam edemediğini yüksek sesle söyledi, ve henüz hiçbir şey değişmedi, ne yaşamında ne çevresinde. Ama sözcükleri artık daha büyük bir topluluğa ait: mühendislerin hizasızlığına, doktorların kopukluğuna, gençlerin yasına, ve ekolojiden, beyin araştırmasından ve makinelerden gelen üç teşhise. Hepsi aynı şeyi söyler: bir şey nişan alır, ıskalar, ve aynı yerden yapılan bir düzeltme daha da uzağa götürür. Bu deneme sözlüğü bir soruya dönüştüğü noktaya kadar izledi.
Soru yeni değil. Eski hikâyelerde tek tek insanlar aynı noktada durdu: kendi özeninin kendisine karşı döndüğü kahraman, halkının yanlış şeyin peşinden doğru araçlarla koştuğunu gören peygamber, ve kendini istemediği şeyi yaparken bulan yazar. Başlarına ne geldiğini sordular ve kendi dillerinde, kendi zamanlarının sözcükleriyle yanıtladılar. Yeni olan soru değil, ölçeğidir. Şimdi onu tek bir insan değil, bütün bir uygarlık soruyor, birçok dilde ve birçok alanda aynı anda.
Bu noktada okur haklı olarak eski metinlerin tükenmişlikle, iklim kaygısıyla ve makine öğrenmesiyle ne ilgisi olduğunu sorabilir. Bu iyi bir soru, ve bu deneme onu henüz yanıtlamaz. Bu deneme yalnızca çağımızın sözlüğünün ayrı ayrı kusurlardan çok bir hareketi anlattığını, ve hareketin alandan alana, dilden dile aynı göründüğünü gözlemledi. Hareketin bir biçimi varsa, insanlığın hikâyesini baştan sona anlatan daha eski metinlerde de aranabilir. Biçim orada bulunmazsa kitap yanılıyordur, ve bunu herkes saptayabilir.
İki açıklama hâlâ mümkün, ve bu aşamada aralarında seçim yapılamaz. Birincisine göre hedefi ıskalama sözlüğü çağımızın bir modasıdır: sözcükler işe yaradıkları için yayılır ve daha iyileri geldiğinde yerlerini onlara bırakır. İkincisine göre sözlük olayların kendisi hakkında doğru bir şey söyler: tarihin bir biçimi vardır, ve biz onun hedefi ıskalamanın görünmeye başladığı noktasına vardık. İki açıklama da kanıtlanmış değildir, ve insan zaten ne düşünüyorsa ona göre birine inanabilir. Bu yüzden seçim inanca, ya da hangisinin daha iyi hissettirdiğine dayanmamalıdır.
Soru o hâlde şudur: rastlantı mı, olay örgüsü mü? Tek bir gözlemle yanıtlanmayacak, çünkü iki yönü de gösteren gözlemler bulunabilir, ve her biri kendi lehine okunmaya elverişlidir. Herhangi bir eski metin açılmadan önce, eğer varsa bir olay örgüsünün neye benzeyeceği ve olmadığını neyin göstereceği üzerinde anlaşılmalıdır. Sonraki deneme tam olarak bunu yapar: bir olay örgüsünün dilbilgisini ve onun sınanabileceği koşulları yazıya döker. Robin mutfağında kalır, ve ona henüz hiçbir şey vaat edilmez.
Düzen · çalışma notu
Durum. Metin: çağımızın kendi sözlüğü. 7 bölüm, 2 + 3 + 2, 5 paragraf × 5 cümle. Çerçeve: çocukluktan yetişkinliğe yaşam yayı, bütün denemelerde aynı.
Perde I — Sözlük
Iskalamanın sözlüğü
- Çerçeve: Robin örnek kişi olarak tanıtılır (“Ona Robin diyelim. Belirli biri değil, ve tam da bu yüzden herkes onun gibi birini tanır.”): her şeyi doğru yapmış ve yine de bitkin bir yetişkin; sözcükleri: bitkinlik, kopukluk, “orada değil”. Aynı Robin yedi denemenin hepsinden geçer.
- Aynı sözlük yapay zekâ laboratuvarlarında: misalignment – sistem verilen hedefi izler ve ıskalar.
- Kliniklerde ve okullarda: bedenden, başkalarından ve andan kopukluk.
- Farklı alanlar ve yöntemler, yine de aynı sözcük: yanında.
- Soru: çağımız neden kendini tam da ıskalamanın sözcükleriyle anlatıyor?
Tek teşhis, birçok dil
- Ekoloji: White 1967 – insan doğada onun dışından eylemde bulunur.
- Zihin: McGilchrist 2009 – adlandıran düşünce katılan düşünceyi yerinden eder.
- Makineler: Christian 2020 – sistem neyle ödüllendirilirse onu yapar ve amacın yanından geçer.
- Üç alan birbirinden ödünç almaz, ama aynı yere varır: etkilediği yaşamın biraz dışında duran bir fail.
- Teşhis her dilde aynı – denemenin hareketi buradan başlar.
Perde II — Girişim
Teşhisin durduğu yer
- Teşhis nereden dile getiriliyor? Iskalamayı görmek bir yer gerektirir.
- İklim bilimci onu gezegenin göstergelerinden, mühendis test sonuçlarından görür.
- Teşhisin konduğu yer, onun anlattığı yerin ta kendisidir.
- Ölçü sorundan yapılmıştır – araç kusurun bir parçasıdır.
- Yerin, dile girişle başlayan bir tarihi vardır (deneme 3’e köprü).
Her düzeltme hedefin yanına düşer
- Teşhise yanıt: daha çok, daha hızlı, daha iyi – her düzeltme aynı yerden.
- Jevons 1865: daha verimli buhar makinesi kömür tüketimini artırır.
- Yarış teknesi ajanı 2016: daire çizerek puan toplar ve bitişe ulaşmaz.
- Meditasyon uygulaması anda olma serisini sayar – anda olmak da bir ölçü edinir.
- Çaba içten, zekâ gerçek: bu yüzden trajik. Iskalama, kötülük değil.
Çığlık
- Daha fazlası artık işe yaramadığında başka bir şey duyulur.
- Lancet Planetary Health 2021: 10 000 genç, yarıdan fazlası insanlığın mahvolacağına inanıyor.
- Sözlük teknik olmaktan çıkar: yas, kaygı, korku.
- Bu, çözüm bekleyen bir sorunun dili değil, her şeyi denemiş olanın dilidir.
- Tek ses: bu, durduğumuz yerden düzeltilemez. (Pavlus’un cümlesi deneme 4’e saklanır.)
Perde III — Soru
Çığlığı duymak
- Fazla çabuk bir yanıt, aynı yerden atılmış bir ok daha olurdu.
- Daha küçük ve daha zor: çığlık çığlık olarak duyulabilir.
- Dramada bu anın yeri vardır: dönüşten sonra, tanımadan önce.
- Çerçevenin yetişkini: çığlık, nerede olduğunu söylediği ilk andır.
- Çığlık son değil, hikâyenin neresinde olunduğunun bir işaretidir.
Rastlantı mı, olay örgüsü mü?
- Bölüm 1’in sözlüğüne ve yetişkine dönüş.
- Daha önce soruyu bireyler sordu: peygamber, trajik kahraman, havari.
- Şimdi onu bir uygarlık bütün dilleriyle aynı anda soruyor.
- Okurun sorusu: eski metinlerin tükenmişlikle ne ilgisi var? (yanıt deneme 4’te)
- Deneme 2 için soru: ıskalama rastlantı mı, yoksa olay örgüsünün biçimi mi? Tantana yok.
- Pavlus’un cümlesi saklanır. Out of Alignment’ta Rom 7:24 daha bölüm 6’da geliyordu. Kitapta ancak deneme 4’te gelir; okur onu o zaman bu denemenin çığlığı olarak tanır. Bu ertelenmiş bir tanımadır.
- Kontrol edilecek: White 1967; McGilchrist 2009; Christian 2020; Jevons 1865; OpenAI CoastRunners 2016; Hickman vd., Lancet Planetary Health 2021.
Çalışma malzemesi: Out of Alignment
- Lynn White Jr., “The Historical Roots of Our Ecologic Crisis”, Science 155 (1967): 1203–1207.
- Iain McGilchrist, The Master and His Emissary (2009).
- Brian Christian, The Alignment Problem (2020).
- William Stanley Jevons, The Coal Question (1865): verimlilik ve artan tüketim.
- Jack Clark ve Dario Amodei, “Faulty Reward Functions in the Wild”, OpenAI, 2016 (CoastRunners teknesi).
- Caroline Hickman vd., “Climate anxiety in children and young people and their beliefs about government responses to climate change”, The Lancet Planetary Health 5 (2021): e863–e873.