Kahrolsun BAĞZI Veriler*

by Onur Yavuz

,onur5Editörlerden Not: Önümüzdeki aylarda hem Gezi sürecinin kendisi hem de üzerine yazılanlarla ilgili çeşitli konuları kapsayan bir dizi yazı yayımlayacağız. Onur Yavuz’un yazdığı eleştirel seri bunların ilki.

Onur Yavuz**

İnşallah Gencim ve Galiba Özgürlükçüyüm

31 Mayıs günü başlayan ve Haziran sonu itibariyle yer yer format değiştirerek devam eden kitle protesto gösterilerine dair bugüne dek çeşitli „istatistiksel“ araştırmalar yayınlandı. Öne çıkanlar arasında KONDA, İpsos ve Metropoll gibi özel sosyal araştırma şirketlerince yapılan anketlerin yanı sıra Bilgi Üniversitesi Yayınları etiketiyle çıkan keşifsel akademik çalışma „Gencim, Özgürlükçüyüm, Ne İstiyorum?“ da var. Bu çalışmaların hepsinde çeşitli ve büyük yanılsamalara yol açacak sorunlar göze çarpıyor.

Tüm bu çalışmaların temel ortak özelliği basit bir „tanımsal istatistik“[1] (descriptive) hedefine kurgulanmış olmalarına rağmen bu basit tanımsal sonuçları sunmakta dahi zorlanmaları ve hatta gereken akademik katılıkla ifade edilmesi gerekirse, aslında herhangi bir güvenilir istatistiksel veri üretememiş olmaları. Öte yandan bunların hızlı biçimde internette dolaşıma girmesi ve güvenilir istatistiksel veri olarak kabul görmeleri, bu verilere dayanarak üçüncü kişilerin Gezi parkı eylemlerinin sosyal ve siyasi demografisi üzerine çözümlemeler yapmaları hem bu analizleri içerikleştirmesi açısından, hem de bu tür sorunlu ve güvenilmez istatistiksel çalışmaların gelecekte de analizlere temel teşkil etmesinin yolunu açmasından ötürü nazarımızda ciddi bir problem teşkil ediyor.

Çalışmaların güvenilirliğini sarsan sorunlar çok boyutlu. Sırasıyla kavramsal, kuramsal, kurgusal, metodolojik ve analitik düzlemlerde ayrı ayrı ve birden fazla probleme rastlanıyor. Basit bir tanımsal istatistik çalışmasında bu kadar geniş çaplı hataların, hem de birden fazla araştırma mercii tarafından yapılmış olması ise Türkiye’de yapılan istatistiksel çalışmaların genel kalitesi ve güvenilirliği hakkında sorgulanması gereken şeyler olduğunu gösteriyor. Yazının bu ilk bölümünde, gerek içeriksel kapsamı, gerekse „akademik bir ürün“ olma iddiasından ötürü Bilgi Üniversitesi Yayınları’na ait, „Gencim, Özgürlükçüyüm, Ne İstiyorum?“ (Bilgiç, & Kafkaslı, 2013) isimli araştırmayı ele alacağız.

Araştırma Dizaynındaki Kavramsal Hatalar

Bilgiç ve Kafkaslı’nın tanımlarına göre yaptıkları araştırma bir „keşifsel“ (exploratory) çalışma. Buna mukabil araştırmanın istatistik ve daha öznel olarak sosyal istatistik metodolojisinde belirlenmiş belli kriterlere uyması gerekiyor. Keşifsel (exploratory) bir araştırmanın kavramsal karakteristiği ise belirli bir kurama oturtulmuş a priori[2] hipotezler üzerinden hareket etmemesi, yani hipotez test edici ve açıklayıcı (explanatory) değil, sadece hipotez türetici olmasıdır. Bu sebeple keşifsel araştırmaların ilk planda hedefi „var olduğu varsayılan bir araştırma problemine dair“ olabildiğince ham bilgi toplamak ve öncel kuramlar yardımıyla bunlardan hipotezler üretmektir (Flick, 2007). Bir diğer deyişle keşifsel çalışmaya başladığınızda da, veriyi analiz ederken de henüz size „neyi öngörmeniz“ gerektiği konusunda enformasyon sağlayan bir „bağımlı değişken[3]“ mevcut değildir. Potansiyel bağımlı değişken, elde ettiğiniz veri içinde henüz analiz edilmeyi bekleyen bol sayıda „bağımsız değişken“ içinde yatmaktadır ve ancak bunların analizi sonrası yapılandıracağınız öznel „kuram“ çerçevesinde ortaya çıkacaktır. Keşifsel araştırmanın anlamı ve karakteri, kalitatif yahut istatistiksel metodlar kullanıp kullanmadığınızdan bağımsız olarak, budur.

Bilgiç ve Kafkaslı’nın „keşifsel“ araştırması zaten henüz bu kavramsal aşamada iken bulgularını sunuş biçimlerinde kullandıkları doğrulayıcı dil keşifsellik iddiasıyla çelişiyor, çünkü en basit örnekle „Yüzde 14,7’nin bu konuda kararsız olması ve yalnızca yüzde 15.3’ün ise kendini bir siyasi partiye yakın hissettiğini belirtmesi, mevcut siyasi partilerin protestoları destekleyenlerin beklentilerine karşılık veremediği yönündeki kanıyı destekler nitelikteydi.“ veya “Kanımızca, araştırmanın sonunda elde edilen bulgulara bakarak tek bir cümleyle bir değerlendirme yapılabilir. Buna göre, protestolara destek veren gençlerin özgürlükleri için bir direniş sergilediklerini, temsili demokrasi anlayışının onların demokratik taleplerini karşılamada yetersiz kaldığını ve katılımcı demokrasinin yollarının açılmasını istediklerini söyleyebiliriz“ çıkarımları (Bilgiç, & Kafkaslı, 2013, S. 7-9) ve benzeri ifadeler, hatta araştırma raporunun başlığında geçen çıkarım “Gencim, Özgürlükçüyüm” yazarların soruna bir keşifsel araştırmanın tersine sorgulayıcı araştırma disiplini içinde yaklaştıkları ve kafalarındaki (üstelik hiçbir öncel kurama ve literatüre açıkça dayandırılmadıkları halde) bir takım a priori varsayımlara göre hareket ettikleri ve bunlara göre sorular formüle ettiklerinin bir göstergesi. Kaldı ki araştırmaya dair bu kavramsal çelişkinin etkileri ve daha sonra ele alacağımız metodolojik safhada yapılmış olan ciddi hatalarda da çok yoğun biçimde gözlemleniyor.

Araştırma Dizaynındaki Kurgusal Hatalar

Araştırmanın kurgusal sorunlarına geçecek olursak burada „denek“ seçimi ve toplanması konusunda net bir amatörlük ve ciddiyetsizlik göze çarpıyor. Denek seçimi ve toplama aşamasındaki sorunlar aslında ilk bakışta görüldüğü üzere „önceden seçilmiş denek grubu“ ile çalışmak (sampling bias) sorunuyla başlamıyor. Kaldı ki keşifsel araştırmalar aslında spesifik, bağlamsal gruplara yönelik de yapılabildiği için Bilgiç ve Kafkaslı’nın sadece Gezi eylemlerine katılan kitleye yönelik bir denek seçim stratejisi uygulaması aslında normal. Fakat hâlihazırdaki denek problemi bu noktadan sonra ve inanılması güç bir amatörlük gösterisi olarak başlıyor. Araştırmacılar, önceden belirledikleri spesifik deney grubunun içinde tekrar „seçilim“ (sampling bias) yapıyor. Bu nasıl mı oluyor? Araştırmacıların kendi cümleleriyle görelim. „Kendimiz de sosyal medya kullanıcıları olduğumuz için, protestoların sosyal medya üzerinden yayıldığını görebiliyorduk. Balkonlarında tencere ve tavalara vurarak seslerini duyurmaya çalışanların da, sokaklara dökülenlerin de, meydanları dolduranların da ellerinden akıllı telefonlar, tabletler düşmüyordu.“ (Bilgiç & Kafkaslı, 2013, S. 6).

Yukarıdaki alıntı bize şunu gösteriyor: Birincisi, araştırmacıların “deneklerinin sosyoekonomik özelliklerine dair” a priori tezleri hâlihazırda var. „Gezi Eylemcileri“ olarak adlandırdıkları deneklerinin standart bir tüketim ve sosyal medya kullanım tarzına dair varsayımlarla hareket ediyorlar. Bu, test edilmiş ve doğrulanmış bir hipotez değil ama gerçek olduğunu varsayarak ve bu sebepten ötürü de sadece doğrudan söz konusu kriterlere uyan kişilere ulaşacak bir anket hazırlayarak, potansiyelde bu kriterlere uymayan „eylemcileri“ zaten daha en başta elemiş oluyor ve deneklerinin söz konusu hedef grubu temsil gücünü zaten tamamıyla yok etmiş oluyorlar. İkincisi ise, tekrar kavramsal karakteristik üzerinden konuşursak, zaten denek grubu hakkında bu a priori varsayımla hareket ederek araştırmayı bir „keşifsel araştırma“ karakterinden çıkarmış, „açıklayıcı araştırma” (explanatory) haline getirmiş bulunuyorlar. Fakat bunu da daha önce belirttiğimiz gibi açıklayıcı bir araştırma için gereken kuramsal dayanak ve bu tür a priori varsayımları geliştirmelerine izin verecek, bilimsel geçerliliğe sahip „öncel veri“ olmadan yapıyorlar. Kısacası elimizdeki durum Bilgiç ve Kafkaslı keşifsel de, açıklayıcı da çalışma niyetinde olsa baştan aşağı amatörce, her türlü sosyal bilimsel araştırma kriteri çiğnenerek, yanlış tasarlanmış ve kurgulanmış durumda. Denek toplama sürecinde ise okuyanı hayretler içinde bırakan amatörlük devam ediyor. Bu noktada Twitter ve Facebook üzerinden ulaşılan kitlenin tam da yukarıda bahsedilen „sampling bias“ ve ek olarak kartopu sisteminde ortaya çıkma riski daima yüksek olan „denekler arası sosyokültürel benzerlik“ kaynaklı homojenleşme ile aslında tüm öngörü ihtimalini yitirdiği söylenebilir (Diekmann, 2006). Son olarak “online bir servis” ile yapılmış olan ankette hem anonimliğin nasıl sağlanıp hem de paralel olarak mükerrer katılımın (duplication) nasıl önlendiğine dair hiçbir bilgi yok. Yani ankete katılanların tekrar tekrar farklı bireylermiş gibi anketi doldurup doldurmadığı bilinemiyor ve bu da teknik bir detay olarak durumun vahameti üzerine tuz biber oluyor.

Araştırma Dizaynındaki Metodolojik ve Analitik Hatalar

Aslında bir araştırmaya dair bu kadar çok, bu kadar ciddi kavramsal ve kurgusal hatalar mevcut ise, söz konusu araştırma üzerine daha fazla konuşmak gereksizdir. Çünkü zaten hâlihazırda bu sayılan hatalar çalışmayı %100 geçersiz ve değersiz ilan etmek için yeterli veri teşkil eder. Şahsen şu noktada elimizdeki çalışma için dürüst ve net biçimde „geçersiz ve değersiz“ değerlendirmesini yapmaktan çekinmiyoruz, çünkü dürüst bir bilim insanının söylemesi gereken uzlaşmasızca tam olarak budur. Gelgelelim Bilgiç ve Kafkaslı, çalışmalarının geriye kalanında tüm bu kavramsal ve kurgusal hataların ötesinde öyle anlaşılması güç istatistik, veri işlem ve değerlendirme metodolojisi hataları yapıyorlar ki, gelecekte doğru bir tasarım ve denek ile yola çıkılan sosyal istatistiklerde bu tuhaf görüntülerin tekrarlanmaması için, aslında elimizdeki araştırma özelinde artık hiçbir anlam ifade etmemelerine karşın bu kısımları da irdelemeye karar verdik. Yani bundan sonra okuyacaklarınızda Bilgiç ve Kafkaslı’nın “doğru tasarım ve numunelendirme” ile bu çalışmaya başlamış olduğunu hayal ediyor ve hipotetik bir model üzerinden giderek çalışmanın geriye kalanında bulduğumuz hataları ele alıyoruz.

Screen Shot 2013-07-19 at 3.15.00 PM

Protestoları Destekleyenlerin Yaş Grupları (Bilgiç & Kafkaslı, 2013, S. 13)
En kolay elde edilebilecek metrik istatistiksel veri “yaş” olduğu halde hangi istatistik anlayışıyla  gruplara bölünerek ordinal, yani  matematiksel olarak anlamsız hale getirilmiş belli değil. Rapordaki pek çok  anlamsız  grafikten bir tanesi

Öncelikle belirtmeliyiz ki, basit sınıflandırma gibi amaçların ötesinde, tanımı muğlak ve araştırmanın bir parçası olarak tanımlanması gereken özelliklere dair yapılıyorsa (örneğin özgürlükçülük, Atatürkçülük vb., anlamı bireylere göre değişebilecek kavramlar) kullanılması gereken metodoloji, kalitatif metodolojidir. Bu metodoloji içerdiği uzun ve zahmetli data toplama, işleme süreçlerinden ötürü elbette yaklaşık 3000 kişilik bir denek grubu için uygulanamaz. Bu durumda araştırmacılara iki seçenek kalıyor: 1) Yaklaşık 60 kişiyle kısa, kişisel röportajlar yaparak, onların ağzından kendilerine biçtikleri kimlikleri ve bu kimlikleri nasıl tanımladıklarına dair öznel veri toplamak ve bunların öznel analizini yapıp sunmak ya da 2) bireysel tanımlara göre içeriği değişebilecek bu tür “kavramlar” kullanılmadan anket metoduyla sosyo-demografik basit veriler toplayarak tanımlayıcı (descriptive) bir sunum yapmak. Bu noktada Bilgiç ve Kafkaslı gene yapılabilecek bütün yanlışları yapıyor. Öncelikle tanımı belli olmayan ve her şeyden önemlisi objektif olmayan pek çok sıfatı (Kemalist, Solcu, Özgürlükçü) bir anket formunda seçilmek üzere sunuyorlar. Ayrıca, örneğin Kemalist ve Atatürkçü gibi bir çift mükerrer “kimlik” seçeneği mevcut. Bunların neye göre birbirinden ayrıldığına dair ise bir bilgi yok. Ek olarak bu seçenek sunum formatı öncelikle deneklere kendi kendilerini tanımlama fırsatı değil, araştırmacıların keyfi biçimde seçtikleri sıfat havuzu içinde hareket etmeyi dayattığı için temel bir içeriksel hata üretiyor, kazanılacak veriyi manipüle ediyor. İlaveten, her deneğin her soyut sıfattan (i.e. Özgürlükçülük) farklı bir şey anlayıp, farklı nedenlerle işaretlemesinden ötürü bir diğer ağır içeriksel sapma verilerin parçası haline geliyor. Yani her denek özgürlükçülük kavramını farklı anladığından ötürü kendini farklı (ve belki de aslında literatür ile karşılaştırıldığında özgürlükçülük ile ilgisiz olduğu görülebilecek) sebeplerden dolayı özgürlükçü olarak nitelemiş oluyor. Son olarak ise hiç bu sarsıcı problemleri gözetmeden, araştırmacılar bu baştan sona çürük verilerden “özgürlükçüyüm, partiler tarafından temsil edilmiyorum” vb. çıkarımlar yapmakta beis görmüyor ve bizleri dehşetten dehşete sürüklüyorlar[4].

Screen Shot 2013-07-19 at 3.17.23 PMDeneklerin kendilerini tanımlama biçimleri
Bilgiç & Kafkaslı (2013, S. 7)

Bu noktada ayrıca bireysel (ve dolayısıyla kitlesel) politik spektrum ölçümleri için 1950’lerden beri deneysel enstrümanlar (anketler) geliştirildiğini ve bunların istatistiksel geçerliliğinin test edilerek garantilenmiş olduğunu hatırlatmak istiyoruz (örneğin Nolan Chart, Political Compass vb.). Dolayısıyla bu tür bilimsel anlamda güvenilir araçların neden basit bir çeviri ve düzenleme ile bu projede kullanılmış olmadığını sormak zorundayız. Hiçbir öncel kurama/literatüre dayanmayan, yani nihayetinde keyfiyetle seçilmiş ve anlamı herkesçe farklı yorumlanabilecek bazı sıfatları deneklere dayatıp, sonra bunlardan analitik çıkarımlar yapmanın ise bilimsellik ile uzaktan yakından ilgisi olmayan, en iyi ihtimalle amatör, kötü ihtimalle manipülatif bir pratik olduğunun da altını tekrar çiziyoruz[5].

Bir kitlenin siyasi içeriğine/kimliğine dair bir keşifsel veya analitik  araştırmada, insanlara Kemalist misiniz, solcu musunuz, özgürlükçü müsünüz gibi sorular sormanın, bir psikiyatrik testte insanlara şizofren misiniz, manik-depresif misiniz gibi sorular sormaktan farkı yok (böyle soru sorulmaz). Eğer birilerinin siyaseten ne olduğunu anlamak istiyorsanız, bu siyasi kimliğin (bilimsel literatür ile teyit edilmiş) “haberci faktörlerini” saptamak ve bu haberci faktörleri açıklayan itemlar (sorular) geliştirerek veri toplamak zorundasınızdır.

Örneğin: Anadilde eğitim hakkini savunuyorum → – Hiç katılmıyorum * * * *  Tamamen katılıyorum. +

Tüm bunlar yapıldıktan sonra anketin sonunda popüler siyasi kimlikler/sıfatlar seçilmek üzere sunulabilir ve daha sonra burada yapılan seçimler, başta yapılmış olmasını önerdiğimiz siyasi oryantasyon testinin sonuçlarıyla karşılaştırılmak üzere ilginç ve geçerli veriler sunabilirdi (örneğin siyasi yönelim testinde otoriter çıkan kişinin kendini serbest sıfat seçiminde özgürlükçü nitelemesi gibi çelişkiler veya tam tersine iki bölümde de birbiriyle tam uyumlu sonuçlar çıkması, neticede bunların kitlesel averajlarının hesaplanması vb.).

Aynı problem “protesto gerekçeleri” bölümündeki soru formatı ve formülasyonlarında da kendini gösteriyor. Burada Bilgiç ve Kafkaslı keşifsel bir araştırmadan beklenemeyecek kadar emin biçimde protestoculara çeşitli “protestoları destekleme nedenleri” sunup bunlara reyting (derecelendirme) yapmalarını istiyorlar. Yani gene deneklere kendi belirledikleri ve hiçbir öncel kuram yahut veriye dayanmayan soru/cevap alternatiflerini dayatıp bunların içinden seçim yapmaya zorlayarak aslında topladıkları veriyi içeriksel olarak manipüle ediyorlar.

Screen Shot 2013-07-19 at 3.16.25 PMDeneklerin Protestoları Destekleme Gerekçeleri
Bilgiç & Kafkaslı (2013, S. 8)

Yukarıda kurgulanmış seçenekler deneklerin kendi gerekçelerini öznel biçimde formüle etmesini engelleyerek zaten tekrar araştırmayı keşifsel olmaktan çıkarıyor. Ayrıca siyasi kimlikler bölümünde anlattığımız üzere, bu biçimde sunularak psikolojik “priming” (tetikleme), ve suggestion (telkin etme) uygulanıyor (Rauchfleisch, 2008). Büyük ihtimal bunu araştırmacılarımız kötü niyetle yapmıyorlar ama bu noktada item (soru) kurgulama ve anket yapılandırma alanlarındaki ciddi amatörlükleri kendini gösteriyor. Bu şekilde de hem deneklerini, hem topladıkları manipüle edilmiş veriler ile kendilerini, hem de bunları sunumlarıyla kamuoyunu ciddi biçimde yanıltmış oluyorlar. Bu hatayı önlemek için gene yukarıda bahsettiğimiz iki alternatif mevcut: 1) Kişisel röportajlarla öznel, sözlü veriler toplayarak analiz etmek veya 2) ankette kullanılan cevap alternatiflerini olabildiğince tarafsız ve deneklerin hafızasını, seçimlerini manipüle etmeyecek şekilde kurgulamak (ve her halükarda aynı kavrama dair veri toplayan ama farklı biçimde formüle edilmiş kontrol sorularıyla verilen cevapların doğruluğunun sağlamasını yapmak).

Bunun yanında analitik çıkarım yapma hedefiyle hareket edilen her araştırmada, denek grubundan elde edilen verilerin bu gruba öznel olup olmadığının doğrulanması için bu gruptan hariç bir “kontrol grubu” ile ayni test ve anketlerin yapılarak sonuçların karşılaştırılması zorunlu olurdu. Keşifsellik iddiasıyla başladığı halde çarpık ve hatalı bir analitik araştırma hüviyetine bürünen bu çalışma nedeniyle bu önemli detayı da tekrar hatırlatıyoruz.

Tüm bu hataların yapılmamış olduğunu varsaydığımız ve devam ettiğimiz takdirde de toplanan verilerin görselinde ise hiçbir anlam ifade etmeyen reyting ortalamaları büyükten küçüğe doğru listelenerek sunulmuş. Likert formatında toplanmış olan ve ordinal ölçüdeki verilerin, matematiksel olarak bir şey ifade etmeyen ortalamalarının (Bortz, 2005) alınmış olması bize sonuç itibariyle bir şey anlatmıyor[6]. Aşağıdaki görsel aracılığıyla yapılan sunumda deneklerin en yüksek miktarda kendini özgürlükçü, en az miktarda AKP seçmeni olarak tanımladığı görülüyor ama her deneğin birden fazla (keyfi biçimde dayatılmış) kimliği değerlendirebildiğini varsayarsak zaten hiçbir anlam ifade etmeyen bir sıralama.

Screen Shot 2013-07-19 at 3.15.33 PM

Protestoları Destekleyenlerin Kendilerini Tanımlarken Geçerli Olduğunu Düşündükleri Nitelendirmeler
Bilgiç & Kafkaslı (2013, S. 17)
Yanlış metodolojiyle tasarlanmış, yanlış içerikli ve yanlış yönlendirici bir diğer grafik

Metod seçimi, veri hesaplama ve sunum hatalarını (aslında rapordaki hatalar buraya kadar sayılanlardan ibaret olmasa da) bu noktadan itibaren tek tek incelemeyi kesiyoruz. Çünkü her bir hatayı irdelemek için devam etmemiz durumunda bu metnin raporun iki katı uzunluğuna ulaşması gibi bir durum söz konusu.

Sonuç

Bir keşifsel araştırma çok zahmetsizce bu kimliklerin denek grupta ve hatta bireylerde birbirleriyle hangi mesafede konumlandığı, ilişki içinde olduğuna dair bilgiler verebilecekken, Bilgiç ve Kafkaslı’nın araştırmasında bu bilgilere inatla (büyük ihtimal metodolojik bilgi eksikliğinden ötürü) yer verilmiyor. Herhangi bir basit istatistik programında, toplanmış 3000 küsur bireysel verinin kısacık bir komutla saniyeler içinde küme analizine tabi tutulması mümkünken, yapılmıyor. Bir diğer deyişle, araştırma bir keşifsel araştırma olarak tanımlanmasına rağmen standart keşifsel istatistik araçlarını kullanmak dışında her şey yapılmış. Oysa bir küme analizi durumunda bu veriler bize aşağıdaki gibi gruplaşma, denek grubunda tespit edilen kimliklerin birbirlerine yakınlık ve uzaklığı, kimlerin hangi sıfatları, hangi diğer sıfatlarla daha “akraba” tanımladığına dair zengin ve anlamlı bilgiler verebilirdi (Brachinger et al., 1996). Özellikle bu şekilde bireylerin kendilerini “birden fazla kimlikle” tanımlayabilme özgürlüğü sayesinde, kitleyi oluşturan insanların algısındaki “kimliklerin/ideolojilerin uyumluluğu” gibi kritik bir soruya dair önemli veri edinilebilirdi. Örneğin, yukarıda da bahsettiğimiz türden, kendini yüksek oranda Özgürlükçü olarak tanımlayan kişilerin kendilerini aynı zamanda yüksek oranda Kemalist yahut Ulusalcı olarak da tanımlaması gibi rastlanabilecek ilginç durumlar, kitlenin hangi ideolojiden/kimlikten ne anladığına ve neleri birbirine denk/tamamlayıcı gördüğüne, dolayısıyla kitlenin ağırlıklı olarak “kim olduğuna ve politik algısına” dair kritik doneler verebilir, gerçek anlamda keşifsel bir araştırmayı anlamlı kılabilirdi.

starplot

Hipotetik bir küme analizi için olası bir Star Plot örneği
Ortalama aktivist profilinde öne çıkmış olabilecek sıfatlar/kimlikler sağda sergileniyor.

DendroHipotetik bir küme analizi için olası bir dendrogram örneği

Küme analizi görsellerinden biri olan dendrogram homojen başlayarak aşağıdan yukarı doğru heterojenleşen kimlik gruplaşmalarını gösteriyor. Denek grup içinde birbiriyle yakın tanımlanmış/seçilmiş kimlikler akraba gruplara kümeleniyor.

Sözü bağlarken aslında bu araştırmanın girişte bahsetmiş olduğumuz kavramsal çelişkiler ve yanlış numunelendirmeden ötürü zaten en başta tüm geçerliliğini yitirmiş olduğunu ve bu noktadan sonra yazdığımız tüm istatistiksel metodolojik kritiğin ancak doğru numunelendirme durumunda anlamlı olabilecek bir eleştiri olduğunu hatırlatmak istiyoruz.

Sonuç itibariyle bu kadar çarpık, hatalı ve yanlış yönlendirici bir çalışmanın, hem de bir üniversitenin etiketiyle akademik çalışma sıfatı altında piyasaya sürülmüş olması, buna izin veren kürsü sahiplerinin oluşu, Türkiye’deki akademik süpervizyonun, kalite teminatının, araştırmacıların metodolojik yeterliliğinin, titizliğin ve aynı zamanda bilimsel sorumluluk duygusunun, özetle bilimsel kalitenin dehşet verici raddede olumsuz durumuna dair, çok üzücü ve düşündürücü bir örnek teşkil ediyor. Tüm bunların en iyi ihtimalle hiçbir şey, en kötü ihtimalle ise manipülatif yanlış bulgular anlatarak kamuoyunda “uzman” araştırmalar olarak kabul görmesi ve bu şekilde halkın siyasi olayları yorumlamasına doğrudan etki etmesi ise işin en üzücü kısmı.

Diğer dehşet verici örnekleri de Metropoll, Ipsos ve Konda’nın Gezi Parkı anketlerine dair yazılarımızda ele alacağız.

Bilgiç ve Kafkaslı raporun sonlarında bu çalışmadan elde ettikleri verileri, gelecekteki daha kapsamlı araştırmalarda kullanacaklarını belirterek sözlerini bağlıyor. Biz de onlara buradan seslenmek istedik:

Lütfen böyle bir şey yapmayın.

*Yazının çeşitli aşamalarında öneri ve eleştirileriyle katkıda bulunmuş Güneş Aşık, Ayda Erbal ve Özge Genç’e teşekkür ediyorum.

**Zürih Üniversitesi ve ETH-Zürih

Referanslar

Bilgiç, E. E., & Kafkaslı, Z. (2013). Gencim, Özgürlükçüyüm, Ne İstiyorum? #direngeziparkı Anketi Sonuç Raporu.  Istanbul: Istanbul Bilgi Üniversitesi Yayınları.

Bortz, J. (2005). Statistik: für Human- und Sozialwissenschaftler (Springer-Lehrbuch) (German Edition) (6th ed., P. 17–103). Heidelberg: Springer.

Brachinger, W., Häußler, W., Kaufmann, H., Fahrmeir, L., Hamerle, A., & Tutz, G. (1996). Multivariate statistische Verfahren. (2nd ed., P. 371–403). Hamburg: Gruyter.

Diekmann, A. (2006). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Rowohlt Tb.

Flick, U. (2007). Qualitative Sozialforschung (5th ed., P. 13–29). Lübeck: Rowohlt Verlag.

Rauchfleisch, U. (2008). Testpsychologie: Eine Einführung in die Psychodiagnostik. Vandenhoeck & Ruprecht.


Dipnotlar

[1] Denek grubu içindeki örneğin demografik özelliklerin dağılımı (yaş ortalaması vb.) özelliklerin hesaplandığı, fakat değişkenler arası ilişkiler ve neden-sonuç çıkarımlarına dair analizleri içermeyen istatistik türü.

[2] A priori: (Latince) Tecrübeden önce. Deneysellikten bağımsız kurgulanmış tez anlamında kullanılır. A posteriori  (tecrübeden sonra) kavramının karşıtıdır. A priori tez bilimsel deneyden önce formüle edilen hipoteze tekabül eder. Yani bilimsel deney, a priori ortaya atılan hipotezin doğruluğunu test etmek amacıyla yapılmaktadır.

[3] Bağımlı değişken bir deney veya araştırmada açıklamak istenilen durum yahut nedenselliktir. Örneğin sigara tüketiminin insan ömrüne etkisi konulu bir araştırmada bağımlı değişken „insan ömrü“ iken ilk akla gelen bağımsız değişken de örneğin sigara tüketim oranı olacaktır.

[4] Bilgiç ve Kafkaslı raporda yaptıkları çıkarımlardan büyük genellemeler yapmanın doğru olmadığı notunu düşüyor. Fakat „gencim, özgürlükçüyüm, şu ve bu sebepten buradayım“ gibi çıkarımlardan daha genel neyin olabileceği ve araştırmacıların bu noktada „genelleme“ kavramından ne anladığı her sosyal bilimci için ciddi bir soru işareti olacaktır.

[5] “Soruda, sosyal medyada ve kamuoyunda sıklıkla protestoların sebebi olarak dile getirilen başlıca gerekçeler sıralandı” gibi gerekçelendirmeler, öncel teori yahut veriye tekabül etmiyor. “sosyal medyada ve kamuoyunda sıklıkla protestoların sebebi olarak dile getirilen” diyebilmek için araştırmacıların bu iddianın altını dolduracak somut verilere referans vermesi zorunludur (oysa bir gazete makalesine bile referans yok) . Zira kitleye dair “subjektif izlenimleriniz” üzerinden kitleye yönelik bilimsel araştırma kurgulayamazsınız, kurgularsanız da bu iyi ihtimalle  ne yaptığınızdan bihaber olduğunuzu gösterir, kötü ihtimalle ise istatistik ile yalan söylediğinizi.

[6] Ordinal ölçek matematiksel değil kalitatif bir veri ölçeğidir. Dolayısıyla bundan elde edilen sayıların ortalamalarının istatistiksel olarak hiçbir anlam ve değeri yoktur (Bilgiç ve Kafkaslı’nın bu araştırmada önümüze koydukları “istatistiksel” ortalamaların da bu yüzden hiçbir anlam ve değeri yok). Sadece IQ testi vb. özel durumlarda bu formatta elde edilen değerler örneğin z-Transformation gibi metotlarla metrik ölçü haline çevrilerek hesaplanır. Gelgelelim bu araştırma çerçevesinde bunun da pek bir anlamı olmazdı çünkü zaten soruların içeriği de metrik, yani matematiksel anlam taşıyan içerik değil. Yapılabilecek en iyi şey, seçeneklerde kullanılan olumlu ve olumsuz tercihlerin tek tek ve kumulatif değerlerini toplayıp bunları birbirleriyle karşılaştırarak bir sıralama sunmak olabilirdi. Netice itibariyle ordinal ölçekte  elde edilen bilgilerin matematiksel anlam taşıyan veri gibi sunulması en basit haliyle istatistik bilmemek olarak adlandırılabilir.

Advertisements

23 Responses to “Kahrolsun BAĞZI Veriler*”

  1. yazı gezi eylemcileri hakkında yapılan araştırmalarla ilgili olduğu halde neden yazının başlığı eylemin kendisine ve eylemcilere gönderme yapıyor?

    • kuşkusuz yazar ismail’e cevap verir ama ben anladığım şeyi söylemek istiyorum. benim anladığım; başlık, eyleme ve eylemcilerden ziyade, “ağzı veriler” deyişiyle eylemlere ilişkin veri analizlerindeki geçersizliklere gönderme yapıyor. onur yavuz’un aklına, kalemine sağlık. istatistik yöntemleri daha iyi anlamama vesile olduğu için de, çarpıtıcı “verileri” gerçek seviyesinde sunan “bilimsel” etiketli çalışmaları doğru düzgün eleştirdiği için de teşekkürler…

    • @İsmail
      Yazının başlığı, Bilgiç ve Kafkaslı’nın kendi raporlarına attıkları başlığa atıfta bulunuyor. Eylemcilere değil.

  2. Yazarın tasarımsal tüm eleştirilerine katılıyorum. Ancak özellikle 6. dipnotta ordinal ölçek ile ilgili yapılmış ” Ordinal ölçek matematiksel değil kalitatif bir veri ölçeğidir” değerlendirmesinin gözden geçirilmesi gerektiğini düşünüyorum. Ordinal ölçekler ve hatta kategorik/nominal ölçekler için geliştirilmiş ordinal probit, ordinal logistic, ve multinominal logistic regresyon uygulamalarının sosyal bilimlerde yıllardır kullanıldığı göz önüne alındığında böylesi güzel bir yazıda saldırılması muhtemel açık bir nokta olarak görünüyor.

    • @Emre Toros

      Merhaba, öncelikle bu konuyu açmış olduğunuz için teşekkür ederim. Logit/probit türü regresyon prosedürlerinin varlığı üzerinden bakarak ordinal ölçeğin matematiksel olduğu çıkarımı akademik platformlarda olmasa da Internet tartışmalarında oldukça yaygın rastladığım bir hata. Bu sebepten ötürü burada değinme fırsatı bulmak da güzel oldu. Su noktada gayet emin ve tartışmasız biçimde öncelikle tekrar etmek istiyorum: Ordinal ve nominal ölçekler matematiksel (olarak anlamlı) ölçekler değillerdir. Evrensel istatistik literatüründe hangi kitaba, hangi dilde bakarsanız bakın bunu görürsünüz, hatta Wikipedia’nın en kötü versiyonu Türkçe Vikipedi’de bile net bir biçimde anlatılmış. İnternette rastladığım bu “logit modelleri var öyleyse ordinal/nominal data da matematikseldir” eksenli hatanın temelinde görebildiğim kadarıyla birbiriyle ilintili iki kavramsal yanılgı var.

      1) İstatistiğin sadece matematiksel veriyi incelediği (inceleyebildiği) yanılgısı.
      2) Dolayısıyla falanca ordinal/nominal veriyi inceleyen istatistiksel metot varsa demek ki falanca veri ölçeği de matematikseldir yanılgısı.

      Öncelikle şunu bilmeliyiz: İstatistik sadece matematiksel (ölçülerdeki) veriyi incelemez. Zaten böyle olsaydı istatistiğin kullanım alanı korkunç derecede kısıtlanır ve aslında bugünkü bilimsel rolünün tersine verimsiz ve işlevsiz bir disiplin olurdu. Dolayısıyla, istatistik, aynı zamanda matematiksel olmayan (kalitatif) veri ölçeklerini (örneğin, nominal, ordinal) nicelleştirme (quantification) amacıyla hareket etmektedir. Bu sebepten ötürü binomial ve multinomial logit/probit prosedürlerinin varlığı ordinal veya nominal ölçeklerin matematiksel içerik olarak anlamlı olduğu yahut, bu prosedürlerin (örn. logit/probit) kalitatif veriyi matematiksel veriye dönüştürdüğü demek değildir. Tam tersine, bunlar matematiksel olmayan veriyi, buna rağmen istatistiksel olarak inceleyebilmek için üretilmiş prosedürlerdir.

      Çok basit bir örnekle ne demek istediğimi açayım: Ordinal ölçek bildiğimiz gibi bir sıralama ölçeğidir. Bu sıralamadaki verilerin eşit aralıklara (interval) sahip olması gerekmez (çoğunlukla da değildir). Gayri-matematikselliğin en temel nedeni ise ordinal veya nominal ölçekteki verinin olarak çarpılıp bölünmesi, ortalamasının alınması matematiksel olarak anlamsızdır (Likert skalasıyla ölçülen latent verileri ayrıca anlatacağım, örneğin „motivasyon“).

      Kategorik ölçülerdeki (nominal/ordinal) verinin aritmetik operasyonlara tabi tutulması neden anlamsızdır, basit bir örnekle açıklayalım.
      Elimizdeki ordinal item anketimize katılan kişilerin eğitim durumlarını ölçüyor olsun. Buna mukabil ordinal kategorilerimizi şöyle varsayalım:

      1) İlkokul
      2) Ortaokul
      3) Lise
      4) Üniversite

      Bu ölçekteki verinin ortalaması nasıl alınır ve bunun ne anlamı olur? Örneğin buradan ne çıkarım yapılabilir? Deneklerin ortalama 5.7 oranında liseli veya ortalama 3.6 oranında üniversiteli olduğu? Yani ordinal ölçekteki verinin merkezi parametresi en iyi ihtimalle medyan olabilir (ortalama/averaj/mean değil). Gelgelelim bunun bile problemli olabildiği örnekler bulunabilir.

      Gelelim logit/probit modellerinin kategorik değişken kullanabilme durumuna. Burada dikkat edilmesi gereken detay, logit/probit modellerinin kategorik Y değişkenini “olasılık” teorisi üzerinden açıklamaya çalışması, yani kategorik değişken üzerinde “matematiksel anlam ifade eden” bir operasyon olmaması. Logit/probit modellerinin sorduğu soru özetle: “Falanca bağımsız değişkenin, filanca bağımlı değişkenin bir kategorisinden diğer kategorisine geçiş olasılığına etkisi nedir?” olmaktadır. Yani burada “analiz ünitesi” ordinal yahut nominal verinin kategorileri değil, bu kategorilerde rastlanan sıklıkların bağımlı (Y) değişkeninin kategorileri arasındaki geçişe etkisidir. Dolayısıyla, ordinal ve nominal ölçekteki veriler hala matematiksel değil kalitatif verilerdir ve ortalamalarını almanın hiçbir anlamı ve vaat edebileceği analitik/çıkarımsal bir özelliği yoktur. Somut bir örnek vermek gerekirse (örneği basit olması için binomial kurguluyorum):
      Bir sağlık taramasında yükselen stres oranının bireyleri hasta etme olasılığı, dolayısıyla, hangi orandaki stresin hastalığa sebep olduğu bulunmaya çalışılıyor. Formülümüz standart:

      Logit-Formula

      Yani, Y (bağımlı değişken = sağlık durumu) aksındaki P (Olasılık) değerinin 1 (yani Hasta = TRUE) olabilmesi için x1 değişkeninin (stres oranı) hangi noktaya varmış olması gerekmektedir? Formülün geriye kalanı bildik lineer regresyonun aynısı. Yani ordinal/nominal bağımlı değişkeni ilgilendiren bir aritmetik operasyon yok. Grafikle göstermek gerekirse, peşinde olduğumuz durum şu:

      Logit

      Sonuç itibariyle hesabımızın sonunda elimize geçen de Y aksında bulunan ordinal/nominal değişkenin ortalaması yahut başka bir matematiksel çıktısı değil, tam tersine Y aksındaki bir kategoriden (sağlıklı) diğer bir kategoriye (hasta) geçişin, X aksındaki değişkenin etkisi altındaki “olasılık oranı”.

      Özetle: Ordinal/nominal ölçekler matematiksel olarak anlam ifade eden ölçekler değillerdir. Bu sebeple Bilgiç ve Kafkaslı’nın araştırmasındaki şu veya bu ordinal verilerin averaj/ortalamalarının alınması ve anlamlı bir veri gibi sunulması da uzlaşmasızca yanlış ve anlamsız bir pratiktir. Ordinal/nominal ölçekler kalitatif istatistiksel ölçeklerdir. Bunların matematiksel olarak anlamlı (metrik) ölçekler olduğunu ısrarla iddia eden kişi sadece istatistik bildiğini zannediyordur ve tabiatiyle akademik camiada (buna journal’lar dahil elbette) ciddiye alınmaz bile (ben olsam stats 101’den bile geçirmem). Unutulmaması gereken detay şu ki, istatistik “sadece” matematiksel veri analizinden çok daha fazlasıdır.

      Son olarak semantik diferansiyeller (Likert ölçeği) ve bunların da ordinal olarak kurgulanmalarına rağmen nasıl metrik analizlerde kullanıldığını açıklayayım. Rensis Likert erken dönem deneysel psikologlardan biri olarak “latent” (motivasyon, attitudes vb.) verilerin toplanmasına yardım edecek bir item formatı geliştirmek peşindeydi. Bu şekilde sıklıkla karşılaştığımız semantik diferansiyel formatı geliştirdi. Yalnız buradaki problem şu ki, motivasyon soyut bir kavram olarak elimize cetvel alıp ölçebileceğimiz ve motivasyonal farklar arasını “interval” olarak değerlendirebileceğimiz bir şey değil. Peki, bu veriyi metrik olarak kullanabilmek nasıl mümkün oluyor? Şöyle: Birincisi klasik test teorisi her bir item’ın güvenilirliğini ve geçerliliğini test eden (reliability & validity) prosedürler ve değerler geliştirdi. Bu prosedürlerin işlevsel olabilmesi için de her geliştirilen Likert formatında item’ın yüzlerce, binlerce denek tarafından doldurulması sağlanır, bunlar kontrol ve norm grupları ile karşılaştırılır etc.. Bu şekilde klasik test teorisi çerçevesinde Likert formatında aslında sübjektif olarak doldurulmuş bir item’ın geniş bir denek grubu üzerinden “base rate”inin bulunması sağlanır ve Cronbach’s Alpha gibi “güvenilirlik” parametreleriyle item’ın tutarlılığı ölçülür. Tutarlı olmayan itemlar elenir.

      Günümüzde klasik test teorisi metotları hala yaygınca kullanılsa da 50’lerden beri geliştirilmekte olan Item Response Theory (probabilistic de denir) daha katı kriterler uygulayarak ölçülmekte olan soyut fenomenin, ölçümü yapan item özelinde gerçekten metrik/interval ölçekte olup olmadığını tespit edebilen ve buna göre eleme yapabilen bir metot. Bunlar içinde özellikle Rasch Model ve Structural Equation Modelling dediğimiz prosedürler Likert formatında toplanmış “soyut kavramsal” verilerin ölçümünde, ölçüm hatalarını çok temiz ve güçlü bir şekilde minimize edebilmektedirler (örn. bugün OPQ32 gibi ünlü enstrümanlar bu metodoloji ile kurgulanmıştır).

      Açıklayıcı olabildiğimi umuyorum. Sevgiler.

  3. Onur selamlar,

    Orjinal olarak gözden geçirilmesi gerektiğini düşündüğüm 6. dipnottaki ifade şu idi:

    “Ordinal ölçek matematiksel değil kalitatif bir veri ölçeğidir”

    Sonradan yazdıklarınızda ise “Ordinal/nominal ölçekler matematiksel olarak anlam ifade eden ölçekler değillerdir.” ifadesini kullanmışsınız.

    Bu iki ifadenin farklı yorumlanabileceğini düşünüyorum. Orjinal metinde ikinci şekilde yazmış olsa idiniz içimden gene yorumumu yapmayı geçirir ama muhtemelen yapmazdım.

    Ordinal ölçeklere ortalama gibi betimsel merkezi eğilim ölçümlerinin uygulanamayacağı gerçeği zaten ortada, yapanlar varsa o da onların ayıbıdır. Benim katkım şu yönde idi: Ordinal ve nominal ölçekler için de kestirimsel istatistiki prosedürler (logit/probit/multinominal regresyon modelleri) uygulanabildiğine göre ölçüm yapmak mümkündür. Bu prosedürlerde maximum likelihood estimation için iterasyonların bulunması, bağımsız değişken bulunan ve bulunmayan modeller arasında “model fit” karşılaştırması için logaritmaya dayalı “log likelihood” hesaplamaların yapılıyor olması, bağımsız değişkenler için katsayıların (her nekadar odd ratio şeklinde belirtilmesine rağmen) sayı cinsinden hesaplanıyor olması, bu katsayılara ait istatistiki anlamlılıkların ve güven aralıklarının saptanıyor olması, özetle sürecin stokastik olması benim gibi fani bir sosyal bilimci için bu sürecin matematiksel olarak nitelendirilmesi açısından yeterlidir.

    Tahminen siz de onaylarsınız, bu nadir güzellikteki tartışmanın daha da anlamlı olabilmesi için aslına bakarsanız istatistik ve matematik bilimlerinin epistemolojisi üzerinden konuşulması gerekiyor. Mümkündür ama bu tartışma bizi yukarıda yazdığınız yazının çerçevesinden çıkmaya zorlayacaktır ki samimiyetle söylemem gerekirse yukarıdaki yazı bu sıkıcı tartışmayı hiç haketmiyor. Kasım ayında bir sunum için büyük bir ihtimalle Zürih’te olacağım belki de bu konuyu orada bir kahve eşliğinde devam ettirebiliriz.

    Konuyu değiştirmek ve belki de “daha eğlenceli” hale getirmek için Türkiye’deki kamuoyu yoklamaları ve şirketleri hakkında yayınlanmış “internetten gördüğüm” bir wikileaks belgesini okuyucuların dikkatine sunmak isterim.

    http://www.iyibilgi.com/haber.php?haber_id=207860&do=print

    İyi çalışmalar dileklerimle

    • Merhaba Emre

      Kullandığım ifadeler konusunda haklısınız. Ordinal ölçekteki verilerin matematiksel olarak „anlamsız“ olduğunu ana metin içinde, pie chart’ın altında ifade ettiğim için dipnotta tekrarlamaya gerek görmemiştim ama tekrarlasaydım sanırım anlaşılması daha kolay olurdu. Bu arada matematiksel anlamsızlıktan bahsederken kastım zaten „statistical significance“ değil, ilk cevabımda örneklediğim gibi “ortalama 3.2 oranında liseli olmak” gibi bir anlamsızlıktan bahsediyorum.

      Aslında gördüğüm kadarıyla aşağı yukarı aynı şeyden bahsediyoruz. Zaten Bilgiç ve Kafkaslı’nın çalışmasındaki problemler de bizim burada teknik düzeyde tartıştığımız logit/probit prosedürleriyle ilgisiz bir durum. Abartısızca bütün ölçekler yanlış kullanılmış (fazla detaya girmeyip bıraktığım yerler var). Örneğin nominal-dikotom olması gereken yerlerde ordinal kullanıldığı olmuş. Dolayısıyla numunenin “ortalamada 1.32 oranında LGBT” olması gibi tuhaf, anlamsız sunumlar mevcut ve bunların bir de sanki bir anlam ifade ediyor gibi ortalamaların aritmetik büyüklüğüne göre sıralanmış olması, bundan çıkarım yapılması gibi bir komedi söz konusu. Bundan ötürü bu tartışmayı şahsen hiç tatsız bulmadım, bence bilakis umarım yazının ardından bu yorumları okuyanların da yararlanacağı güzel bir sohbet oldu.

      Son olarak logit/probit yahut log likelihood prosedürleriyle ilgili yorumunuza kısaca değinmek istiyorum, burada da aslında ortak bir yerde duruyoruz. İfade ettiğiniz gibi, bunları hesaplama sürecinin kendisi elbette matematiksel. Zaten istatistik bu amaçla hareket ediyor: Metrik olmayan fenomenleri de nesnelleştirebilme ve nesnel, ölçülebilir ilişkileri saptama amacı. Dolayısıyla bu saydığınız prosedürlerin tamamı „değişkenler arası olasılıksal ilişkiye dair“ matematiksel süreçler. Örneğin diyelim ki kuzey ülkelerindeki insanların binalar için kırmızı, mavi, yeşil gibi canlı renk tonlarını seçme „olasılığı“, ölçülüyor. Yani kuzey ülkesi etkisinde (nominal IV) renklere (nominal DV) dair seçim olasılığı, numune içindeki yönelimlerin gözlenen nicel yoğunluğu üzerinden açıklanıyor (kırmızının pembeye matematiksel üstünlüğü veya kuzeye gittikçe kilometre başına kırmızı badana daha da kırmızılaşıyor gibi bir mantık üzerinden değil. Özetle: burada ölçülen şey değişkenin abc kategorisinde kayıtlı olan rengin kendisi değil. Oysa metrik, yani matematiksel içerikli ölçeklerde, ölçülen/operasyona tabi tutulan şey, değişken olarak kayıtlı bulunan her ne ise (boy, kilo, IQ, beyin hacmi, cevap hızı) odur). Ordinal ve nominal ölçekler matematiksel değildir denirken zaten kastedilen budur, yani kırmızı, yeşil ve mavinin ortalamasının alınıp, ortalamada İskandinav şehirleri kavuniçi çıkıyor demenin imkansızlığından ve anlamsızlığından bahsediyoruz. Bu sebeple de logit/probit gibi modeller Discrete Choice yahut Qualitative Reponse Models başlığı altında toplanır, zira burada ölçülen şey tam olarak belli bağımsız değişkenlerin etkisi altında bağımlı değişkenin kategorilerine yapılan “choice/response” niceliği olmaktadır, nominal yahut ordinal kategorinin içine yazılı olan araba modeli, renk ya da okul tiplerinin çarpım veya bölümü değil. Bunu tabii ki size anlatmıyorum, zira siz benim ne dediğimi gayet iyi görüyorsunuz. Daha ziyade istatistik konusunda çok bilgi sahibi olmayan ve dışarıdan bu sohbeti okuyanların aydınlanması için yazdım.

      Link için ayrıca teşekkürler. Bu yazı dizisinin ikinci bölümünde bu linkte bahsedilen duruma dair bir şeyler yazıyor olacaktık zaten. Zürih’e yolunuz düştüğünde de görüşüp bir kahve içmeyi elbette çok isterim.
      Sevgiler, selamlar.

  4. Reblogged this on medium / media and commented:

    Onur Yavuz, koyu “bilimsel” etiketli, janjanlı kitapların içlerindeki derin boşluğu pek güzel deşifre etmiş…

  5. Merhaba, Onur Yavuz. İstatistik bilginiz kuşkusuz çok iyi. Ancak sosyal bilimler söz konusu olduğunda maalesef anlattığınız sınırlılıklar çoğu araştırmada yer almaktadır; bu durum sosyal bilimlerin doğası gereği “insan”ı konu almasından kaynaklanır; özel olarak o araştırmanın geçerliğinden bağımsızdır. Elbette ki medyada ortaya çıkan her araştırma sonucuna “kesin bilgi” gözüyle bakılmaması gerektiğine değinmeniz açısından yararlı olmuş yazınız. Ancak zaten bilimde “kesinlik” kavramı oldukça sınırlıdır. Hele ki sosyoloji, psikoloji gibi bilim dallarını ilgilendiren konularda imkansız diyebiliriz. Bildiğiniz gibi bilim kümülatif ilerler. Dolayısıyla Bilgiç ve Kafkaslı’nın (araştırma raporlarını görmedim ve kendilerini de tanımam) ortaya koydukları verilere en güzel yanıt, o araştırmanın eksikliklerini kapatacak nitelikte başka araştırmalar yapmaktır diye düşünüyorum. En azından bu yazınızın sonunda bu tarz bir beklentiye yer vermenizi ummuştum. Araştırmacıları adeta bir dergi editörü gibi salt eleştirmenin bilime ya da en azından gezi direnişi ile ilgili yapılacak olan araştırmalara faydalı olacağını düşünmüyorum. Araştırmacıların kendi sınırlılıklarını belirttikleri sürece, baştan sona hatalı bile olsa; yapılan her araştırmanın değerli olduğunu düşünüyorum. Bu ülkede her gün gazetelerde “İsviçreli bilim adamları şu hastalığa çare buldu.” “Kadınların beyni erkeklerinkinden daha ağırmış” gibi saçma sapan başlıklarla bilimsel içeriği geçtim; rüya ya da burç yorumu hazırlayan kişilerin hayal ürünü olarak “bu gün de şöyle bir araştırma uyduralım” şeklinde hazırlandığını düşündüğüm yazıları bulmamız çok da zor değil. Özetle, şahsi olarak yazınızın anafikrini de oluşturan son cümlenizdeki “devamını yapmayın” şeklindeki yorumunuzun çok da yerinde olmadığını belirtmek isterim. Gezi direnişi henüz çok yenidir. Bu çalışmaları, pilot çalışma özelliği taşıyan, sınırlı katılımcı ile gerçekleştirilen incelemeler olarak değerlendirmek ve sonraki aşamada pilot çalışmanın eksikliklerinden çıkacak yeni ve daha kapsamlı araştırmaları beklemek daha yerinde olacaktır diye düşünüyorum. Sevgiler.

    • Merhaba Nilgün hanım

      “Ancak sosyal bilimler söz konusu olduğunda maalesef anlattığınız sınırlılıklar çoğu araştırmada yer almaktadır; bu durum sosyal bilimlerin doğası gereği “insan”ı konu almasından kaynaklanır; özel olarak o araştırmanın geçerliğinden bağımsızdır.”

      Bir sosyal ve iktisadi psikolog olarak çok net biçimde söylemek istiyorum ki şu yukarıdaki cümleniz iyi niyetle yazıldığı kuşkusuz olsa bile hiçbir geçerliliği yok ve kötü bir özür yahut bahaneden fazlası değil. Bir detaya not düşmem gerekirse de sosyal bilimlerdeki stokastik (yani deterministik olmayan) veri ilişkilerinin baştan aşağı yanlış ve manipülatif kurgulanmış bir araştırmayla ilgisi yok. Yazdığım yazı da zaten bunu anlatıyor. Araştırmada her şey, numunelendirmeden soru formatlarına kadar her şey istisnasız yanlış kurgulanmış. Bunların zaten istatistik bilgisiyle alakası yok, „araştırma dizayn“ metodolojisiyle ilgisi var. (Sınırlı katılımcılı dediğiniz araştırmada aşağı yukarı 3000 katılımcı bulunuyor ama yanlış seçilmişler)

      Başka araştırmaların yapılması bence de elzem. Ama Bilgiç ve Kafkaslı’nın araştırmasını pilot araştırma olarak baz alacak hiçbir araştırmanın iler tutar bir yanı olmayacaktır. Veya bu amatörlükle yapılan herhangi bir araştırmanın hiçbir değeri olmayacak, en fazla kamuoyu manipülasyonuna hizmet edecektir. Türkiye standartlarını bilemiyorum ama Avrupa’da (bir takım eski Demir Perde ülkelerini ve Yunanistan vb. “ahbap çavuş” kültürü ülkelerini bilemem) şu amatörlük ve kalitesizlikte bir materyalin ortalama bir üniversitenin etiketiyle piyasaya sürülme ihtimali yoktur. Bence artık Türkiye kötü yapılmış şeylere bahane bulmak alışkanlığını bırakıp iyiyi talep etme aşamasına geçerse yararlı olacak. Zira Türkiye’deki akademyanın genel hali dünyada zaten biliniyor: Türkiye bir metodolojik izansızlıklar ve intihal cenneti.

      Bir de further reading verelim: http://copy-shake-paste.blogspot.ch/2012/09/plagiarism-in-turkey.html

      • Onur Bey, alıntı yapmış olduğunuz cümlem, psikolojide araştırma yöntemleri 101 dersi gibi herkesin anlayabileceği dilden temel bir bilgiydi. Sizi yalnızca istatistik uzmanı diye düşünmüştüm; kusuruma bakmayınız. Anket Sonuçları Raporu’na göz attım. Değindiğiniz noktaların hepsine katılıyorum. Kimsenin avukatlığını yapmak gibi bir derdim yoktu zaten, ancak kendi sınırlılıklarını tatmin edici düzeyde belirttiklerini düşünüyorum o raporda. Zaten bilimsel araştırma raporu şeklinde değil daha çok resimli anlatımlı anket sonuçlarının bir özeti olmuş. Giriş niteliğinde bir literatür taraması, yöntem, amaç, bulguların tartışılması, literatürle karşılaştırılması gibi bir hedefleri olmamış; kaynakça bile mevcut değil. Bu açıdan lütfen beni yanlış anlamayın; yazınız hakikaten bilimsel bir dergide hakemlik ya da editörlük yapacak kadar iyi. Ancak o rapor sizin de belirttiğiniz gibi bilimsel nitelikte değil olsa olsa bilgilendirme niteliği taşıyabilir ki kendileri de bilimsel olma amacından söz etmemişler. Kaygılarınızı da haksız bulmuyorum. Bu nedenle son günlerde çok daha iyi anladığımız gibi medya söz konusu olduğunda, medyada yer alan bilimsel bilgi olarak sunulsa dahi, bireysel olarak herkesin kendi süzgecinden geçirip, bilgileri kendi yorumlaması gerektiğini kanısındayım. Sizin de amacınız bunların yorumlanmasını kolaylaştırmaktır anladığım kadarıyla. Bu sebeple yaptığınız açıklamalar ve verdiğiniz bilgiler için teşekkürler. Samimiyetle şunu belirtmek isterim ki; belki de tezimde niteliksel analiz kullandığım ve “t testi, ANOVA yok mu en azından cluster analizi yapsaydınız” şeklinde sorulara maruz kaldığım için üstüme alınmışımdır 🙂 Sevgiler.

    • Kalitatif (niteliksel) metotların (kullanıldıkları bağlam doğru olduğu sürece) yararlı enstrümanlar olduğuna ve maalesef hafifsendiklerine de katılıyorum. Yazımda kısaca buna da değinmeye çalışmıştım ben de. Yorumunuz için ayrıca teşekkür ediyorum.

  6. Onur (ve Emre) methodolojik sorunlardan bahsediyorlar. Bunu anlamı oldukça açıktır; tasarım her aşamasında ciddi sorunlara sahip ve dolayısıyla, başından itibaren çökmüş bir tasarım. Bulgular ve sonuçlar, bu nedenle,geçersizdir. Türkiye’de ne yazık ki, pozitivist yönteml bilmeksizin, eline bir anket alarak ve birilerine sorular sorarak ardından da tek değişkenli ve iki değişkenli analizler yaparak araştırma yaptığını sananalar çok. Daha kötüsü, bu “araştırmacıların” ve çoğu kişilerin de bilmek ve kendini düzeltmek gibi bir çabası da yok: Nasıl olsa millet/okuyucular yutuyor. Yutmayanların da çabası var olan cehaleti-yeniden üreten egemenlik içinde eritilip gidiyor. Onur’a ne tür bir ciddi durumda olduğumuzu görmesi için benim web sayfamdaki araştırma sorunları ile ilgili yazılarımı ve TRT ve RTÜK araştırmaları ile ilgili araştırma kitabımı okumasını öneririm. Web sayfam: irfanerdogan.com (tr eki yok). Sosyal bilimlerde bir şeylerin geleneksel olarak yanlış yapılması eklenen ve yinelenen yanlışları meşrulaştırmaz: Çözüm, yanlış yapmamak için pozitivist yöntemi öğrenmektir. Ayrıca, “bir istatistikçiye vererek data analiz ettirme” işinden de vazgeçilmesi gerekir; çünkü istatistik bilmeyen, istatistikçinin verdiği dağılım ve istatistikleri yorumlayamaz, Neresinden tutsan, parçalanıyor, ama kimin umurunda: Yaptıkları araştırmaların ciddi tasarım ve geçerlilik sorunu olduğunu açıkladığım rapora bakan denetleyicinin verdiği yanıt her şeyi özetliyor: Ben imzamı atar, paramı alırım.
    irfan erdogan

  7. Bir şeyin yanlış olduğunu açıklamak için, bu açıklamanın ötesine geçip araştırma yapma zorunluluğu yoktur. Bir araştırmadaki yöntembilimsel hataları gösteren bir meta-analiz, “yeni araştırmalara gerek vardır” gibi alakasız bir sonuç sunmaz: metodolojik yapıyı inceler ve bu inceleme sonucunda bulgularını ve sonuçlarını sunar. Bu bulgular ve sonuçlar da “yeni veya daha fazla araştırma yapılmalı” gibi meta-analiz bağlamında geçersiz olan öneriler sunmaz; metodolojik bulgular ve bu bulgulara dayanan –elbette bu bağlamda var olan durum ve bilgiyle ilişkilendirmeler yaparak (var olan durum irdelemesi yaparak)– sonuçlar ve de öneriler sunar. Bu tür meta-analiz “yanlışlara bahane bulma” için yapılmaz, yanlışlardan da hareket ederek doğru olanın yapılması için yapılan değerli bir girişimdir, özellikle şakşakcılığın çok yaygın olduğu ve doğruyu söyleyenin dokuz köyden kovulduğu ortamlarda.
    Bu tür meta-analizler daha çok yapılmalı ve daha çok dolaşıma sokulmalı ki yanlışın doğrunun yerini alarak caka sattığı ortamlar egemenliklerini yitirsinler. Sorun sadece basit yanlış yapma sorunu değil, aksine çok ciddi sonmuşlar getiren bir “bilgi üretiminin, dolaşıma sokulmasının ve kullanımının doğası” sorunudur. Bu nedenle Onur ve benzeri insanların meta-analizle veya benzeri analizlerle yaptıkları katkı çok değerlidir.

    irfan erdogan

    • Yapıcı yorumlarınız için çok teşekkürler. Manzara şöyle ki Türkiye’de maalesef akademik dünyada istatistiksel araştırma yapmayı bilen insan az ama daha kötüsü toplumda istatistik okumayı bilen insan sayısının daha da az olması her türlü aktöre pseudo-istatistikler ile kamuoyu manipülasyonu yapma olanağı sağlıyor. Bizim de bu yazıları yazma kararı almamızın arkasında bu döngüyü kırma isteği var.

  8. Yazıyı yazan ve yorumlarıyla destekleyen arkadaşlarıma beni bilgilendirdikleri için teşekkür ederim. 🙂

  9. Çabanız takdire değer ve acı bir gerçeği insana hatırlatıyor. O da lisans öğrencisi halimle bile şu olayların bitmesinden günler geçmeden çıkartılan “analiz,” “günce” veya “inceleme” kitaplarının “akademik” değerinin olmadığını bilmeme rağmen, bu metinlere güvenerek akademik çalışma yapmayı düşünebilecek akademisyenler olduğu gerçeği. :/

  10. Herhalde Türk Akademisinin diğer temel sorunlarından biri de diğer çalışma alanlarının eksiği ve doğrusuyla ortaya döktüklerine salt kendi alanındaki sicilini tasdik etmek amacıyla ya da adeta bir türcü gibi mastürbatif bir şekilde saldırmak olsa gerek. Özellikle kariyerinin başındakilerde daha çok görülür. Herhangi bir doçentin çok yetersiz bir lisans öğrencisinin çalışmasına bile not düşmeyeceği seviyesizlikte yapılan bu haklı eleştirilerin devamına dair yorumum: Lütfen bu şekilde yapmayın, ki zaten pseudo-akademik bir çalışmanın akademik yeterlilikten çok akademik geçerliliğinin sorgulandığı yazının bırakın akademik bir dergiyi bir gazetenin editörünün kaleminden bile geçemeyecek bu üslubu akademiye neler katar kim bilir. Otur sıfırcı nesillerden ne farkınız var diye kendinize sorarak, kendi psikolojik keşfinizi siz yapın, geçerliliğim sorgulanmadan bitireyim…

    • “Herhalde Türk Akademisinin diğer temel sorunlarından biri de diğer çalışma alanlarının eksiği ve doğrusuyla ortaya döktüklerine salt kendi alanındaki sicilini tasdik etmek amacıyla ya da adeta bir türcü gibi mastürbatıf bir şekilde saldırmak olsa gerek.”

      Burada kimden bahsettiğinizi bilemiyorum, şahsen Türk akademisinin bir parçası değilim. Ait olduğum akademik gelenekte ve elbette evrensel bilim kriterlerine göre herhangi bir üniversite etiketiyle çıkan şu veya bu yayının söz konusu kalitesizlikte olması “en iyi ihtimalle” benim yukarıdaki yazıda verdiğim tepkiyi çekecektir (gerçekçi ihtimalle daha sert bir tepki gelecektir). Bir diger iyi ihtimalle ise, eger yayınlanma umuduyla düzgün bir akademik dergiye yollanıldıysa düzeltme önerisi yapmaya gerek bile görülmeden doğrudan reddedilecektir. Siz hangi akademik gelenekten geliyorsunuz bilemiyorum. Üniversite etiketi ve “araştırmacı/öğretim görevlisi” titriyle bir şey yayınlıyorsanız bunun altını dolduracak profesyonel kaliteyi sunmak “zorundasınızdır”. Ya da gereken kalifikasyona sahip değilseniz haddinizi bilecek ve üniversite etiketiyle, akademisyen titriyle kalitesiz yazılar yayınlamayacaksınız.

      “Herhangi bir doçentin çok yetersiz bir lisans öğrencisinin çalışmasına bile not düşmeyeceği seviyesizlikte yapılan bu haklı eleştirilerin devamına dair yorumum”

      Yukarıdaki makalemde eleştirdiğim “yayın”, gariban bir lisans öğrencisinin sömestr ödevi değil zaten, araştırma/öğretim görevlisi titriyle ve bir kurumsal etiketle yayınlanmış bir materyal. Yani burada da meseleyi feci şekilde ıskalamışsınız. Seviyeden ne anladığınız da bir muamma olarak ortada duruyor.

      “Lütfen bu şekilde yapmayın, ki zaten pseudo-akademik bir çalışmanın akademik yeterlilikten çok akademik geçerliliğinin sorgulandığı yazının bırakın akademik bir dergiyi bir gazetenin editörünün kaleminden bile geçemeyecek bu üslubu akademiye neler katar kim bilir.”

      Bu cümlenizden pek bir şey anlaşılmıyor. Fazlaca asabiyetle yazmışsınız sanırım. Pseudo-akademik çalışma kısmına gelince, o pseudo-akademik çalışma “Bilgi Üniversitesi Yayınları” etiketiyle bir “bilimsel araştırma” olarak çıktı. Yani burada muhatap almanız gereken bu yayının kurumsal olarak arkasında bulunan Bilgi Üniversitesi. Bu arada sanırım hiç bilimsel münazaraya şahit olmamışsınız ki üslubum sizde anlaşılması zor bir travma yaratmış. Gelgelelim, üslup gibi “subjektif” bir konuyu ayrıca bir kenara bırakırsak yazının teknik içeriğine dair söyleyecek hiçbirşeyiniz olmaması ve bu kadar hırslanmanız da çok garip (kalifikasyonunuz nedir merak ettim).

      “Otur sıfırcı nesillerden ne farkınız var diye kendinize sorarak, kendi psikolojik keşfinizi siz yapın, geçerliliğim sorgulanmadan bitireyim…”

      Hala burada eleştirilen kişilerin gariban lisans öğrencileri değil kurumsal etiket altında yayın yapan (ve gerektiğinde not verme/not kırma” iktidarına sahip) akademik görevliler” olduğunu hatırlamamakta direnmeniz çok tuhaf. Yazıyı herhalde yorgun bir vaktinizde okuduğunuzu tahmin ediyorum, zira hiçbir şey anlamamışsınız ve girdiğiniz yorum aslinda hiçbir şey anlatmıyor (bilemediğimiz bir nedenden ötürü feci hırslandıgınızı hissettirmek dışında).

      • Üslup:

        Benim gerçekleştirmediğim bir çalışmaya yapılan eleştiriler beni sinirlendirmez, ama burada beni rahatsız eden temel şey birçok kez Türk akademisi dahilinde karşılaştığım üslup sorunları. İçinde bulunduğunuz akademinin lokasyonu yüzde yüz belirleyici olamıyor, bu tip tartışmalara girerek etkilenebiliyorsunuz. Sizin gibi tek tek sözlerinizi cımbızlayamam. Ama gerçekten dehşetten dehşete sürüklendiniz mi diye merak etmiyor değilim. Olağanüstü bir korku ile sarsıldınız mı yani? Ben şu ana kadar katıldığım hiçbir konferansta benzer bir üslupla (I was horrified) vb karşılaşmadım (ne şahsen ne de gördüğüm bir başkası)… Sizin katıldığınız konferanslarda bu tip şeyler oluyorsa, sanırım alanınıza dair olsa gerek ve bundan sonraki kariyerinizde sabır ve başarı dilerim ancak… Tek örnekten gittim ama birçok benzeri de çıkartılabilir. Hakeza sizin benim üslubuma dair haklı olarak yaptığınız eleştiri sizin tüm yazınızda mevcut.

        İçerik:

        Yaptığınız eleştirilerin içeriğini tam anlamıyla değerlendirebilecek kadar bir kalifikasyona sahip değilim. Belki sadece araştırma hazırlama metodlarına dair yorumlarınızı bir nebze tartışabilirim. Bence farklı düşündüğümüz ve tüm bu eleştirinin temelinde olan farklılık araştırmanın amacına dair varsayımlarımız. Ben bu tip çalışmaları ileriye dönük metod olarak daha kapsamlı denek olarak daha sınırlı etnografik çalışmaların öncüsü olabilecek ve bu gayede bireysel olarak tanımlanan siyasal kavramlara dair epistemolojik bir done sağlayabilecek çalışmalar olarak görüyorum (Bir diğer sözle snowball sampling şeklinde hazırlanan bir denek ile “bu insanlar kim ve ne istiyor” keşfindeki bir anket yorumundan öte bir şey değil.)

        Siz bunun dahi mümkün olamayacağını düşünüyorsunuz, ve metodolojik tercihlerin yarattığı textbook sıkıntılardan bahsediyorsunuz. Kendi alanım olmadığı için bu tip bir tartışmaya aslında girmek istemem, hem şu anda açıklayıcıdan çok tepkisel cevap paradigmasına girmiş bulunuyoruz, ne tür bir soru sorarsam sorayım, salt bir saldırı olarak algılanıp şikayetçi olduğum üslup ile karşılık verilecek. Yine de, kendinizce haklı olarak (içerik bazında) ve bazı temel standartları arayarak bu eleştirileri yaptığınız belli. Bunun da nedeni bunun Bilgi Üni Yayınları’ndan çıkması ise anlıyor ve tamamen katılıyorum, salt online olarak kalmalıydı. Ama nedense bu salt popüler bir blog çalışması olarak kalsa da aynı kararlılıkla bunu yaparmışsınız gibi geliyor. Yine de spekülasyon üzerine konuşmaya gerek yok.

        Ad Hominem:

        Genel olarak argümantasyon konusunda şüphe duyduğum ad hominem vb. tercihlere girmeyin, gereği yok, emeğinizi gölgeliyor. Sizin tabirinizle dehşet verici, benim kullanacağım şekilde rahatsız edici bir üstünlük psikolojisine hiç gerek yok. Yazının teknik içeriğine dair söyleyecek hiçbir şeyimin olmaması, üslubunuza dair bir yorum yapma hakkımı elimden almıyor. Nasıl bu yazınız bu şekliyle bir dergide üslup sorunları nedeniyle response olarak yayımlanamazsa, ben de teknik bir response yazma zorunluluğunda değilim. Yeri gelmişken de lütfen şunun cevabını dürüstçe verin, hiçbir kelimesine dokunmadan bu tip bir response iyi bir akademik dergide yayımlanabilir mi? O zaman zaten üslubun salt subjektif bir kavram olmadığını da görebilirsiniz.

      • Sizin stilinizde cevap vereyim.

        Üslup:

        Açıkçası Türkiye’de artık çarpık bir şeyler yaparken sobelenen kişi ve yapılanmaların kendilerine yöneltilen eleştirilere “üslup üslup” diye sızlanarak, ortaya dökülen çarpıklığı bastırma eğilimi oldukça tatsız bir boyuta ulaştı. O yüzden, aynı yurtseverliğin kötülerin son sığınağı olması gibi “üslup diye sızlanmak söyleyeceği hiçbir şey olmayan çıplak kralların son sığınağıdır” diye düşünüyorum. Bu elbette sizin şahsınıza dair bir yorum değil, Türkiye’de olan bitene dair dışardan genel bir gözlemim.

        “Dehşete düştüm” ifadesinin sizde yarattığı bu garip tepkiye gelince… Gene ıskaladığınız bir durum var. 1) bir akademik eleştiri makalesinde “dehşete düştüm” gibi bir ifadeye ender bir biçimde rastlanacağını düşünüyorum, zira Türkiye gibi ülkeler dışında bu kadar kalitesiz ve yanlış yönlendirici bir materyalin resmi bir hüviyetle akademik platforma sunulması (journal veya konferans) ve dolayısıyla akademik eleştiri alması imkansıza yakın bir durum. Özetle, zaten böyle bir materyal “I was horrified” tepkisi verecek kişilerin önüne o tepkiyi vermelerini gerektirecek bir resmiyette sunulamaz. Eğer sunulursa da o tepki gelir, gelecektir (haklı olarak). Bu durum hasıl olduğu takdirde de yarattığı tepki örneğin şöyle bir şey oluyor http://news.nationalgeographic.com/news/2013/10/131003-bohannon-science-spoof-open-access-peer-review-cancer/ Sanırım burada çirkin üslubundan dolayı ayıplayacağınız taraf da National Geographic olacak (shoddy science journal ifadesinden ötürü, hem de open access journal gibi “idealist amaçları olan bir yapı hedef alınmış). 2) Yazınızı sonuçlandırdığınız “üslup subjektif midir değil midir” konulu soruya cevap olarak: Söz konusu makale ve onun ardılı (Karl Popper’ın Askerleriyiz) yazıldıkları üslupta hiçbir değişiklik önerisi yapılmadan bu yıl çıkması planlanan bir akademik derlemeye dahil edildi zaten. İçiniz bu konuda rahat olabilir.

        Özetle, şu noktadan itibaren üslup konusunda tartışmayı tamamen fuzuli buluyorum ve bu konuda herhangi başka bir yorum yapmayacağım.

        İçerik:
        Bu konuda yapmış olduğunuz yorumun herhangi bir bilimsel/metodolojik geçerliliği yok. Neden olmadığı da yukarıdaki ve onun ardılı olan makalede detaylı biçimde anlatılmış durumda zaten.

        Ad hominem:
        Bundan şikayetçi olmanız çok garip. Zira 1) ne Bilgiç ve Kafkaslı’nın çalışmasına eleştirilerimde ne de size verdiğim cevapta bir ad hominem mevcut değil, zira sizin veya onların kişiliğinize dair değil, bilemediğim kalifikasyonunuza ve argümanlarınıza yahut yazdıklarınızın tonlamasına dair yorumda bulundum. 2) Bu makale altına ilk girmiş olduğunuz yorumun zaten ilk paragrafı pasif agresif formüle edilmiş ad hominem cümlelerden ibaret. Bence bu konuda siz daha dikkatli olmalısınız.

Trackbacks

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: