Program Döngüsü ve MEAL

Bir programı anlamanın en doğru yolu, onu yalnızca faaliyetler toplamı olarak değil, bir soruna verilmiş organize bir cevap olarak görmektir. Her program, açık ya da örtük biçimde bir ihtiyaç tespitine dayanır. Bir eksiklik, bir eşitsizlik, bir erişim sorunu, bir risk ya da bir gelişim alanı görülür; buna karşılık belirli bir müdahale tasarlanır. Bu nedenle program kavramı, yalnızca “ne yapıyoruz?” sorusuyla değil, “hangi soruna neden bu şekilde cevap veriyoruz?” sorusuyla anlaşılır. Program mantığı tam burada başlar.

Bu mantık içinde sorun, müdahale, uygulama ve beklenen değişim arasında bir ilişki vardır.

• Sorun , programın varlık nedenidir.
• Müdahale , bu soruna cevap vermek için seçilen yöntemdir.
• Uygulama , seçilen yöntemin hayata geçirilme biçimidir.
• Beklenen değişim ise müdahalenin sonucunda oluşması beklenen farktır.

MEAL alanı bu soruyu sistematik hale getiren çerçevedir. Monitoring, Evaluation, Accountability ve Learning kavramlarının bir araya gelmesiyle oluşan bu alan, tek bir teknik iş ya da tek bir uzmanlık refleksi değildir. Bir programa farklı açılardan bakmayı mümkün kılan, birbirini tamamlayan ama birbirinin yerine geçmeyen soru kümeleri üretir. Bu çerçeve sayesinde program yalnızca yapılmış bir iş değil, görülebilen, sorgulanabilen, tartışılabilen ve gerektiğinde değiştirilebilen bir yapıya dönüşür. MEAL’in merkezinde ölçüm kadar muhakeme, veri kadar yorum, raporlama kadar sorumluluk, kayıt kadar öğrenme vardır.

İzleme, bu çerçevenin en düzenli ve en sürekli işleyen bileşenidir. İzleme temel olarak “ne oluyor?” sorusunu sorar. Program planlandığı gibi ilerliyor mu, hedeflenen gruplar gerçekten ulaşıyor mu, katılım devam ediyor mu, kimler dışarıda kalıyor, nerede aksama ya da sapma oluşuyor, süreçte kaliteyi tehdit eden işaretler var mı? İzleme, bu anlamda programın işleyişini görünür kılar. Görünürlük burada kilit kavramdır. Çünkü birçok programın temel sorunu, kötü niyet ya da emek eksikliği değil, sahada olup bitenin yeterince görünmemesidir. İzleme, bu sisli alanı açar. Fakat izleme, ne kadar güçlü olursa olsun, programın toplam anlamını kendi başına kurmaz. Çünkü süreçte ne olduğunu göstermek, bunun neden önemli olduğunu ya da ne kadar işe yaradığını açıklamakla aynı şey değildir.

Değerlendirme bu noktada devreye girer. Değerlendirme, izlemeyi dışlayan ya da onun yerine geçen bir alan değildir; çoğu durumda izleme verilerini kullanır. Fakat izleme verisinin bulunması ile değerlendirme yapılmış olması aynı şey değildir. Değerlendirme, görünür olanı yorumlar. Sürecin ne anlattığını, programın hedeflenen değişime temas edip etmediğini, müdahalenin ihtiyaca uygun olup olmadığını, sonuçların ne kadar anlamlı olduğunu, programın kimi için daha fazla ya da daha sınırlı değer ürettiğini sorgular. Bu yüzden değerlendirme, yalnızca bilgi toplama işi değil, bir değer biçme ve anlamlandırma sürecidir. İzleme süreci düzenli görünürlük üretirken, değerlendirme bu görünürlüğün program açısından ne söylediğini sorar. İkisi arasındaki ilişki hiyerarşik değil, işlevseldir. İzleme olmadan değerlendirme çoğu zaman zayıflar; ama yalnızca izleme verisine sahip olmak da değerlendirme yapıldığı anlamına gelmez.

Hesap verebilirlik, bu çerçeveye yönetişim ve ilişki boyutunu ekler. Bir kurumun ya da programın yalnızca kendi faaliyetlerini anlatması değil, neyi neden yaptığını açıklayabilmesi, kendisinden etkilenen kişilere karşı sorumluluk taşıması, sorgulanabilir olması ve gerektiğinde yanıt üretip kendini düzeltebilmesi anlamına gelir. Bu yüzden hesap verebilirlik, raporlamayla karıştırılmamalıdır. Raporlama, daha çok kurumun kendi performansını yukarıya doğru anlatma biçimidir. Hesap verebilirlik ise bu anlatının, programdan etkilenen kişilerin deneyimi karşısında sınanmasını gerektirir. Başka bir deyişle, soru yalnızca “biz ne yaptık?” değildir; “bunun muhatapları ne yaşadı, ne kadar bilgi sahibiydi, ne kadar söz söyleyebildi ve kurum onların deneyimi karşısında ne kadar yanıt verebildi?” sorusudur. Hesap verebilirlik bu nedenle yalnızca etik bir iyi niyet değil, program kalitesinin yapısal bir boyutudur. Eğer insanlar programın onlara nasıl geldiğini söyleyemiyorsa, kurum kendi kör noktalarını da görmekte zorlanır.

Öğrenme, bütün bu yapının son halkası değil; onun anlam üretme kapasitesidir. Fakat öğrenme çoğu zaman yanlış anlaşılır. Raporun sonuna birkaç “lesson learned” yazmak ya da toplantıda “ders çıkardık” demek öğrenme değildir. Öğrenme, topladığımız ve yorumladığımız bilginin kararları, yöntemi, içeriği, hedeflemeyi ya da erişim biçimini değiştirmesidir. Başka bir deyişle, bilgi ancak uyarlama ürettiğinde öğrenmeye dönüşür. “Bu bilgiyle neyi farklı yapacağız, neyi düzelteceğiz, neyi daha kapsayıcı, daha güvenli, daha etkili hale getireceğiz?” soruları learning alanının asıl sorularıdır. Kurumsal öğrenme, veri depolamada değil, yöntem değiştirmede görünür olur.

Bütün bu kavramlar birlikte düşünüldüğünde, iyi bir MEAL sistemi şu özellikleri taşır: programı yalnızca faaliyet düzeyinde görmez; beklenen değişime bakar. İzleme ile değerlendirmeyi karıştırmaz; ama birbirinden koparmaz. Raporlamayı önemser; ama hesap verebilirliği ona indirgemez. Geri bildirim mekanizması kurar; ama kanalın varlığıyla yetinmez, güvenli ve işler olup olmadığını sorgular. Veri toplar; ama veri romantizmine düşmez. Göstergeleri kullanır; ama onları gerçeğin tamamı sanmaz. Öğrenmeden söz eder; ama onu not alma düzeyinde bırakmaz, karara ve uyarlamaya bağlar.

Sonuçta MEAL, daha çok veri üretmek için değil, daha dürüst görmek, daha sağlam karar almak ve gerektiğinde değişebilmek için vardır. Bu yüzden teknik bir destek işlevinden ibaret değil; bir programın ne kadar açıklanabilir, ne kadar sorgulanabilir, ne kadar güvenli ve ne kadar değişebilir olduğunun temel ölçülerinden biridir.

Diğer Temel Kavramlar

• Kavramsal çerçeve (Conceptual framework): Bir programın ya da analizin dayandığı temel kavramları, bunlar arasındaki ilişkileri ve düşünsel mantığı gösteren üst çerçevedir. Ne olduğunu, neden önemli olduğunu ve hangi kavramların birbirine nasıl bağlandığını açıklaştırır.
• Mantıksal çerçeve / Logframe (Logical framework): Bir müdahalenin amaç, sonuç, çıktı, faaliyet, gösterge, doğrulama kaynağı ve varsayımlarını düzenli bir yapı içinde gösteren planlama ve izleme aracıdır. Program mantığını daha operasyonel hale getirir.
• Framework / Çerçeve: Bir konuyu anlamak, düzenlemek ya da uygulamak için kullanılan genel yapıdır. Kavramsal olabilir, analitik olabilir ya da uygulama odaklı olabilir.
• Sonuç çerçevesi (Results framework): Bir programın hangi düzeyde hangi değişimleri hedeflediğini gösteren yapıdır. Girdilerden çok, beklenen sonuç ve etkiler arasındaki ilişkiye odaklanır.
• Sonuç zinciri (Results chain): Girdi, faaliyet, çıktı, sonuç ve etki arasındaki mantıksal sıralamayı ifade eder. Bir müdahalenin nasıl değişim üretmesinin beklendiğini anlatır.
• Değişim teorisi (Theory of Change): Bir programın hangi yollarla, hangi koşullarda ve hangi varsayımlar altında değişim yaratmasının beklendiğini açıklayan daha ayrıntılı nedensel modeldir. Logframe’den daha açıklayıcı ve daha analitiktir.
• Varsayım (Assumption): Programın başarısı için doğru olması beklenen, ancak programın doğrudan kontrol etmediği koşuldur. Yanlış çıkarsa sonuçları etkileyebilir.
• Risk: Programın hedeflerine ulaşmasını, güvenli yürümesini ya da beklenen değişimi üretmesini olumsuz etkileyebilecek olasılık veya durumdur.
• Girdi (Input): Programın yürütülmesi için kullanılan insan kaynağı, bütçe, zaman, ekipman, bilgi ve diğer kaynaklardır.
• Faaliyet (Activity): Programın yürüttüğü somut iş, oturum, eğitim, ziyaret, dağıtım ya da uygulama adımıdır.
• Çıktı (Output): Faaliyetlerin doğrudan ve görülebilir ürünüdür. Örneğin oturum sayısı, ulaşılan kişi sayısı, üretilen materyal gibi.
• Sonuç (Outcome): Programın kısa ya da orta vadede üretmesi beklenen değişimdir. Bilgi, beceri, davranış, erişim ya da kapasite değişimi bu düzeyde yer alır.
• Etki (Impact): Daha geniş, daha derin ve çoğu zaman daha uzun vadeli değişimi ifade eder. Programın daha büyük yaşam koşulları ya da sistemler üzerindeki etkisine bakar.
• Amaç (Goal / Objective): Programın ulaşmak istediği genel yönü ya da hedeflenen değişim alanını ifade eder. Düzeyine göre genel amaç ve özel amaç olarak ayrılabilir.
• Özel amaç (Specific objective): Programın daha sınırlı bir zaman ve kapsam içinde doğrudan katkı sunmayı hedeflediği sonuç düzeyidir.
• Gösterge (Indicator): Bir değişimi ya da ilerlemeyi izlemek için kullanılan ölçü işaretidir. Gerçekliğin tamamını değil, belirli bir yönünü temsil eder.
• Doğrulama kaynağı (Means of verification): Göstergeye ilişkin bilginin hangi kaynak veya araçtan elde edileceğini gösterir. Örneğin devam listesi, anket, gözlem notu, görüşme kaydı gibi.
• Temel değer / Baseline: Program başlamadan önceki durumu gösteren başlangıç ölçümüdür.
• Hedef değer (Target): Belirli bir sürenin sonunda ulaşılması planlanan düzeydir.
• Niteliksel veri (Qualitative data): Deneyim, anlam, algı, neden ve bağlamı açığa çıkaran veridir. Görüşme, odak grup, gözlem ve açık uçlu geri bildirimler buna örnektir.
• Niceliksel veri (Quantitative data): Sayıyla ifade edilen, oran, sıklık, miktar ve örüntü gösteren veridir.
• Analitik çerçeve (Analytical framework): Toplanan bilgiyi belirli sorulara göre çözümlemek ve yorumlamak için kullanılan sistematik bakış düzenidir.
• İzleme çerçevesi (Monitoring framework): Neyi, ne sıklıkta, hangi veriyle ve hangi sorumluluk dağılımıyla izleyeceğimizi gösteren yapıdır.
• Değerlendirme çerçevesi (Evaluation framework): Programın ne kadar anlamlı, uygun, etkili ve değerli olduğunu anlamak için kullanılacak soru setini, kriterleri ve kanıt yapısını gösterir.
• Karar kullanımı (Decision use): Toplanan verinin hangi kararları etkilemek için kullanılacağını ifade eder. Veri yalnızca kayıt değil, karar girdisi haline gelir.
• Uyarlama (Adaptation): İzleme, değerlendirme ve öğrenme bulgularına dayanarak programın yönteminde, içeriğinde, süresinde, hedeflemesinde ya da araçlarında yapılan değişikliktir.
• Kurumsal öğrenme (Organizational learning): Bilginin bireysel düzeyde kalmayıp kurumun kararlarını, süreçlerini ve uygulama biçimlerini değiştirmesi halidir.