Pendekatan Evaluasi yang Berorientasi pada Keahlian

Pendekatan yang berorientasi pada keahlian

Pendekatan yang berorientasi pada keahlian untuk evaluasi adalah mungkin jenis tertua dari evaluasi publik formal dan, seperti namanya, hal itu bergantung terutama pada keahlian profesional untuk menilai kualitas sebuah institusi, Program , produk, atau kegiatan. Misalnya, manfaat dari program pelatihan kepemimpinan bagi kepala sekolah dapat dinilai oleh para ahli dari berbagai bidang termasuk kepemimpinan, administrasi pendidikan, dan pelatihan yang akan mengamati program dalam tindakan, memeriksa bahan dan teori yang mendasarinya, mungkin mewawancarai beberapa pelatih dan peserta , atau, dengan cara lain, mengumpulkan informasi yang cukup untuk membuat keputusan dianggap tentang nilai.

Dalam kasus lain, kualitas rumah sakit dapat dinilai dengan melihat program-program khusus, fasilitas operasi, operasi ruang darurat, operasi rawat inap, farmasi, dan sebagainya, oleh para ahli di bidang kedokteran, pelayanan kesehatan, dan administrasi rumah sakit. Mereka bisa memeriksa fasilitas dan peralatan / perlengkapan rumah sakit prosedur operasional di atas kertas dan dalam aksi, data pada frekuensi dan hasil dari prosedur yang berbeda, kualifikasi personilnya, catatan pasien, dan aspek lain dari rumah sakit untuk detennine apakah itu memenuhi standar profesional yang sesuai.

Meskipun penilaian profesional yang terlibat untuk beberapa derajat di semua pendekatan evaluasi, yang satu ini jelas berbeda dari orang lain karena langsung, ketergantungan terbuka pada keahlian profesional sebagai strategi evaluasi utama. Keahlian tersebut dapat diberikan oleh evaluator atau ahli subjek-materi, tergantung pada siapa yang mungkin menawarkan yang paling dalam substansi atau prosedur sedang dievaluasi. Biasanya satu orang tidak akan memiliki semua pengetahuan yang diperlukan yang diperlukan untuk secara memadai mengevaluasi program, lembaga, atau instansi. Sebuah tim ahli yang saling melengkapi satu sama lain jauh lebih mungkin untuk menghasilkan evaluasi suara.

Beberapa proses evaluasi khusus adalah varian dari pendekatan ini, termasuk pemeriksaan doktor diberikan oleh panitia, review proposal panel, kunjungan lapangan dan kesimpulan yang ditarik oleh asosiasi akreditasi profesional, ulasan tentang lembaga atau individu dengan lembaga negara perizinan, ulasan kinerja staf untuk keputusan mengenai promosi atau kepemilikan, peer review artikel diserahkan ke jurnal profesional, kunjungan situs program pendidikan dilakukan atas perintah dari sponsor, ulasan program dan rekomendasi oleh bergengsi biru panel -ribbon, dan bahkan kritik yang ditawarkan oleh ahli di mana-mana yang melayani dalam peran pengawas.

Tabel 5.1              Beberapa Fitur dari Empat Jenis Pendekatan Evaluasi yang Berorientasi pada Keahlian

Jenis Pendekatan Evaluasi yang Berorientasi pada Keahlian	Strukturyang Ada	Diterbitkan Standar	Ditentukan Jadwal	Pendapat Beberapa ahli	Status Dipengaruhi oleh Hasil
sistem ulasan Formal	ya	ya	ya	ya	biasanya
sistem ulasan Informal	ya	jarang	kadang-kadang	ya	biasanya
ulasan panel Ad hoc	tidak	tidak	tidak	ya	kadang-kadang
ulasan individu Ad hoc	tidak	tidak	tidak	tidak	kadang-kadang

Untuk memaksakan ketertiban di berbagai evaluasi keahlian berorientasi kegiatan, kami telah mengorganisir dan akan membahas manifestasi ini dalam empat kategori: (1) sistem ulasan formal profesional, (2) sistem ulasan profesional resmi, (3) ulasan panel ad hoc, dan (4) ulasan ad hoc individual. Perbedaan dalam kategori ini ditunjukkan pada Tabel 5.1, sepanjang dimensi berikut:

1. Apakah ada struktur yang ada untuk melakukan review?

2. Diterbitkan atau standar eksplisit digunakan sebagai bagian dari tinjauan?

3. Ulasan dijadwalkan pada selang waktu tertentu?

4. Apakah ulasan ini termasuk pendapat dari beberapa ahli?

5. Apakah hasil tinjauan berdampak pada status apa pun yang sedang dievaluasi?

Pengembang  Evaluasi yang Berorientasi pada Keahlian

Pendekatan dan Kontribusinya

Sulit untuk menentukan asal-usul pendekatan ini, karena telah bersama kami untuk waktu yang sangat lama . Ini secara resmi digunakan dalam pendidikan di tahun 1800-an, ketika sekolah mulai standarisasi persyaratan masuk perguruan tinggi. Secara informal, itu telah digunakan sejak pertama kali seorang individu kepada siapa keahlian secara terbuka diberikan diberikan penilaian tentang kualitas dari beberapa usaha-dan sejarah bisu ketika yang terjadi. Beberapa gerakan dan individu telah memberikan dorongan untuk berbagai jenis evaluasi yang berorientasi pada keahlian.

Elliot Eisner, seorang evaluator awal dibahas kemudian dalam bab ini, menekankan peran connoisseurship (keahlian) dan kritik dalam evaluasi, peran yang diperlukan keahlian dalam materi pelajaran yang akan dievaluasi . James Madison dan Alexander Hamilton mengambil peran dari "evaluator ahli" dalam membahas dan menguraikan tentang arti dan manfaat dari Konstitusi baru yang diusulkan dalam The Federalist Papers. (Mereka ahli karena mereka berdua hadir dan aktif di Konvensi Konstitusi yang disusun dokumen. Dengan demikian, mereka juga evaluator internal) Tulisan-tulisan mereka yang berpengaruh pada saat itu dan masih digunakan oleh para ahli hukum di pengadilan kita untuk menafsirkan makna dari Konstitusi, yang menggambarkan tindakan penting yang dapat berasal dari penilaian beralasan oleh para ahli tentang suatu produk. Akreditasi lembaga pendidikan tinggi adalah aplikasi masa kini utama evaluasi yang berorientasi pada keahlian. Asosiasi Sekolah dan Kolese New England, yang diberikan akreditasi pertama dan selanjutnya akreditasi untuk perguruan tinggi dan universitas di New England hari ini, mulai tahun 1885 ketika sekelompok kepala sekolah dari sekolah menengah persiapan mulai bertemu dengan presiden perguruan tinggi di New England untuk membahas apa yang lulusan harus tahu harus siap untuk kuliah. Dengan demikian, lebih dari 100 tahun yang lalu, para pemimpin sekolah dan perguruan tinggi yang berbicara tentang cara-cara untuk menyelaraskan kurikulum mereka

Sistem Ulasan Profesional Resmi: Akreditasi

Dasar Sejarah

Untuk banyak orang, sistem Ulasan formal profesional paling akrab adalah bahwa akreditasi, proses dimana suatu organisasi memberikan persetujuan dari lembaga seperti sekolah, universitas, dan rumah sakit. Dimulai pada 1800-an, lembaga akreditasi regional di Amerika Serikat secara bertahap suppIanted sistem Barat yang dipinjam Eropa inspeksi sekolah. Badan-badan ini menjadi kekuatan ampuh dalam lembaga akreditasi Pendidikan tinggi selama tahun 1930-an. Pendidikan tidak sendirian dalam melembagakan proses akreditasi untuk menentukan dan mengatur kualitas institusinya. Upaya paralel yang berlangsung di profesi lain, termasuk obat-obatan dan hukum, sebagai Keprihatinan atas kualitas menyebabkan penerimaan skala luas profesional menilai upaya mereka mendidik sesama profesional. Mungkin contoh yang paling berkesan adalah pemeriksaan Flexner (1910) untuk sekolah kedokteran di Amerika Serikat dan Kanada di awal 1900-an, yang menyebabkan penutupan sejumlah sekolah ia disebut sebagai inferior (bermutu rendah). Sebagaimana Floden (1983) mencatat, studi Flexner ini tidak akreditasi dalam arti sempit, karena sekolah kedokteran tidak berpartisipasi secara sukarela, tapi itu pasti berkualitas sebagai akreditasi dalam arti yang lebih luas: sebuah contoh klasik dari penilaian pribadi mengevaluasi lembaga pendidikan.

Pendekatan Flexner ini  dari sebagian besar upaya akreditasi kontemporer dalam dua cara penting lainnya. Pertama, Flexner bukan anggota dari profesi yang upaya dia dianggap hakim. Seorang pendidik dengan tidak berpura-pura keahlian medis, Flexner tetap memberanikan diri untuk menilai kualitas pelatihan medis di dua negara. Dia berargumen bahwa akal sehat mungkin adalah bentuk yang paling relevan keahlian:

Waktu dan waktu lagi telah menunjukkan bahwa pikiran awam tak terkekang, adalah ... paling cocok untuk melakukan survei umum .... Ahli memiliki tempatnya, untuk yakin; tetapi jika aku diminta untuk menyarankan cara yang paling menjanjikan untuk belajar pendidikan hukum, saya harus mencari orang awam, bukan seorang profesor hukum; atau untuk cara suara untuk menyelidiki pelatihan guru, orang terakhir yang harus memikirkan mempekerjakan akan menjadi profesor pendidikan. (Flexner, 1960, p. 71)

Perlu dicatat bahwa titik Flexner ini hanya sebagian didukung oleh studi sendiri. Meskipun ia adalah orang awam dalam hal obat-obatan, ia adalah seorang pendidik, dan penghakiman-Nya diarahkan pada pendidikan kedokteran daripada praktek kedokteran, sehingga bahkan di sini sesuai keahlian tampaknya diterapkan.

Kedua, Flexner tidak berusaha untuk mengklaim dukungan empiris untuk kriteria atau proses ia bekerja, karena ia bersikeras bahwa standar dia digunakan adalah "jelas" indikator kualitas sekolah dan tidak membutuhkan dukungan serupa. Metodenya mengumpulkan informasi dan mencapai keputusan yang sederhana dan  berjalan-jalan melalui laboratorium diungkapkan ada atau tidak adanya aparat, spesimen museum, perpustakaan, dan siswa; dan bau yang menceritakan kisah dalam mengenai cara di mana anatomi dibudidayakan "(hal. 79).

Ketiga, Flexner ditiadakan dengan basa-basi profesional dan kritik sopan yang sering terjadi, bahkan dalam temuan negatif dari proses akreditasi saat ini. Kutipan laporannya satu sekolah termasuk dakwaan pedas seperti ini: "Ini adalah disebut peralatan kotor dan tidak teratur melampaui deskripsi. Ini adalah pakaian dalam anatomi yang terdiri dari sebuah kotak kecil tulang dan kering, fragmen kotor dari mayat tunggal. Sebuah inkubator dingin dan berkarat, mikroskop tunggal, ... dan tidak ada akses ke Rumah Sakit Daerah. Sekolah adalah aib untuk negara yang hukumnya mengizinkan keberadaannya "(Flexner, 1910, p. 190).

Meskipun contoh yang sangat baik dari keahlian yang berorientasi evaluasi (jika keahlian sebagai seorang pendidik, bukan seorang dokter, adalah batu ujian yang), Flexner ini pendekatan jauh seperti itu dari evaluator kontemporer yang melihat hukuman sebagai sine qua non evaluasi dan yang melihat banyak kriteria sebagai ekstensi jelas logika danakal sehat (misalnya, Scriven, 1973).

Akreditasi di Perguruan Tinggi Today.

Akreditasi di Amerika Serikat dan di banyak negara lain saat ini memenuhi kriteria kami untuk, sistem formal yang berorientasi pada keahlian. Sistem memanfaatkan struktur yang ada (umumnya suatu organisasi akreditasi regional atau nasional yang independen di Amerika Serikat atau instansi pemerintah di negara lain), standar yang diterbitkan oleh organisasi yang bertanggung jawab untuk akreditasi, jadwal yang ditentukan (misalnya, ulasan lembaga setiap 2, 5, atau 10 tahun), dan pendapat beberapa ahli, dan status lembaga, departemen, perguruan tinggi, atau sekolah dipengaruhi oleh hasil. Akreditasi adalah contoh yang sangat baik dari evaluasi yang berorientasi pada keahlian karena menggunakan orang-orang dengan keahlian dalam subyek program atau lembaga untuk membentuk penghakiman mengenai kualitas entitas yang akan dievaluasi. Akreditasi institusi atau program memberikan konsumen dan stakeholder lainnya dengan someindication kualitas lembaga, sebagaimana dinilai oleh para ahli di lapangan, dan dapat memfasilitasi keputusan sumatif. Misalnya, banyak siswa menggunakan status akreditasi program lembaga atau untuk membantu keputusan mereka tentang apakah untuk diterapkan atau menghadiri suatu lembaga atau program. Selanjutnya, umpan balik proses akreditasi memberikan kepada institusi dapat digunakan untuk program dan perbaikan institusional dan pengambilan keputusan. Dengan demikian, proses akreditasi melayani tujuan formatif juga.

Akreditasi di Amerika Serikat adalah yang paling umum untuk lembaga pendidikan tinggi. ¹ Kami akan menghabiskan sedikit waktu menggambarkan proses ini karena baru-baru ini menjadi sangat politis dan kontroversial, dan bahkan bagi mereka pembaca tidak terlibat dalam akreditasi, argumen menggambarkan jenis isu-isu politik dan pilihan yang sering muncul dalam setiap evaluasi. Ini termasuk perselisihan tujuan evaluasi (formatif atau sumatif); netralitas dan Kemerdekaan ahli atau evaluator; kriteria yang akan digunakan untuk menilai Produk dan, dengan demikian, data yang akan dikumpulkan atau ulasan; dan transparansi proses (apa yang harus tersedia untuk umum atau lainnya siakeholders luar organisasi). Kontroversi ini telah muncul sebagai Departemen Pendidikan Amerika Serikat, yang memiliki saham di akreditasi melalui penyediaan pinjaman mahasiswa untuk lembaga yang terakreditasi, telah mulai mengambil masalah dengan praktek akreditasi dari badan akreditasi regional independen yang secara tradisional mengulas perguruan tinggi dan universitas untuk akreditasi .

Seperti disebutkan sebelumnya, di banyak negara, termasuk Jerman, Belanda, India, dan negara-negara Inggris, lembaga Pendidikan tinggi yang ditetapkan oleh hukum untuk diakreditasi. Instansi pemerintah, umumnya melalui kementerian atau departemen pendidikan, melakukan proses akreditasi. Di beberapa negara, seperti Kanada, tidak ada proses akreditasi untuk pendidikan tinggi, sebagian karena sebagian besar lembaga pendidikan tinggi yang dijalankan oleh pemerintah provinsi dan pemerintahan yang dianggap untuk memberikan pengawasan yang memadai. Di Amerika Serikat, akreditasi berkembang dengan cara yang sangat mencerminkan ketidakpercayaan warga negara US dari pemerintah. Dengan keinginan untuk meminimalkan peran asosiasi nirlaba atau sukarela pemerintah melaksanakan tugas akreditasi sering dipenuhi oleh instansi pemerintah di negara-negara lain.

Seperti disebutkan sebelumnya, Asosiasi Sekolah dan Kolese New England adalah organisasi akreditasi pertama di Amerika Serikat. Awalnya didirikan sebagai mekanisme untuk dialog antara administrator sekolah menengah dan pemimpin dari perguruan tinggi di wilayah ini pada tahun 1885, akhirnya berkembang menjadi Asosiasi akreditasi untuk perguruan tinggi dan lembaga-lembaga di daerah (Brittingham, 2009). Asosiasi regional lainnya diikuti, dengan masing-masing bertanggung jawab mengambil untuk lembaga akreditasi pendidikan tinggi di wilayah mereka. Hari ini, ada enam daerah akreditasi Organisasi di Amerika Serikat, masing-masing mengejar kegiatan serupa di wilayah mereka. ²  asosiasi ini berfokus terutama pada lembaga akreditasi pendidikan tinggi, meskipun sering mereka juga terlibat dalam akreditasi K-12 sekolah. Akhirnya, ada banyak asosiasi akreditasi yang mengulas program dalam disiplin ilmu tertentu daripada seluruh lembaga. Sebagai contoh, American Bar Association akreditasi sekolah hukum, Asosiasi American Medical Colleges akreditasi sekolah kedokteran, dan Dewan Nasional untuk Akreditasi Pendidikan Guru (NCATE) mengakreditasi program pendidikan guru, dengan Dewan Akreditasi Pendidikan Guru (TEAC) muncul sebagai pesaing baru untuk NCATE.

_________________________

¹ lembaga sekunder dan sekolah kabupaten sesekali terakreditasi juga. Beberapa negara, misalnya, bergerak untuk meninjau distrik sekolah untuk akreditasi dan asosiasi seperti Advanced telah terbentuk dari asosiasi akreditasi Southern Tengah Utara dan untuk pendidikan tinggi untuk fokus pada akreditasi K-12 sekolah. Lebih lanjut. banyak sekolah swasta yang terakreditasi. Fokus kami adalah akreditasi di pendidikan tinggi karena telah ditetapkan untuk periode terpanjang dan tradisinya. karena itu. Menggambarkan banyak tentang evaluasi keahlian yang berorientasi dan kontroversi nya.

² Asosiasi akreditasi regional utama di Amerika Serikat adalah Tengah Amerika Asosiasi Kampus dan Sekolah. New England Asosiasi Sekolah dan Kolese. Asosiasi Tengah Utara Kampus dan Sekolah. Northwest Asosiasi Sekolah Terakreditasi. Asosiasi Selatan Kampus dan Sekolah, dan Asosiasi Barat Sekolah dan Kolese. Meskipun organisasi akreditasi lain ada (misalnya. Untuk lembaga-lembaga keagamaan). asosiasi akreditasi regional ini dianggap sebagai badan akreditasi utama di Amerika Serikat.

Akreditasi lembaga pendidikan tinggi oleh enam asosiasi regional telah mengikuti rencana yang sama dan pendekatan, pendekatan berbasis misi, sejak 1950-an. Dengan pendekatan berbasis misi, accreditors fokus pada sejauh mana lembaga ini mengejar dan mencapai misi yang ditetapkan. Meskipun Pantai asosiasi juga memiliki standar pendidikan yang lebih tinggi yang menggunakan dalam evaluasi, pendekatan berbasis misi mencerminkan filosofi dari asosiasi dalam evaluasi tersebut. Barbara Brittingham menggambarkan pendekatan berbasis misi dan proses akreditasi di Amerika Serikat sebagai "biasa fokus pada masa depan" untuk membantu lembaga meningkatkan (2009, p. 18).

Proses Akreditasi.

Pada tahap pertama akreditasi, yang lembaga menyiapkan laporan belajar mandiri menjelaskan misi dan kemajuan ke arah misi tersebut, serta bagaimana lembaga memenuhi standar dari badan akreditasi. Tahap utama kedua adalah inti dari pendekatan keahlian yang berorientasi: tim rekan-rekan, fakultas, dan administrator dari lembaga lain di wilayah tersebut menerima laporan dan melakukan kunjungan ke lokasi di mana mereka mewawancarai fakultas, administrator, staf, dan mahasiswa; meninjau catatan institusional pada penerimaan, tentu saja kurikulum, kepuasan dan hasil siswa; mengamati fasilitas dan ruang kelas, dan sebagainya. Berdasarkan hasil penelaahan laporan dan pengalaman mereka selama kunjungan situs, tim, biasanya tiga atau empat ahli, menulis sebuah laporan mengungkapkan pandangan mereka mengenai lembaga, rekomendasi mereka mengenai status akreditasi, dan saran untuk perbaikan. Situs Laporan kunjungan ini kemudian ditinjau oleh komisi berdiri di asosiasi akreditasi, yang dapat mengubah kesimpulan. Komisi kemudian menyajikan kesimpulan akhir untuk institusi cara:.

Proses ini berorientasi pada keahlian dalam beberapa hal:  (a) asosiasi memiliki keahlian mengenai standar pendidikan yang lebih tinggi, negara dan status lembaga lain, dan praktek akreditasi dan review; (b) fakultas dan administrator yang membentuk tim situs memiliki keahlian dalam berpartisipasi dalam pemerintahan universitas mereka sendiri dan orang lain di mana mereka telah bekerja dan menerima beberapa pelatihan dari asosiasi untuk melayani sebagai pengulas situs. Oleh karena itu, keahlian situs tim visi dan asosiasi memungkinkan mereka yang terlibat untuk menggunakan standar assodation, tinjauan mereka laporan, dan kunjungan situs mereka untuk membentuk penghakiman terakhir dari kualitas lembaga. Proses ini adalah yang umum diikuti tidak hanya oleh organisasi akreditasi regional tetapi juga oleh organisasi yang mengakreditasi program di disdplines individu dalam pendidikan tinggi dan oleh organisasi yang mengakreditasi lembaga pendidikan lainnya, termasuk sekolah, sekolah swasta, sekolah piagam, sekolah menengah, sekolah kejuruan, dan sekolah agamaKontroversi:.

Akreditasi  Kontraversi: Akreditasi dipolitisasi.

Jadi apa yang bisa menjadi kontroversial di sini? Sebagai salah satu penulis membela catatan sistem, "Siapa yang lebih baik, orang mungkin bertanya, untuk mengevaluasi kualitas sebuah perguruan tinggi atau universitas daripada mereka yang bekerja di lapangan?" (O'Brien, 2009, hal. 2). O'Brien berpendapat bahwa evaluasi dan hubungan antara organisasi akreditasi dan lembaga tidak harus bermusuhan, mencatat, " The evaluator tidak inspektur datang dengan sarung tangan putih" (O'Brien, 2009, hal. 2). Tapi sejarah kontroversi jejak kembali ke GI Bill disahkan oleh Kongres setelah Perang Dunia II untuk memberikan bantuan keuangan untuk kembali tentara untuk menghadiri perguruan tinggi dan universitas. Pemerintah ingin memastikan bahwa bantuan keuangan pergi untuk kegiatan pendidikan pasca sekunder berharga, tetapi tidak ingin mendapatkan langsung ke bisnis memeriksa perguruan tinggi dan universitas untuk kualitas. Jadi, itu memutuskan untuk bergantung pada asosiasi akreditasi regional yang independen, yang sudah meninjau perguruan tinggi dan universitas, untuk menentukan siswa lembaga dapat menerima bantuan keuangan untuk hadir. Hari ini, dengan meningkatnya biaya pendidikan tinggi dan semakin banyak siswa yang menghadiri perguruan tinggi dan universitas, pinjaman AS untuk siswa adalah bisnis besar. Pemerintah terus bergantung pada asosiasi akreditasi regional untuk mengidentifikasi lembaga pendidikan tinggi yang memenuhi syarat untuk bantuan, namun memiliki saham meningkat dalam kualitas proses-proses diberi uang dalam jumlah besar didistribusikan pinjaman mahasiswa dan bentuk lain dari bantuan. Selain itu, lembaga-lembaga sendiri memiliki saham besar dalam proses, karena banyak siswa tidak akan menghadiri sebuah institusi yang tidak terakreditasi, karena alasan kualitas dan bantuan keuangan.

Melalui Undang-Undang Pendidikan Tinggi, awalnya lulus pada tahun 1965, pengaruh pemerintah AS lebih tinggi pendidikan di banyak daerah, dari pinjaman mahasiswa untuk mengakses. Dalam beberapa tahun terakhir, banyak di Departemen Pendidikan Amerika Serikat telah menjadi prihatin bahwa akreditasi tidak cukup ketat di menyiangi sekolah yang berkinerja buruk. Bahkan pendukung catatan sistem yang akreditasi daerah saat ini di Amerika Serikat membawa "sentuhan ringan" dibandingkan dengan evaluasi pemerintah pendidikan tinggi yang dilakukan di negara-negara lain (Brittingham, 2009, hal. 18).

Pada tahun 2005, Departemen Pendidikan Amerika Serikat ditunjuk Komisi Masa Depan Pendidikan tinggi untuk mempelajari empat hal penting untuk pendidikan tinggi, salah satunya adalah akuntabilitas. Dalam "Kebutuhan Reformas Akreditasi," makalah yang disiapkan untuk laporan tersebut, Robert Dickeson disebut sistem AS saat akreditasi, "gila-selimut kegiatan, proses, dan struktur yang terfragmentasi, misterius, lebih sejarah dari logis, dan telah hidup lebih lama manfaatnya. Lebih penting, itu tidak memenuhi harapan yang diperlukan untuk masa depan "(2006, p. 1).

Dia menyimpulkan bahwa" 'setiap analisis serius akreditasi seperti yang saat ini dipraktekkan hasil dalam kesimpulan jelas bahwa tujuan institusional , daripada kepentingan publik, mendominasi "(Dickeson, 2006, hal. 3). Dia merekomendasikan bahwa Kongres membuat Yayasan Akreditasi Nasional untuk mengakreditasi lembaga pendidikan tinggi. Laporan akhir Komisi, yang disebut Komisi Ejaan untuk kemudian Sekretaris Pendidikan Margaret Spellings, cukup penting untuk proses akreditasi saat ini (US Department of Education, 2006, http://www2.ed.gov/about/bdscomm/list/ hiedfuture / laporan / akhir-report.pdf). Laporan ini terinspirasi banyak kontroversi dan diskusi dalam komunitas pendidikan tinggi, dengan organisasi-organisasi seperti Phi Beta Kappa dan Asosiasi Amerika Sekolah Tinggi dan Universitas mengeluarkan pernyataan baik dukungan dan kepedulian mengenai laporan. 2008 amandemen akhir dari Undang-Undang Pendidikan Tinggi akhirnya memilih untuk mengabaikan beberapa rekomendasi ini, namun keprihatinan yang diangkat oleh Komisi akan terus (O'Brien, 2009) dan, untuk tujuan kita, mencerminkan beberapa kekhawatiran politik yang diangkat tentang evaluasi hari ini dan, khususnya, tentang evaluasi keahlian-oriented.

Asosiasi akreditasi regional melihat tujuan mereka dalam mengevaluasi lembaga-lembaga pendidikan tinggi sebagai terutama formatif, membantu lembaga-lembaga ini meningkatkan. Mereka melihat tujuan ini sebagai cara terbaik untuk melayani lembaga, siswa, dan masyarakat umum. Dengan membantu perguruan tinggi dan universitas untuk meningkatkan dan lebih baik mencapai misi mereka menyatakan, para asosiasi akreditasi percaya mereka membantu siswa untuk menerima pendidikan yang lebih baik. Sebaliknya, US Department of penekanan Pendidikan adalah sumatif. Hal ini berkaitan dengan mempertahankan posisi AS dalam pendidikan tinggi di dunia dan dalam menyediakan lulusan terdidik dan terampil bagi perekonomian abad kedua puluh satu. Departemen dan kritikus lainnya melihat tujuan akreditasi menyediakan orang tua, siswa, dan konsumen lain dengan informasi untuk membantu mereka memutuskan lembaga mereka harus hadir dan di mana mereka harus menghabiskan dolar kuliah mereka. Dengan kata lain, akreditasi harus membantu konsumen ini membuat keputusan sumatif tentang yang lembaga untuk memilih. Selanjutnya, akreditasi harus membantu membuat keputusan sumatif tentang yang lembaga harus terus. Salah satu kritikus mencatat bahwa dalam 60 tahun sejak GI Bill disahkan, "segelintir sekolah telah ditutup dan mereka sebagian besar untuk alasan keuangan... Sementara itu, pada jam accreditors ', kualitas pendidikan yang lebih tinggi tergelincir" (Neal, 2008, hal. 26). Jadi, asosiasi akreditasi telah mengembangkan suatu proses yang paling berguna untuk evaluasi formatif ketika kritikus melihat tujuan utama sebagai sumatif.

Meningkatkan Penekanan pada Hasil.

Daerah lain perselisihan menyangkut faktor-faktor yang harus dipertimbangkan dalam akreditasi. Hari ini, penekanan dalam pendidikan, dan di banyak evaluasi di seluruh dunia, adalah pada hasil dan dampak. (Lihat Bab 2.) mencatat Laporan Komisi Ejaan berikut:

Terlalu banyak keputusan tentang pendidikan - dari yang lebih tinggi yang dibuat oleh pembuat kebijakan untuk yang dibuat oleh siswa dan keluarga - sangat bergantung pada reputasi dan peringkat diturunkan untuk sebagian besar dari input seperti keuangan sumber daripada hasil. Data yang lebih baik tentang kinerja nyata dan kemampuan belajar seumur hidup adalah sangat penting jika kita ingin memenuhi kebutuhan nasional dan meningkatkan kinerja kelembagaan. (US Department of Education, 2006, hal. 14)

Sama seperti pendidikan K-12 telah pindah ke mengukur belajar siswa dengan berfokus hampir sepenuhnya pada sejauh mana standar negara tercapai, Komisi Ejaan ingin evaluasi dari lembaga pendidikan tinggi untuk mengandalkan jauh lebih berat pada tindakan dari hasil siswa. ³ Meskipun asosiasi akreditasi regional telah mulai mewajibkan lembaga untuk memberikan langkah-langkah dari hasil siswa dan, untuk akreditasi program profesional, bagian bukti mengenai ujian lisensi atau penempatan kerja, proses akreditasi daerah juga menekankan pentingnya masukan dan proses variabel. Variabel input meliputi faktor-faktor seperti kualitas dosen, kepemilikan perpustakaan, kapasitas IT, ruang kelas dan fasilitas, proses penerimaan mahasiswa dan keputusan, dan unsur-unsur lain yang menciptakan lingkungan akademik lembaga. Variabel proses diartikulasikan dalam standar, Ulasan di laporan diri, dan diperiksa oleh tim kunjungan situs termasuk kurikulum, persyaratan kursus, dan kualitas pengajaran; bantuan kepada siswa melalui bimbingan belajar, menasihati, dan mekanisme lainnya; interaksi dosen-mahasiswa; magang; dan unsur-unsur lain dari proses pembelajaran. Asosiasi akreditasi regional juga mempertimbangkan beberapa hasil, termasuk kelulusan dan tingkat drop-out, waktu untuk lulus, pengetahuan dan keterampilan lulusan, dan penempatan kerja. Asosiasi akreditasi berpendapat bahwa mereka harus memeriksa seluruh proses pendidikan yang lebih tinggi untuk membuat penilaian yang valid dari kualitas lembaga dan untuk memberikan saran untuk perbaikan. Memeriksa hanya hasil siswa tidak memberikan ahli dalam proses akreditasi informasi yang cukup untuk membuat rekomendasi yang berguna untuk bagaimana mengubah lembaga, dan input dan proses, untuk mencapai hasil Bette (Murray, 2009).

________________

³ Satu perbedaan antara standar untuk K -12 pendidikan dan orang-orang untuk pendidikan tinggi adalah bahwa standar pendidikan yang lebih tinggi akan menjadi orang-orang nasional, tidak dikembangkan di tingkat negara sebagai K-12 standar yang.

Netralitas, Transparansi, dan Tujuan dalam Akreditasi

Kritik lain terhadap pendekatan saat ini menyangkut netralitas atau objektivitas dan transparansi proses. Evaluasi diharapkan akan didasarkan pada penilaian independen. Kemerdekaan tersebut dimaksudkan untuk menyebabkan tujuan yang lebih, dan karenanya lebih valid, penilaian kualitas. Secara umum, evaluator keahlian berorientasi seharusnya tidak berafiliasi erat dengan lembaga atau produk yang mereka menilai. Sebagai contoh, kita curiga dukungan ahli untuk produk ketika kita tahu: ahli memiliki hubungan keuangan dengan produsen produk. Perhatikan, misalnya, diskusi saat objektivitas Penelitian medis tentang efektivitas obat saat penelitian ini didanai oleh perusahaan farmasi yang berkembang obat. Tapi proses akreditasi memanfaatkan peninjau yang fakultas dan administrator dari lembaga pendidikan tinggi di wilayah tersebut. Organisasi akreditasi berpendapat bahwa para ahli ini berada dalam posisi terbaik untuk membuat penilaian dan memberikan saran lembaga butuhkan, karena mereka tahu apa yang dapat dicapai dalam lingkungan lembaga seperti itu dan bagaimana mencapainya. Mereka telah bekerja di sendiri. Kritik, bagaimanapun, khawatir bahwa kedekatan para ahli untuk mereka dihakimi dan kemungkinan persaingan antara lembaga atau departemen konflik serius hadir kepentingan yang dapat menyebabkan penilaian yang bias. Penilaian sebagai tumpul sebagai evaluasi Flexner untuk sekolah kedokteran tidak akan melihat cahaya hari, setidaknya dalam laporan tertulis.

Kekhawatiran atas objektivitas yang tinggi oleh kurangnya transparansi dalam proses. Departemen Pendidikan Amerika Serikat ingin data dan laporan untuk menjadi jauh lebih terbuka, yang berarti bahwa mereka akan tersedia untuk orang tua, siswa, dan masyarakat dan akan berisi konten yang mudah dipahami oleh bukan ahli. Misalnya, Komisi Ejaan menganjurkan tabel menyajikan data tentang perguruan tinggi dan universitas. Tabel ini akan tersedia bagi publik untuk digunakan dalam menilai kualitas lembaga, dan untuk perguruan tinggi lainnya untuk digunakan sebagai tolok ukur (US Department of Education, 2006). Para akreditor bergantung pada deskripsi tebal yang terkandung dalam laporan belajar-sendiri dan laporan akreditasi. Pembela dari sistem saat ini setuju bahwa sistem sangat bergantung pada kerahasiaan tetapi berpendapat bahwa kerahasiaan ini adalah salah satu alasan untuk keberhasilannya. Karena itu, "institusi bisa jujur dalam diri studi mereka, dan tim bisa jujur dalam penilaian mereka" (O'Brien, 2009, hal. 2). Jika laporan dibuat publik, mereka menulis laporan diri akan enggan untuk membahas masalah nyata, dan tim akreditasi akan mengedit kata-kata mereka untuk konsumsi publik. Baik akan memfasilitasi belajar tentang masalah dan membuat rekomendasi untuk perubahan.

Jadi, akreditasi berubah dan kontroversial. Seperti banyak evaluasi dalam beberapa tahun terakhir, akreditasi perguruan tinggi dan universitas di Amerika Serikat telah pindah ke peningkatan penggunaan metode campuran dan fokus yang lebih besar pada hasil. Kontraversi menyangkut tujuan evaluasi keahlian yang berorientasi ini, para pemangku kepentingan mereka melayani, langkah-langkah yang harus diprioritaskan, netralitas dan objektivitas penilaian kualitas, transparansi proses, dan ketersediaan hasil kepada pemangku kepentingan yang berbeda. Asosiasi akreditasi regional, yang selama bertahun-tahun tidak memiliki saingan, sedang serius ditantang, tidak hanya oleh pemerintah federal, tetapi juga oleh peringkat populer perguruan tinggi dan universitas seperti yang diterbitkan oleh US News and World Report. Akibatnya, Asosiasi akreditasi beradaptasi dan berubah, namun, dengan semua masalah mereka, mereka masih tetap menjadi contoh yang berguna dari sistem formal menggunakan pendekatan evaluasi yang berorientasi pada keahlian.

Sistem Ulasan Formal Lainnya

Ada banyak contoh sistem formal lainnya, khususnya di bidang pendidikan. Selama bertahun-tahun, Dewan Nasional untuk Akreditasi Pendidikan Guru (NCATE) telah tubuh utama untuk mengakreditasi program pendidikan guru. Pada tahun 2000, organisasi ini mulai lebih fokus pada hasil-hasil program tersebut dengan memeriksa pengetahuan dan keterampilan lulusan dari program ini, skor pada tes lisensi, dan bukti bahwa lulusan mampu mentransfer pengetahuan dan keterampilan untuk kelas. Dewan Akreditasi Pendidikan Guru (TEAC) telah muncul sebagai pesaing NCATE, tapi dengan fokus yang sama pada hasil (Gitomar, 2007; Murray, 2009).

Beberapa negara mulai mengembangkan sistem untuk meninjau dan mengakreditasi sekolah kabupaten di dalam negara mereka. Sebagai contoh, Colorado Departemen Pendidikan mulai kabupaten akreditasi pada tahun 1999 dan direvisi prosedur secara substansial pada tahun 2008. Fokusnya adalah sangat banyak pada hasil dan pertumbuhan siswa, tetapi mencakup standar tentang "lingkungan yang aman dan sipil pembelajaran," dan anggaran dan manajemen keuangan. Reviewer menyimpulkan proses dengan menetapkan ratingkabupaten di salah satu dari enam tingkat yang berbeda, dari akreditasi dengan perbedaan untuk masa percobaan dan nonaccreditation. Seperti sistem formal lainnya, proses akreditasi Colorado untuk kabupaten sekolah mencakup standar diterbitkan, jadwal yang ditentukan untuk ulasan (tahunan untuk kabupaten dengan peringkat yang lebih rendah, 2 sampai 3 tahun untuk kabupaten di tingkat yang lebih tinggi akreditasi), kunjungan lapangan oleh tim ahli eksternal , dan status kabupaten yang terkena dampak hasil(http://www.cde.state.co.us/index_accredit.htm).

Sistem Ulasan Informal

Banyak ulasan sistem profesional memiliki struktur dan seperangkat pedoman prosedural, dan menggunakan beberapa pengulas. Namun beberapa kekurangan standar yang diterbitkan atau ditentukan jadwal dari sistem ulasan formal.

Komite pengawas Seorang mahasiswa pascasarjana untuk disertasi, tesis, atau proyek utama biasanya terdiri dari ahli di bidang pilihan siswa dan merupakan contoh dari sistem informal dalam evaluasi yang berorientasi pada keahlian. Struktur dalam kebijakan universitas, dan / atau fakultas, ada untuk mengatur ulasan profesional seperti kompetensi, tetapi anggota komite biasanya menentukan standar untuk menilai kinerja masing-masing siswa. Fitzpatrick dan MillerStevens (2009) telah menggambarkan pengembangan dan penggunaan rubrik untuk menilai kinerja siswa pada proyek-proyek batu penjuru untuk menyelesaikan program master dalam administrasi publik. Tapi, biasanya, kriteria tersebut tidak ada. Sebaliknya, beberapa ahli di komite membuat penilaian kinerja siswa, sering tanpa membahas kriteria mereka secara eksplisit. Dan, tentu saja, status siswa dipengaruhi oleh hasil.

Sistem didirikan untuk peer review naskah diserahkan kepada majalah profesional juga mungkin dianggap contoh ulasan sistem informal, meskipun prosedur jurnal bervariasi. Banyak jurnal yang menggunakan beberapa pengulas dipilih untuk keahlian mereka dalam isi naskah. Tidak seperti tim kunjungan untuk akreditasi atau anggota komite disertasi, pengulas tidak berperilaku sebagai sebuah tim, membahas ulasan mereka dan mencoba untuk mencapai konsensus. Sebaliknya, struktur yang ada dalam bentuk editor atau editor, yang memilih pengulas, memberikan kerangka waktu untuk ulasan mereka, dan membuat keputusan akhir tentang naskah berdasarkan komentar pengulas individu. Namun, jadwal, seperti itu untuk pertahanan mahasiswa pascasarjana untuk disertasi atau tesis, didasarkan pada penerimaan naskah, meskipun pengulas diberikan jangka waktu tertentu di mana untuk melakukan review. Banyak jurnal, tapi tidak semua, memberikan pengulas dengan beberapa standar umum. Tentu saja, status naskah (apakah itu diterbitkan, direvisi, atau ditolak) dipengaruhi oleh proses review.

Ulasan Panel Ad Hoc

Berbeda dengan sistem Ulasan formal dan informal yang sedang berlangsung dibahas sebelumnya, banyak ulasan profesional oleh panel ahli hanya terjadi di interval yang tidak teratur ketika permintaan situasi. Umumnya, ulasan ini terkait dengan tidak ada struktur dilembagakan untuk evaluasi dan tidak menggunakan standar yang telah ditentukan. Ulasan profesional seperti biasanya evaluasi dilakukan sekali pelaksanaan ini didorong oleh suatu hal tertentu, kebutuhan terikat waktu untuk informasi evaluatif. Tentu saja, sebuah lembaga tertentu mungkin, dari waktu ke waktu, komisi banyak ulasan panel ad hoc untuk melakukan fungsi yang sama tanpa adanya kolektif yang dilihat sebagai sistem ulasan yang dilembagakan.

Panel untuk Mengembangkan Standar.

Contoh umum ulasan panel ad hoc termasuk panel yang diselenggarakan di setiap negara bagian di Amerika Serikat untuk mengembangkan atau merevisi standar pendidikan untuk kabupaten negara atau sekolah, pendanaan lembaga untuk menilai usulan dan membuat rekomendasi untuk pendanaan, dan panel pita biru ditunjuk untuk menangani tertentu Masalah. Ini ulasan ad hoc panel tidak memiliki jadwal rutin, tetapi diatur oleh lembaga atau organisasi untuk menerima masukan dari para ahli pada isu tertentu. Dengan demikian, masing-masing dari 50 negara telah menetapkan standar yang mencerminkan harapan bahwa negara mengenai apa yang siswa akan tahu dalam mata pelajaran yang berbeda di kelas yang berbeda. ⁴ Ada banyak variasi di seluruh negara dalam standar mereka, tetapi standar untuk setiap negara awalnya pengembang oleh panel ahli. Para ahli ini biasanya terdiri dari guru, administrator pendidikan, pembuat kebijakan, dan para ahli di bidang konten. Komposisi komite dimaksudkan untuk mencakup ahli dengan pengetahuan tentang materi pelajaran yang standar sedang mengatur dan pengetahuan tentang populasi target. Beberapa metode canggih telah dikembangkan untuk tugas terkait komite ahli mengidentifikasi pangkasan nilai, atau skor yang membagi berbagai pengambil tes menjadi kelompok-kelompok berdasarkan kinerja mereka (Kane, 1995). (Lihat Girard & impara [2005] untuk studi kasus proses pengaturan dipotong oleh panel ahli di distrik sekolah umum.)

Panel Ulasan Badan Pendanaan.

Di Amerika Serikat, sebagian besar lembaga pemerintah federal memanfaatkan dana panel-panel ahli di bidang penelitian yang akan didanai-untuk membaca proposal, mendiskusikannya, dan membuat rekomendasi. Umumnya, lembaga pendanaan telah mengembangkan kriteria untuk pengulas dan, sering, anggota bertemu tim di Washington, DC, atau lokasi lain untuk membahas reaksi mereka dan berusaha untuk mencapai beberapa kesepakatan. Tapi standar untuk pendanaan bervariasi dari disiplin untuk disiplin dan dengan penekanan dana tertentu. Namun demikian, dalam model evaluasi keahlian yang berorientasi, ahli yang datang bersama-sama untuk membuat penilaian tentang sesuatu. Beberapa organisasi pendanaan menulis Komite yang anggotanya memiliki berbagai bidang keahlian. Dengan demikian, komite untuk meninjau proposal dalam pendidikan dapat terdiri dari campuran administrator pendidikan atau pembuat kebijakan, guru, dan peneliti. Demikian juga, komite yang meninjau proposal untuk pengembangan masyarakat atau tindakan dapat mencakup penelitian para ahli di lapangan serta anggota komunitas yang melayani sebagai ahli pada komunitas tertentu dan kebutuhannya.

Panel dukungan .

Panel dukungan biasanya ditunjuk oleh tinggi suatu pejabat pemerintah tingkat dan dimaksudkan untuk memberikan nasihat, bukan pada dana, tetapi pada bagaimana pemerintah harus membahas isu tertentu. Komisi Masa Depan Pendidikan Tinggi, yang telah dibahas sebelumnya dalam bab ini, ditunjuk oleh Departemen Pendidikan Amerika Serikat pada tahun 2005, pada saat pemerintah prihatin dengan status jangka panjang pendidikan tinggi di Amerika Serikat dan dibutuhkan masukan dari para ahli di daerah. Anggota panel tersebut diangkat karena pengalaman dan keahlian mereka dalam bidang yang sedang dipelajari. Mereka biasanya dibebankan dengan meninjau situasi tertentu, mendokumentasikan pengamatan mereka, dan membuat rekomendasi untuk tindakan. Mengingat visibilitas panel tersebut, keahlian yang diakui dari anggota panel penting jika temuan panel ini harus dianggap kredibel. Di tingkat lokal, di mana panel ulasan ad hoc sering digunakan sebagai strategi evaluatif bagi banyak usaha mulai dari pembangunan ekonomi dan kebijakan lingkungan dengan tata kelola sekolah, keahlian dari anggota panel tidak kurang suatu masalah, meskipun pengulas mungkin lokal atau reputasi regional daripada terkenal nasional. Meskipun rekomendasi dari panel ad hoc ahli mungkin memiliki dampak yang besar, mereka mungkin juga diabaikan, karena seringkali tidak ada tubuh formal didakwa dengan menindaklanjuti saran mereka.

_______________

⁴ Tindakan ini agak dalam menanggapi undang-undang federal umumnya dikenal sebagai Tidak Child Left Behind, tetapi banyak negara telah mengembangkan standar sebelum undang-undang.

Ulasan Ad Hoc individual

Bentuk lain dari evaluasi keahlian berorientasi individu, review profesional entitas apapun oleh setiap individu yang dipilih untuk nya atau keahlian untuk menilai nilai entitas dan, dalam beberapa kasus, untuk membuat rekomendasi untuk perubahan atau perbaikan. Kerja dari konsultan untuk melakukan kajian individu beberapa program pendidikan, sosial, atau commerdal atau kegiatan merupakan hal yang biasa di banyak organisasi.

Pendidikan connoisseurship (apresiasi seni) dan Kritik

Pada bagian sebelumnya, kita membahas aplikasi dari pendekatan keahlian yang berorientasi di mana para ahli tidak tentu evaluator. Mereka adalah ahli dalam sesuatu yang lain(konten yang mereka menghakimi). Selanjutnya, aplikasi ini adalah contoh dari pendekatan yang berorientasi pada keahlian, tetapi mereka terbentuk dan ada yang independen dari komunitas evaluasi profesional. Dengan kata lain, kita dapat mempelajari proses ini sebagai contoh pendekatan evaluasi yang berorientasi pada keahlian, tetapi orang-orang di komunitas evaluasi umumnya tidak terlibat dalam membangun kegiatan ini atau dalam melakukan mereka, seperti halnya dengan pendekatan lain kita akan membahas. Sebagaimana dicatat, kami telah memulai diskusi tentang pendekatan dengan berfokus pada pendekatan evaluasi tertua, yang digunakan selama berabad-abad sebelum evaluasi program resmi muncul, untuk membuat penilaian tentang isu-isu penting.

Tapi, pendekatan yang berorientasi pada keahlian juga telah menjadi bagian dari pembahasan teori evaluasi. Pada hari-hari awal evaluasi, Elliot Eisner adalah figur kunci dalam membahas apa evaluasi harus, dan tulisan-tulisannya memberikan landasan teoritis untuk pendekatan keahlian yang berorientasi dan menghubungkannya ke literatur evaluasi (Eisner, 1976, 1985, 1991a, 1991b 2004). Aikin dan Christie (2004), di pohon evaluasi mereka menggambarkan asal-usul dan teori evaluasi, tempat Eisner, bersama dengan Michael Scriven, di dasar cabang menilai karena penekanan mereka pada peran menilai evaluasi menentukan nilai, pahala atau senilai, dari hal yang sedang dievaluasi. Eisner menarik dari seni untuk menggambarkan pendekatan untuk evaluasi. Perspektifnya adalah tandingan yang berguna untuk penekanan pada 1970-an pada metode ilmu sosial dan tujuan program. Kami akan membahas secara singkat konsep tentang connoisseurship dan kritik, dasar-dasar pendekatan evaluasi nya. Konsep-konsep ini jatuh dalam pendekatan keahlian yang berorientasi, karena mereka memerlukan keahlian dalam mengidentifikasi dan menilai komponen penting atau unsur-unsur dari hal yang sedang dievaluasi.

Peran kritikus teater, kritikus seni, dan kritikus sastra yang terkenal dan, di mata banyak, peran yang berguna. Kritik tidak tanpa kesalahan mereka. Kita mungkin tidak setuju dengan pandangan mereka, tetapi ulasan mereka adalah contoh yang baik dari aplikasi langsung dan efisien keahlian itu yang dinilai. Kritik mereka mendorong kita untuk berpikir tentang objek yang dievaluasi dengan cara yang berbeda, bahkan jika kita terus tidak setuju dengan penilaian mereka. Itulah salah satu tujuan dari review yang ditulis atau kritik: Untuk mendorong kita untuk berpikir tentang unsur-unsur dari objek yang kita, sebagai nonexperts (bukan ahli), mungkin tidak dipertimbangkan. Eisner (1991a) mengusulkan bahwa para ahli, seperti kritikus seni, membawa keahlian mereka untuk menanggung dalam mengevaluasi kualitas program di daerah mereka kemampuan. Eisner tidak mengusulkan paradigma ilmiah melainkan satu artistik, yang ia lihat sebagai kualitatif, humanistik, suplemen nonscientific (tidak ilmiah) penting untuk lebih metode inquiry tradisional. Dia berpendapat bahwa kita perlu melihat hal yang dievaluasi dari berbagai perspektif dan bahwa penekanan pada kuantitatif, metode reduksionis gagal untuk menyampaikan banyak kualitas penting dari keseluruhan. Dia mencatat bahwa angka berperan dalam evaluasi pendidikan, daerahnya menarik, tetapi juga membatasi apa yang kita lihat:

Kita harus mengakui kendala dan affordances (sebuah kondisi di mana suatu hal dilihat sebagai sesuatu yang lain) dari segala bentuk representasi kami memilih untuk menggunakan. Hanya sebagai cara untuk melihat adalah juga merupakan cara tidak melihat, cara menggambarkan juga merupakan cara tidak menjelaskan. Alat yang kita mempekerjakan untuk memerhatikan memiliki dampak yang besar terhadap apa yang kita menjadi sadar. Jika kita ingin,,, gambar munafik penuh murah hati kompleks kelas, guru, atau siswa, kita perlu pendekatan untuk bahwa persepsi fenomena tersebut dan, di samping itu, bentuk presentasi yang akan membuat fitur-fitur hidup. (Eisner, 2004, hal. 200)

Elemen-elemen kunci dari pendekatan Eisner adalah connoisseurship dan kritik (Eisner, 1975, 1991b). Connoisseurship adalah apresiasi seni  (tidak harus) keinginan atau preferensi untuk itu yang diamati, melainkan kemampuan untuk melihat, "untuk mengenali perbedaan yang halus namun signifikan dalam tampilan kualitatif partikular" (Eisner, 2004, hal. 200 ). Ahli memiliki pengetahuan pengembang dari kualitas penting dari objek dan kemampuan untuk mengamati dan memperhatikan mereka dengan baik dan untuk mempelajari hubungan antara mereka. Penikmat, dalam pandangan Eisner, menyadari kompleksitas yang ada dalam mengamati sesuatu dalam pengaturan dunia nyata dan memiliki lanjutan disempurnakan kemampuan perseptual yang membuat apresiasi kompleksitas seperti itu mungkin. Persepsi hasil ketajaman penikmat ini sebagian besar dari pengetahuan tentang apa yang harus dicari (penyelenggara muka atau tonggak penunjuk kritis) yang diperoleh melalui pengalaman yang luas sebelumnya, pendidikan, dan refleksi pada pengalaman itu.

Analogi mencicipi anggur digunakan oleh Eisner (1975) untuk menunjukkan bagaimana seseorang harus memiliki banyak pengalaman untuk dapat membedakan apa yang signifikan tentang anggur, menggunakan seperangkat teknik untuk membedakan kualitas seperti tubuh, warna, menggigit, buket, rasa, dan aftertaste (sisa rasa), untuk menilai kualitas secara keseluruhan. Langit-langit halus penikmat dan memori pengecapan anggur lain yang terasa adalah apa yang memungkinkan dia untuk membedakan kualitas halus hilang pada peminum biasa anggur dan untuk membuat penilaian bukan preferensi belaka. Penikmat ada di semua bidang kehidupan, bukan semata-mata gustatory atau seni. Eisner menggambarkan pelatih yang baik sebagai seorang ahli dari permainan yang, ketika menonton orang lain di olahraga, dapat mengenali seluk-beluk yang mereka yang kurang pengalaman akan kehilangan: "Kami melihatnya ditampilkan di terik kemuliaan dalam menonton pelatih basket tingkat pertama menganalisis kekuatan dari lawan, kelemahan mereka, serta kekuatan dan kelemahan dari tim bahwa ia adalah pembinaan "(2004, hal. 198).

Connoisseurship tidak, bagaimanapun, memerlukan penjelasan umum atau penilaian dari apa yang dirasakan. Deskripsi publik adalah bagian kedua dari pendekatan Eisner. "Kritik: 'negara Eisner," adalah seni mengungkapkan kualitas peristiwa atau benda yang merasakan connoisseurship ", seperti ketika penikmat anggur baik mengembalikan anggur atau bersandar dengan kepuasan untuk menyatakan itu dari diterima (1979a, hal 197). , atau lebih baik, kualitas. atau, lebih mirip dengan evaluasi publik, kritik adalah ketika kritikus anggur menulis review anggur. Evaluator dilemparkan sebagai kritikus yang connoisseurship memungkinkan mereka untuk memberikan render publik kualitas dan signifikansi dari apa yang dievaluasi. Kritik bukanlah penilaian negatif melainkan sebuah proses pendidikan dimaksudkan untuk memungkinkan individu untuk mengenali kualitas dan karakteristik yang mungkin sebaliknya telah diketahui dan unappredated. Kritik, menjadi lengkap, membutuhkan deskripsi, interpretasi, dan evaluasi dari apa yang diamati. "Kritik adalah orang-orang yang berbicara dengan cara spedal tentang apa yang mereka hadapi. Dalam pengaturan pendidikan, kritik adalah sisi publik connoisseurship "(Eisner, 1975, p. 13). Evaluasi Program, kemudian, menjadi Program kritik. Evaluator adalah instrumen, dan pengumpulan data, menganalisis, dan menilai sebagian besar tersembunyi di dalam pikiran evaluator, analog dengan proses evaluatif kritik seni atau mencicipi anggur. Sebagai konsekuensi, keahlian-pelatihan, pengalaman, dan kepercayaan dari evaluator adalah sangat penting, karena validitas evaluasi tergantung pada persepsi evaluator. penilaian Namun berbeda dari kritikus yang berbeda ditoleransi, dan bahkan diinginkan, karena tujuan kritik adalah untuk memperluas persepsi, tidak untuk mengkonsolidasikan semua keputusan dalam sebuah pernyataan definitif kritik tunggal:

Kritik pendidikan Eisner berfokus pada empat dimensi yang harus digambarkan dalam  deskripsi, pengembangan tema, interpretasi, dan evaluasi. fokusnya adalah pada ahli, dan kadang-kadang, deskripsi faktor yang penting dalam menilai kualitas produk atau program rinci. Jelas, pendekatan tidak akan menjadi yang paling langsung untuk jelas membangun hubungan sebab-akibat, tetapi dapat berguna dalam membantu kita untuk memahami sifat intervensi dan cara di mana itu mengarah ke hasil yang berbeda. Sebagai Eisner baru ini menyatakan, "connoisseurship pendidikan dan kritik pendidikan merupakan suatu usaha untuk mempekerjakan apa seni dan humaniora sebagai mitra dengan ilmu Sosial tawarkan dalam memajukan pemahaman kita tentang proses dan akibat dari pendidikan. Di zaman pengujian berisiko tinggi, itu adalah perspektif kita sangat membutuhkan "(Eisner, 2004, hal 202.)

Pengaruh dari Orientasi Keahlian

Pendekatan Penggunaan, Kekuatan, dan Keterbatasan

Keahlian berorientasi pendekatan, umumnya disebut dengan nama lain, digunakan secara ekstensif dalam Amerika Serikat dan negara-negara lainnya hari ini. Upaya akreditasi berubah dan berkembang. Pemerintah terus menunjuk komisi ahli untuk mempelajari isu-isu dan membuat rekomendasi. Seringkali, komisi tersebut membantu melindungi pemimpin pemerintahan dari kemarahan warga ketika pemerintah perlu mengatasi isu kontroversial. Misalnya, penutupan pangkalan militer di Amerika Serikat telah menjadi isu kontroversial, terlepas dari fakta bahwa terlalu banyak basa ada. Kongres dan presiden telah menggunakan menunjuk komisi ahli untuk memberikan "objektif, non-partisan, dan ulasan independen" dari rekomendasi untuk penutupan pangkalan utama. (http: www.brac.gov, homepage). Proses ini telah digunakan lima kali sejak komisi Pertama diangkat pada tahun 1988, terakhir pada tahun 2005. Seperti banyak panel pita biru, komisi telah menyertakan ahli dalam berbagai bidang yang terkait dengan masalah ini. Komisi melakukan kunjungan lapangan, mencari masukan dari masyarakat dan lainnya para ahli, meninjau informasi, dan membuat rekomendasi kepada Presiden. Rekomendasi berlaku kecuali Kongres menolak proposal dalam waktu 45 hari. Komisi ini telah mampu mengambil tindakan penting untuk meningkatkan efisiensi dan efektivitas penempatan pangkalan militer.

Secara kolektif, pendekatan keahlian yang berorientasi untuk evaluasi telah menekankan peran sentral penilaian ahli, pengalaman, dan hikmat manusia dalam proses evaluatif dan memiliki memusatkan perhatian pada isu-isu penting seperti yang standar (dan apa tingkat transparansi) harus digunakan dalam memberikan penilaian tentang program. Sebaliknya, kritik dari pendekatan ini menunjukkan bahwa mungkin mengizinkan evaluator untuk membuat penilaian yang mencerminkan sedikit lebih dari bias pribadi. Orang lain telah mencatat bahwa keahlian dugaan dari para ahli adalah kelemahan potensial. Mereka yang menggunakan atau kontrak untuk evaluasi keahlian berorientasi harus mempertimbangkan dengan hati-hati berbagai bidang keahlian yang diperlukan untuk tim mereka hakim ahli. Terlalu sering tim hanya ahli konten, orang yang tahu berbagai unsur pokok untuk diadili, tapi mungkin kurang ahli dalam proses evaluasi itu sendiri. Artikulasi standar, apakah dengan organisasi kontraktor atau oleh tim ahli, juga penting untuk memperjelas kriteria dan metode yang digunakan untuk membuat penilaian yang diminta. Tentu saja, seperti Elliot Eisner akan berpendapat, para ahli harus melihat melampaui standar dan menggunakan connoisseurship mereka untuk menggambarkan, menafsirkan, dan Hakim dimensi mereka tahu untuk menjadi penting untuk kualitas produk. Tapi, standar diartikulasikan membantu untuk memperkenalkan beberapa konsistensi di ahli dan untuk memfasilitasi diskusi berguna di antara para ahli ketika perselisihan terjadi.

Tulisan Eisner dipengaruhi evaluator untuk berpikir lebih tentang sifat penilaian evaluasi dan peran yang pengalaman dan connoisseurship bisa bermain dalam membantu mereka untuk pemberitahuan elemen penting dari program atau produk yang akan dievaluasi. Namun, Eisner tidak tetap aktif di bidang evaluasi, dan pendekatan ini jarang digunakan, umumnya mahasiswa langsungnya. Namun, kami terus mempelajari tulisan-tulisannya karena pengaruh dia memiliki pada praktek evaluasi hari ini. Donmoyer (2005) mencatat bahwa kontribusi Eisner diminta evaluator untuk mempertimbangkan pendekatan yang berbeda untuk evaluasi dan implikasi dari masing-masing. Eisner juga memberikan alasan penting bagi metode kualitatif pada saat metode kuantitatif mendominasi lapangan. Karyanya berguna dalam mendorong kita untuk mempertimbangkan apa yang kita melihat di suatu objek. Penikmat tahu unsur-unsur penting dari hal tertentu dan belajar bagaimana membentuk opini dididik tentang unsur-unsur tersebut. Pendekatan connoisseurship-criticism juga memiliki kritik. Berikut proposal awal Eisner, House (1980) diterbitkan pemesanan kuat, memperingatkan bahwa analogi kritik seni ini tidak berlaku untuk setidaknya satu aspek evaluasi:

Hal ini tidak biasa bagi kritikus seni untuk memajukan pandangan kontroversial pembaca dapat memilih untuk mengabaikan mereka . Bahkan, pembaca dapat memilih untuk membaca hanya kritik dengan siapa dia setuju. Evaluasi publik dari program tidak bisa begitu mudah diberhentikan, namun. Beberapa pembenaran (apakah dari kritikus, atas prinsip kritikus, atau kritik) diperlukan. Tuntutan untuk keadilan dan keadilan yang lebih ketat dalam evaluasi program publik. (p. 237)

Namun, baru-baru ini, Stake dan Schwandt menekankan pentingnya evaluasi tidak hanya mengukur kualitas tetapi juga menyampaikan kualitas seperti yang dialami. Mengingatkan pengakuan Eisner dari connoisseurship, mereka mengamati bahwa "kita tidak memiliki standar yang cukup baik untuk mengenali pengetahuan praktis evaluator yang timbul dari kombinasi keterampilan observasional, luasnya pandangan, dan kontrol bias" (2006, hal. 409). Mereka menyimpulkan bahwa "seperti penikmat dan terbaik panel pita biru, beberapa contoh terbaik dari sintesis nilai-nilai di kriteria beragam adalah mereka yang bergantung pada pribadi, penilaian praktis yang adil dan individu informasi" (2006, hal. 409).