Verifikasi dan validasi metode analitik

Sistem Manajemen Mutu II, Pertemuan 11

Bramadi Arya, S.Si., M.Biotech.

Program Studi D4 Teknologi Laboratorium Medik, Universitas Syedza Saintika

Yang kita kerjakan hari ini

Sub-CPMK-11 (RPS): Melakukan kuis tentang verifikasi dan validasi metode analitik laboratorium medik.

1. Beda verifikasi dan validasi, serta kapan masing-masing dipakai.
2. Parameter kinerja yang diperiksa pada metode kuantitatif dan kualitatif.
3. Simulasi verifikasi presisi dari data latihan.
4. Kuis untuk menguji pemahaman.

Selamat datang di pertemuan 11. Hari ini ada kuis di akhir, jadi dengarkan dengan tujuan bisa menjawab. Pertemuan ini tidak ada praktikum, jadi bagian simulasi kita kerjakan dengan data latihan di kelas.

Dari dokumen ke bukti kinerja

• Pertemuan 10: rekaman harus lengkap dan terkendali.
• Hari ini kita membahas rekaman yang paling diperhatikan auditor: bukti bahwa sebuah metode memang layak dipakai.
• Pertanyaannya: kalau alat dan reagen baru datang, bagaimana kita tahu hasilnya bisa dipercaya sebelum dipakai untuk pasien?

Hasil dari metode yang belum diverifikasi belum layak dipercaya.

Sambungkan dengan pertemuan 10. Dokumen dan rekaman tadi akan berisi hasil verifikasi yang kita bahas sekarang. Kalimat di kutipan adalah pembacaan saya agar mudah diingat.

Verifikasi dan validasi punya arti berbeda

	Verifikasi	Validasi
Pertanyaannya	Apakah klaim pabrikan terpenuhi di laboratorium kita?	Apakah metode ini layak untuk tujuan pemakaiannya?
Dipakai untuk	Metode yang sudah divalidasi dan dipakai tanpa modifikasi	Metode non-standar, buatan sendiri, dimodifikasi, atau dipakai di luar cakupannya
Contoh	Alat kimia klinik baru dengan reagen pabrikan	Metode PCR buatan laboratorium sendiri

Antonelli dkk., 2017

Antonelli dkk. mengutip definisi ISO 15189 edisi 2012: verifikasi adalah penyediaan bukti objektif bahwa suatu hal memenuhi persyaratan yang ditetapkan, sedangkan validasi adalah verifikasi di mana persyaratan itu memang memadai untuk pemakaian yang dimaksud. Artinya validasi lebih luas. Contoh di tabel adalah contoh saya untuk memperjelas. Artikel ini mengacu ke edisi 2012. Edisi 2022 sudah menggantikannya, jadi istilah dan pasalnya perlu dicek terhadap edisi yang berlaku. Di slide ini saya mengikuti penjelasan Antonelli.

Parameter yang diperiksa bergantung pada jenis pemeriksaan

Jenis pemeriksaan	Parameter verifikasi
Kuantitatif	Impresisi (CV%) dan trueness (bias%)
Kualitatif	Sensitivitas dan spesifisitas diagnostik, dengan interval kepercayaan 95%
Semi-kuantitatif	Impresisi dan akurasi diagnostik
Validasi	Dipilih sesuai tujuan pemakaian, bisa mencakup linearitas, rentang, dan spesifisitas analitik

Antonelli dkk., 2017; RPS TLM OBE-139b

Menurut Antonelli, pada pemeriksaan kuantitatif minimal dua karakteristik kinerja diperiksa, yaitu impresisi dan trueness. Untuk kualitatif, mereka menyarankan interval kepercayaan 95 persen dengan metode Wilson dan minimal sepuluh sampel positif sejati serta sepuluh negatif sejati. Parameter validasi seperti linearitas dan rentang disebut di RPS kita. Jelaskan itu sebagai pelengkap, jangan seolah-olah semuanya ada di artikel.

Mengenal istilah: akurasi, presisi, linearitas

• Akurasi: kedekatan hasil dengan nilai benar. Ukurannya bias.
• Presisi: kedekatan hasil berulang satu sama lain. Ukurannya SD atau CV.
• Linearitas: hasil mengikuti konsentrasi pada rentang tertentu.
• Rentang: batas bawah sampai atas yang sudah terbukti andal.
• Spesifisitas dan sensitivitas analitik: kemampuan mengukur hanya yang dituju, dan mendeteksi konsentrasi rendah.

Foto: Wikimedia Commons

Ini istilah umum yang mahasiswa sudah pernah dengar di mata kuliah lain. Minta satu mahasiswa menjelaskan akurasi dan presisi dengan analogi papan dart. Definisi di slide ini pengetahuan umum, bukan kutipan satu sumber.

Alur verifikasi impresisi metode baru

Alur operasional verifikasi impresisi prosedur pemeriksaan baru.

Antonelli dkk., 2017, Fig. 1, CC BY-NC-ND 4.0

Gambar ini diambil tanpa diubah dari artikel Antonelli, karena lisensinya melarang perubahan. Catatan untuk dosen: isi gambar belum saya lihat, hanya keterangan gambarnya. Lihat dulu setelah unduhan sebelum kelas dan sesuaikan penjelasan Anda dengan isinya.

Desain verifikasi presisi mengikuti CLSI EP15

• Menurut Antonelli dkk., desain dasarnya 3 ulangan per hari selama 5 hari, jadi 15 hasil per sampel.
• Pakai sampel dengan konsentrasi berbeda, mendekati konsentrasi yang divalidasi pabrikan.
• Pencilan dicek dengan uji Grubbs. Lebih dari satu pencilan berarti studi diulang.
• Versi EP15-A3: 5 ulangan per hari selama 5 hari, jadi 25 hasil, minimal dua materi pada konsentrasi keputusan medis.
• Hasil dibandingkan dengan klaim pabrikan melalui batas verifikasi.

Antonelli dkk., 2017; Westgard QC: CLSI EP15-A3

Perhatikan bahwa dua sumber ini menyebut desain yang berbeda. Desain 3 ulangan 5 hari lebih ringan dan sesuai dengan edisi yang lebih lama. EP15-A3 meminta lima ulangan. Ini sekaligus pelajaran: standar direvisi, jadi selalu cek edisi yang berlaku di laboratorium. Saya tidak membaca dokumen CLSI aslinya yang berbayar, hanya ringkasan Westgard.

Latihan: verifikasi presisi dengan data fiktif

Hari	Ulangan 1	Ulangan 2	Ulangan 3	Rerata hari
1	98	100	99	99
2	101	102	100	101
3	99	98	100	99
4	103	101	102	102
5	100	99	101	100

Glukosa kontrol dalam mg/dL. Data fiktif untuk latihan.

Data ini saya buat sendiri untuk latihan, bukan hasil laboratorium nyata. Rerata keseluruhan 100,2 mg/dL. Minta mahasiswa menghitung rerata per hari dulu, lalu bahas apakah variasi antar hari lebih besar daripada variasi dalam satu hari.

Hasil hitung dan keputusan

	SD	CV
Repeatability (dalam hari)	1,0 mg/dL	1,0%
Within-laboratory (total)	1,5 mg/dL	1,5%
Klaim pabrikan (fiktif)		repeatability 1,5%, total 2,0%

Keputusan latihan: nilai kita di bawah klaim, jadi klaim presisi terverifikasi.

Hitung dengan analisis varians satu arah: SD repeatability dari variasi dalam hari, SD total dari gabungan variasi dalam hari dan antar hari. Hasilnya 1,0 dan sekitar 1,5. Penyederhanaan penting: prosedur EP15-A3 yang sesungguhnya membandingkan SD dengan batas verifikasi yang sedikit lebih longgar dari klaim, karena ada kemungkinan variasi acak. Di latihan kita hanya membandingkan langsung. Klaim pabrikan di sini fiktif.

Studi presisi dengan perangkat lunak: hs-cTnI

Tingkat	Rerata (ng/L)	CV repeatability (%)	CV within-laboratory (%)
L1	5,0	4,9	6,1
L2	10,1	1,8	3,4
L3	24,9	2,2	3,0
L4	49,2	1,2	2,3
L5	99,6	1,4	2,1
L6	503,4	1,3	3,8

Desain: 6 tingkat konsentrasi, 5 hari × 2 run × 2 ulangan.

Data sintetis dari paket valytics

Data troponin_precision di paket valytics adalah data sintetis yang dibuat menyerupai pola nyata, bukan hasil laboratorium. Angka dihitung dengan fungsi precision_study (ANOVA, komponen varians hari, run, dan ulangan). Perhatikan pola: CV paling besar pada konsentrasi terendah. Tanyakan mengapa hal ini penting untuk troponin: keputusan klinis diambil di sekitar batas persentil ke-99 yang rendah. Skrip: analisis/p11-presisi-troponin.R; ringkasan angka di data/p11-presisi-troponin-ringkas.csv.

Profil presisi: di mana CV mulai terlalu besar?

CV within-laboratory terhadap konsentrasi. Titik adalah hasil tiap tingkat, kurva adalah model profil presisi.

Makin rendah konsentrasi, makin besar CV. Batas CV 10% menentukan konsentrasi terendah yang masih bisa dipercaya.

Data sintetis dari paket valytics

Model hiperbolik dari valytics: CV = akar(2,667 kuadrat + (26,905/x) kuadrat). Konsentrasi pada CV 10% diperkirakan sekitar 2,8 ng/L; ini disebut sensitivitas fungsional. Angka itu berada di bawah tingkat terendah yang diukur (5 ng/L), jadi merupakan ekstrapolasi model, bukan hasil pengukuran langsung. Ini contoh baik untuk mengingatkan mahasiswa agar berhati-hati menafsirkan model di luar rentang data.

Bias diperiksa terhadap nilai target

• Data presisi bisa dipakai juga untuk menaksir bias terhadap nilai target.
• Target yang cocok: bahan uji profisiensi dengan nilai kelompok sebaya, kontrol bernilai kelompok sebaya, atau bahan acuan tingkat tinggi.
• Rerata percobaan dibandingkan dengan target melalui interval verifikasi.
• Bila di luar interval, bias dibandingkan dengan batas bias yang diizinkan.

Westgard QC: CLSI EP15-A3

Intinya, satu percobaan memberi dua jawaban: presisi dan bias. Kita tidak harus membuat percobaan perbandingan terpisah. Ingatkan kontrol yang nilainya tidak berdasarkan data kelompok sebaya kurang cocok sebagai target.

Verifikasi pada pemeriksaan kualitatif

• Contoh: tes cepat atau PCR dengan hasil positif atau negatif.
• Bandingkan hasil dengan metode acuan pada sampel positif dan negatif yang sudah diketahui statusnya.
• Hitung sensitivitas dan spesifisitas beserta interval kepercayaan 95%.
• Antonelli menyarankan minimal 10 sampel positif dan 10 negatif.

Antonelli dkk., 2017

Dengan 10 sampel, interval kepercayaannya lebar. Ajak mahasiswa membahas: jika dari 10 positif semua terdeteksi, apakah sensitivitas kita pasti 100 persen? Tidak, interval 95 persen masih jauh lebih rendah. Itulah alasan interval dilaporkan, bukan hanya angkanya.

Kapan verifikasi harus diulang

• Alat atau metode baru masuk laboratorium.
• Perubahan besar: pindah lokasi, perbaikan besar, pembaruan perangkat lunak yang memengaruhi hasil.
• Lot reagen atau kalibrator baru: verifikasi ringan, dibahas di pertemuan 13.

Ini rangkuman praktik umum, belum dirujuk ke satu pedoman tertentu. Alasannya sederhana: setiap perubahan bisa menggeser kinerja. Lot reagen baru dibahas pertemuan 13 dengan rujukan Kim dkk.

Dokumentasi hasil validasi

• Rencana: tujuan, parameter, desain, kriteria penerimaan yang ditetapkan sebelum percobaan.
• Data mentah dan perhitungan.
• Kesimpulan: memenuhi atau tidak memenuhi kriteria.
• Persetujuan: siapa yang menyatakan metode layak dipakai.

Kriteria penerimaan harus ditetapkan sebelum data dikumpulkan. Kalau ditetapkan sesudahnya, kita bisa tergoda menyesuaikan kriteria agar hasil lolos. Pertemuan berikutnya melihat bentuk rencana dan sertifikat validasi.

Kuis: soal 1 sampai 4

1. Laboratorium membeli alat kimia klinik baru dengan reagen pabrikan dan memakainya tanpa modifikasi. Apakah verifikasi atau validasi yang diperlukan?
2. Metode PCR buatan laboratorium sendiri akan dipakai untuk pasien. Verifikasi atau validasi?
3. Untuk pemeriksaan kuantitatif, dua parameter minimal yang diverifikasi adalah … dan …
4. Pada desain EP15 versi Antonelli, berapa hasil yang diperoleh per sampel?

Beri waktu sekitar dua menit. Jawaban ada di slide kunci. Kuis ini formatif, boleh dikerjakan berpasangan atau sendiri sesuai instruksi dosen.

Kuis: soal 5 sampai 8

5. Pada latihan tadi, mengapa kriteria penerimaan harus ditetapkan sebelum percobaan?
6. Hasil sensitivitas 100% dari 10 sampel positif. Mengapa interval kepercayaan tetap dilaporkan?
7. Sebutkan dua contoh target yang cocok untuk menaksir bias.
8. Sebutkan dua keadaan yang menuntut verifikasi diulang.

Soal 5 sampai 8 menguji pemahaman, bukan hafalan. Beri waktu yang sama.

Kunci jawaban kuis

1. Verifikasi.
2. Validasi.
3. Impresisi dan trueness (bias).
4. 15 hasil (3 ulangan kali 5 hari).
5. Supaya kriteria tidak diubah mengikuti data hanya agar lolos.
6. Sampel kecil, jadi ketidakpastian besar; interval menunjukkan rentang nilai yang masuk akal.
7. Bahan uji profisiensi, kontrol bernilai kelompok sebaya, atau bahan acuan tingkat tinggi.
8. Alat atau metode baru, perubahan besar pada alat, atau lot baru.

Bahas jawaban satu per satu dan minta mahasiswa menilai diri. Menurut RPS, skor 90 sampai 100 berarti jawaban kuis benar 90 sampai 100 persen. Soal 5 sampai 8 dijawab dengan kata sendiri, jadi terima jawaban yang maknanya sama.

Penilaian pertemuan ini

• Teknik penilaian: kuis.
• Yang dinilai: pemahaman konsep verifikasi dan validasi, ketepatan jawaban kuis, kemampuan menganalisis parameter validasi, dan partisipasi diskusi.

RPS TLM OBE-139b, Sub-CPMK-11

RPS mencantumkan praktikum simulasi verifikasi data analitik. Karena mata kuliah ini tanpa praktikum, saya menggantinya dengan latihan data di kelas. Sampaikan ini ke mahasiswa agar tidak bingung.

Benang merah

• Pertemuan 12: rencana dan sertifikat validasi, serta pengendalian desain.
• Pertemuan 13: verifikasi lot reagen baru.
• Pertemuan 14: konteks diagnostik penyakit menular dan tidak menular.

Hari ini dasar konsepnya. Pertemuan 12 membawa ke bentuk dokumen dan proyek kelompok.

Ringkasan

• Verifikasi memastikan klaim pabrikan terpenuhi, validasi memastikan metode layak untuk tujuannya.
• Pemeriksaan kuantitatif diverifikasi lewat impresisi dan bias, kualitatif lewat sensitivitas dan spesifisitas.
• Desain EP15 memberi taksiran presisi dan bias dari satu percobaan singkat.
• Kriteria penerimaan ditetapkan sebelum percobaan dan hasilnya didokumentasikan.

Minta satu mahasiswa merangkum.

Rujukan

• Antonelli G, Padoan A, Aita A, Sciacovelli L, Plebani M. Verification or validation, that is the question. J Lab Precis Med. 2017;2:58. doi:10.21037/jlpm.2017.07.11
• Westgard QC. CLSI EP15-A3: verification of precision and estimation of bias. https://www.westgard.com/clsi-ep15a3.htm
• Grassi M. valytics: Statistical Methods for Analytical Method Comparison and Validation. Paket R. https://github.com/marcellogr/valytics

Catatan penyusun (tidak tampil di slide): Konsep dasar akurasi, presisi, dan linearitas adalah pengetahuan umum. Atribusi gambar ada di img/CREDITS.md.

Terima kasih

Istilah: Presisi dan impresisi

Presisi adalah kedekatan hasil pengukuran berulang satu sama lain. Impresisi adalah kebalikannya, yaitu besarnya sebaran, dan biasanya dinyatakan dengan SD atau CV.

Contoh: Sampel yang sama diperiksa lima kali memberi 99, 100, 101, 100, 100: presisinya baik.

Istilah: Trueness

Kedekatan rerata banyak pengukuran dengan nilai benar. Trueness diukur dengan bias: makin kecil bias, makin baik trueness.

Contoh: Rerata 20 pengukuran bahan acuan hampir sama dengan nilai sertifikatnya.

Istilah: Bias

Selisih antara rerata hasil pengukuran dan nilai benar atau nilai target. Bias menunjukkan kesalahan sistematik.

Contoh: Bahan acuan bernilai 200 mg/dL, rerata hasil kita 206 mg/dL, jadi bias +6 mg/dL atau +3%.

Istilah: Koefisien variasi (CV)

Simpangan baku dibagi rerata, dikali 100%. CV menyatakan presisi dalam persen sehingga bisa dibandingkan antar konsentrasi atau antar metode.

Contoh: Rerata 100 mg/dL dan SD 2 mg/dL memberi CV 2%.

Istilah: Interval kepercayaan 95%

Rentang nilai yang diperkirakan memuat nilai sebenarnya dengan tingkat keyakinan 95%. Makin sedikit sampel, makin lebar intervalnya.

Contoh: Sensitivitas 100% dari 10 sampel positif tetap punya interval yang lebar, kira-kira 69 sampai 100%.

Istilah: Sensitivitas dan spesifisitas

Sensitivitas diagnostik adalah kemampuan tes memberi hasil positif pada orang yang benar sakit; spesifisitas diagnostik adalah kemampuan memberi hasil negatif pada orang yang tidak sakit. Pada konteks analitik, sensitivitas berarti kemampuan mendeteksi kadar rendah dan spesifisitas berarti hanya mengukur zat yang dituju.

Contoh: Tes cepat positif pada 95 dari 100 pasien TB terkonfirmasi: sensitivitas 95%.

Istilah: Pencilan dan uji Grubbs

Pencilan adalah hasil yang jauh menyimpang dari kelompoknya. Uji Grubbs adalah cara statistik untuk memutuskan apakah satu hasil layak dianggap pencilan.

Contoh: Lima ulangan 100, 101, 99, 100, dan 130: nilai 130 dicurigai sebagai pencilan.

Istilah: Repeatability

Presisi pada kondisi yang sama: alat, petugas, reagen, dan waktu yang berdekatan, misalnya dalam satu run.

Contoh: Tiga ulangan kontrol yang diperiksa berurutan pagi ini.

Istilah: Within-laboratory precision

Presisi dalam satu laboratorium yang sudah memasukkan variasi antar run dan antar hari. Nilainya selalu sama dengan atau lebih besar dari repeatability.

Contoh: Kontrol diperiksa dua run per hari selama lima hari, lalu seluruh variasinya digabung.

Istilah: Uji profisiensi (EQA)

Penilaian mutu dari pihak luar. Penyelenggara mengirim sampel yang nilainya tidak diketahui peserta. Laboratorium memeriksanya seperti sampel pasien, lalu hasilnya dibandingkan dengan nilai target atau dengan hasil laboratorium lain. Di Indonesia dikenal sebagai Pemantapan Mutu Eksternal (PME).

Contoh: Laboratorium menerima serum kontrol dari penyelenggara PME tiga kali setahun, memeriksa glukosa dan kolesterolnya, lalu mengirim hasilnya untuk dinilai.

Istilah: Kalibrator

Bahan dengan nilai yang sudah ditetapkan, dipakai untuk menyetel hubungan antara sinyal alat dan konsentrasi. Kalibrator berbeda dari bahan kontrol, yang dipakai untuk memantau.

Contoh: Setelah ganti lot reagen, alat dikalibrasi ulang dengan kalibrator dari pabrikan.