Rahasia Mengubah Berkas Digital Koleksi Menjadi PDF, OCR
Kami membagikan hasil riset mendalam seputar teknologi OCR dan pembuatan PDF teks untuk mempermudah pencarian koleksi digital.
Proses pemindaian dokumen fisik dan ekstraksi teks digital menggunakan teknologi penemu karakter optik atau OCR
Tantangan Format hOCR dan Standar Global
Awalnya kami mengira bahwa proses penyatuan teks hasil OCR dengan gambar digital akan berjalan sangat mudah. Kami berencana menggunakan format hOCR yang menyimpan data teks beserta informasi posisi koordinatnya pada halaman. Format berbasis HTML ini sangat berguna untuk memunculkan efek stabilo atau highlight saat pengguna mencari kata di peramban.
Namun, ekspektasi kami ternyata terlalu tinggi setelah terjun langsung ke lapangan teknis. Format hOCR rupanya belum sepenuhnya menjadi standar yang bisa saling terhubung antar berbagai aplikasi. Banyak pustaka kode terbuka yang kami temukan sudah telanjur ditinggalkan oleh pengembangnya dan tidak lagi diperbarui.
Kami akhirnya menemukan satu alat tangguh milik Internet Archive yang bernama "archive-PDF-tools". Alat ini menjadi satu-satunya solusi sumber terbuka yang mampu mengonversi hOCR menjadi PDF dengan penempatan teks yang presisi. Sayangnya, proses instalasi perangkat lunak ini cukup rumit dan belum mendukung sistem operasi macOS dengan lancar.
Mengenal Mesin Tesseract dan Kompresi Gambar
Bicara soal mesin penggerak, kami melihat Tesseract sebagai pilihan utama yang paling populer bagi komunitas sumber terbuka. Perangkat lunak ini sudah mencapai versi 5.x, meski repositori sistem seperti Ubuntu umumnya masih menyediakan versi 4.x. Tesseract bekerja menggunakan model bahasa manusia dan sudah mendukung jaringan saraf tiruan demi akurasi yang lebih tajam.
Masalah utama yang sering kami hadapi saat membuat dokumen digital adalah ukuran berkas yang membengkak. Bayangkan saja, satu buku pindaian setebal 700 halaman bisa menghasilkan ukuran dokumen mencapai 325MB. Ukuran raksasa ini tentu akan sangat membebani kapasitas penyimpanan peladen dan memperlambat proses unduhan pengguna.
Untungnya, kami menemukan teknologi penyelamat yang bernama Mixed Raster Content atau kompresi MRC. Teknik pintar ini memisahkan lapisan latar belakang yang bisa dikompresi tinggi dengan lapisan teks yang harus tetap tajam. Pengujian kami membuktikan bahwa kompresi MRC mampu memangkas ukuran berkas hingga tersisa 6% saja dari ukuran aslinya.
Langkah Praktis Menuju PDF Berlapisan Teks
Setelah melakukan eksperimen panjang, kami merumuskan dua jalur realistis untuk menghasilkan dokumen terbaik. Jalur pertama adalah membiarkan Tesseract memproses gambar secara langsung dan mengeluarkan format dokumen akhir secara instan. Jalur kedua adalah memisahkan proses OCR menjadi berkas hOCR terlebih dahulu sebelum menyatukannya lewat skrip eksternal.
Kami menyarankan Anda untuk membuat dokumen satu halaman terlebih dahulu pada saat proses pemasukan data awal. Setelah itu, sistem kami akan menggabungkan halaman-halaman terpisah tersebut menjadi satu dokumen utuh sesuai permintaan pengguna. Strategi fleksibel ini sangat membantu jika staf kami ingin menambah atau menghapus halaman tertentu di kemudian hari.
Dunia arsip digital memang terus berkembang, meski investasi komunitas pada teknologi ini sempat menurun beberapa tahun lalu. Kami sangat berterima kasih kepada Internet Archive yang terus konsisten merilis alat-alat gratis untuk publik. Apakah instansi atau komunitas teman-teman juga sedang mengembangkan proyek pengarsipan digital serupa?