Heartland’da RAG Converter: Belgeleri yüklemeden özel dahili yapay zekâ

RAG Converter nedir ve Heartland neden kullanıyor?
RAG Converter belgeleri yapay zekânın arayabileceği chunk’lara ve embedding’lere dönüştürür. Heartland bunu dahili yapay zekâ araçlarında kullanır; böylece insanlar kendi dosyalarımıza — çiftlik kayıtları, müşteri programları, compounding notları, LCA çalışmaları — soru sorabilir, bu dosyaları herkese açık bir modele yüklemeden.
RAG, retrieval-augmented generation demektir: asistan bizim külliyatımızdan bir pasaj bulur ve tahmin etmek yerine oradan yanıt verir. Gizlilik hamlesi, dönüştürmenin nerede olduğudur. RAG Converter’ın ücretsiz dönüştürücüsü tarayıcı sekmesinde WebAssembly’dir. Belgeleri sayfa okur. Ayrıştırılmak üzere ragconverter.com’a gönderilmezler.
Bu, müşteri ve kenevir tedarik zinciri verilerini buluttan çıkarma konusunda koyduğumuz aynı sahiplik kuralıdır: oluşturduğun verinin sahibi ol ve onu bir chatbot karşılığında takas etme.
Heartland dosyalarını herkese açık bir LLM’e neden yapıştırmayacağız
Heartland’ın çalışma kümesi bir blog yazısı değildir. Yayınlamadığımız üretici sözleşmeleri, müşteri görüşmeleri, formülasyon notları ve ticaret rotası ayrıntılarını içerir. Çiftçilerimiz ve üretici ortaklarımız eğitim verisi olmak için kaydolmadı.
Herkese açık sohbet araçları kullanışlıdır. Aynı zamanda yeni bir dışa giden yoldur. Bir PDF başka birinin bağlam penceresine girdikten sonra saklama süresini, alt işlemcileri veya bir cümlenin başka bir kiracının yanıtında çıkıp çıkmayacağını kontrol edemezsiniz. NIST Privacy Framework, gözlemlenebilirliği ve bağlanabilirliği sınırlamak için yerel cihazda işlemeyi işaret eder (CT.DP-P1). Yerel dönüştürme, RAG’a uygulanan o kontroldür.
Bu gizlilik kadar güvenliktir de. Sızdırılmış bir müşteri listesi ile o listenin sızdırılmış embedding’i ikisi de olaydır. Fark, ilk kopyanın binayı hiç terk edip etmediğidir.
Yerel dönüştürme veriyi nasıl daha erişilebilir kılar
Buluttan çıkarmak yanlış yapılmaya açıktır: dosyaları kimsenin arayamayacağı bir sürücüde kilitlemek — güvenlik tiyatrosu artı daha yavaş iş. Heartland’ın testi tersidir. Detroit’teki bir mühendis ile bir üretici irtibatı aynı spesifikasyonu bulamıyorsa sistem başarısız olmuştur.
RAG Converter çıktısı taşınabilir JSONL’dir — chunk başına bir nesne — bizim işlettiğimiz bir vektör deposuna yüklenir. Sekmeye klasör bırakan kişi ile convert API’sine vuran betik için aynı yapı. Gerçekten sahip olduğumuz biçimler: PDF, Word, PowerPoint, Excel, Markdown, görüntüler ve ses. Taranmış sayfalar cihaz üzerinde OCR’dan geçer. LibreOffice bulut kuyruğu yok, “dosyayı bize e-posta ile gönderin” yok.
Performans. Zaten klasörlerde yaşayanlar için hazır. Tarayıcı yolu için yeni masaüstü kurulumu yok. Dahili araçlar ürettiğimiz chunk’ları arar.
Maliyet. Yerel dönüştürücü ücretsizdir ve hesapsızdır çünkü iş önünüzdeki makinede çalışır. Külliyatımızın ikinci bir kopyasını bir SaaS RAG satıcısından satın almıyoruz.
Erişim. Embedding’lerin amacı, bir sorunun 200 sayfalık bir LCA paketinde veya üretici el kitabında doğru paragrafa, tüm dosyayı iletmeden ulaşabilmesidir. Yayımlanmış Imperium Farming LCA kamuya açık kalır. Taslaklar, e-postalar ve müşteri katmanları bizde kalır.
Ne yerel kalır, neyi hâlâ hatta koyarız
Bölünme hakkında dürüstlük:
- Tarayıcı dönüştürücü. Dosyalar bilgisayarı asla terk etmez. Sayfa sunucuya kaç ücretsiz dönüştürme kaldığını sorabilir; o istek bir sayıdır, belge değil.
- Geliştirici API’si.
POST /v1/convert, sekmenin çalıştıramayacağı boru hatları ve işler içindir — tam çözünürlüklü OCR, konuşma, video, dosya boyutu tavanı yok. Bu yol bir sunucudur. Heartland bunu külliyatı park etmek için bir yer değil, seçtiğimiz bir araç olarak ele alır. Dönüştür, JSONL’i al, Heartland verisini zaten sakladığımız yere koy. - Henüz kapatmadığımız bulut. Kimlik, bazı müşteri sistemleri ve e-posta hâlâ satıcılarda yaşıyor. Declouding planı aşamalıdır. RAG Converter, önce yerel çekebildiğimiz parçadır: bir zamanlar “PDF’yi bir yapay zekâ ürününe yükle” anlamına gelen dönüştürme adımı.
API’nin air-gapped olduğunu iddia etmiyoruz. Heartland’daki varsayılan alışkanlığın yerel dönüştürme olduğunu ve dahili yapay zekânın bizim dizinimizden yanıt verdiğini iddia ediyoruz.
Bu, Heartland’ın geri kalanına nasıl oturur
Bu site zaten hız, SEO ve daha küçük saldırı yüzeyi için WordPress’ten statik bir Rust yığınına geçti. Aynı içgüdü şirket içinde de geçerlidir: değerli dosyaları tut, aranabilir kıl, o aramayı orijinalleri isteyen bir modele kiraya verme.
Kamuya açık hikâyeyi isteyen ortaklar — Why Imperium, Imperium Filler, Imperium Fibers — hâlâ burada bulur. Bu sayfaların arkasındaki dosyalar hattın bizim tarafımızda kalır.
Dönüştürücüyü ragconverter.com adresinde deneyin. Heartland’ın müşteri ve tedarik zinciri verisine bakışı için declouding makalesini okuyun veya bize ulaşın. Kütüphaneden daha fazlası: sürdürülebilirlik haberleri.

