Inferens setempat dan AI atas peranti: data tidak meninggalkan syarikat — kita kupas secara terperinci, berpandukan keperluan dan amalan semasa.
Apa itu inferens setempat
Menjalankan model pada pelayan atau peranti anda, tanpa menghantar data ke perkhidmatan luar.
Bila digunakan
Untuk data peribadi, perubatan, perbankan dan beban kerja yang dikawal selia. Bank Negara Malaysia (BNM) melayan penggunaan awan sebagai penyumberan luar di bawah dokumen dasar Pengurusan Risiko dalam Teknologi (RMiT, versi semakan berkuat kuasa 28 November 2025). Institusi kewangan mesti mengekalkan pemilikan dan kawalan ke atas data pelanggan serta kunci penyulitan, dengan jangkaan residensi dan pengasingan data, dan kawalan lebih ketat bagi sistem kritikal pada awan awam.
Cara melaksana
osFoundry ialah platform orkestrasi AI hibrid: model BYOK (anda menyambung kunci model sendiri), kod sumber tersedia (source-available), penggunaan dalam infrastruktur sendiri, dan inferens setempat (melalui llama.cpp) yang membolehkan data tidak meninggalkan perimeter anda.
Kebebasan dan kejujuran
dgm ialah rakan penyepaduan bebas (tidak bergabung dengan osFoundry / OS LLC) dan bukan penasihat undang-undang. dgm belum mempunyai integrasi pelanggan yang selesai, jadi senario di bawah diterangkan sebagai tipikal atau berkemungkinan, bukan projek yang telah disiapkan.
Kesimpulan
Seni bina dengan residensi data di Malaysia dibina dgm pada platform osFoundry (BYOK, model tempatan dan sumber terbuka). Hubungi dgm untuk membincangkan senario anda dan merancang seni bina.