WebGLM, 10 milyar parametreli bir İnternet soru-cevap sohbet robotu (kağıt KDD2023 için seçildi).
Ona herhangi bir soru sorabilirsiniz ve İnternet'teki ilgili makalelere (Wikipedia, ilgili resmi web siteleri gibi) bağlantılar listeler ve yanıtları sıralar.
Örneğin:
ChatGPT'nin temel teknolojisi nedir?
veya:
Music Transformer'ı kim önerdi? İlkesi nedir?
veya:
Genshin Impact 3.5'e ne dersiniz?
Birinci sınıf bir şehirde yüksek maaşlı bir iş olmadan nasıl yaşayabilirsin? (manuel köpek kafası)
……
Mantıklı cevaplar verebilir.
Raporlara göre, performans karşılaştırma testinde WebGLM'nin seviyesi OpenAI'nin 13,5 milyar parametreli WebGPT'sinden daha yüksek ve insan değerlendirmesinde 175 milyar parametreli modelle bile karşılaştırılabilir.
Peki nasıl eğitilir?
İnternete erişebilen Tsinghua Departmanı WebGLM
Raporlara göre, WebGLM'nin amacı, önceden eğitilmiş büyük dil modelini Web arama ve geri alma işlevleri aracılığıyla geliştirirken, verimli gerçek dağıtımı mümkün kılmaktır.
Yazar bu amaçla üç strateji temelinde geliştirir.
İlki Büyük Model Artırılmış Retriever.
Esas olarak, modelle ilgili ağ içeriğinin geri alma yeteneğini geliştirmek ve belirli bir sorgu durumunda ilgili referansları bulmak, böylece soruları daha sonra doğru bir şekilde daha iyi yanıtlamak için kullanılır.
İki aşaması vardır: kaba taneli web araması ve ince taneli LLM ile geliştirilmiş yoğun erişim.
Ardından Bootstrap Generator gelir.
Sorulara yanıt oluşturmak ve ayrıntılı yanıtlar sağlamak için GLM'nin (Tsinghua Üniversitesi tarafından piyasaya sürülen iki dilli açık kaynak ön eğitim modeli GLM-130B gibi) yeteneğini kullanır.
Yazarlar, bu oluşturucuyu kullanarak WebGLM-QA - bir LLM önyükleme alıntısı ve uzun menzilli KG veri kümesi elde eder.
Bağlam öğrenme gibi stratejilerle temizlenir ve filtrelenir ve son olarak 45 bin yüksek kaliteli filtrelenmiş örnek ve 83 bin gürültü örneği içerir.
WebGLM'nin omurgası, bu veri kümesi üzerinde eğitilmiş bir GLM modelidir.
Son olarak, insan tercihlerine dayalı bir puanlayıcı var.
Üretilen yanıtların kalitesini, pahalı uzman geri bildirimlerine göre insan tercihlerine öncelik vererek değerlendirir ve sistemin faydalı ve ilgi çekici içerik üretmesini sağlar.
Yukarıdaki üç bileşen, sırayla WebGLM'nin boru hattını oluşturur:
Yukarıda tanıtılan üç parçaya karşılık gelen tam olarak üç modül olduğu görülebilir, bunlar arasında:
LLM ile geliştirilmiş alıcı, ilk beş en alakalı sayfayı referans kaynağı olarak kullanacak, önyükleme oluşturucunun birden fazla yanıt oluşturmasına izin verecek ve son olarak puanlayıcı, nihai çıktı olarak insan tercihlerini karşılama olasılığı en yüksek olanı seçecektir.
Performans OpenAI WebGPT'yi aşıyor
Tang Jie'nin ekibi, WebGLM'nin kendisine ek olarak ağla geliştirilmiş bir soru yanıtlama sistemi için bir değerlendirme standardı da önerdi.Değerlendirme nesneleri hem referansları hem de nihai yanıtları içeriyor.
Bunlardan ilki alaka düzeyi, bilgi yoğunluğu, orijinallik (olgusal hata yok), zehirlilik (şiddet içeren pornografi gibi bilgiler hariç) ve sosyal önyargı derecesini ölçer; ikincisi akıcılık, doğruluk, alıntı doğruluğu ve nesnelliği ölçer. . ve fazlalık.
Karşılaştırmalı değerlendirme için WebGPT (OpenAI'den, GPT-3'e dayalı ince ayarlı) demo web sitesi tarafından sağlanan 272 soruyu kullandılar ve puan almak için yüksek lisans derecesine sahip 15 gönüllüyü işe aldılar.
Nihai sonuç aşağıdaki gibidir:
("Rel.", "Den."... sırasıyla yukarıda belirtilen 10 göstergeye karşılık gelir.)
WebGLM'nin arama sonuçlarının WebGPT-175B'den biraz daha düşük olmasına rağmen, Perplexity.ai ve WebGPT-13B'den çok daha iyi olduğu görülebilir (referans değerlendirmesi solda).
WebGLM alma işleminin yalnızca bazı geleneksel kelime tabanlı algoritmaları ve kümülatif parametreleri 300M'yi aşmayan iki Contriever kullandığını belirtmekte fayda var.
Ayrıca WebGLM, bilgi işlem performansı ve zaman tüketimi açısından WebGPT-13B'den önemli ölçüde daha iyidir ve 175B ile karşılaştırılabilir.
Nihai sonuçlar açısından, WebGLM akıcılık, özgünlük ve fazlalık açısından en yüksek puanları elde etti ve doğruluk endeksi WebGPT-175B'ye yakın, Perplexity.ai ve WebGPT-13B'den çok daha yüksekti.
Yazarlara göre bu, WebGLM'nin daha düşük maliyetle daha yüksek performans elde edebileceğini gösteriyor.
Dağıtım ve Eğitim
WebGLM açık kaynak olarak yayınlandı.
Dağıtmak için, arama işlemi sırasında arama sonuçlarını elde etmek için kullanılan SerpAPI resmi web sitesinden bir anahtar almanız gerekir.
Modeli çalıştırmanın iki yolu vardır: biri komut satırı arabirimi, diğeri Web hizmeti biçimi ve WebGLM-2B ve WebGLM-10B dahil iki isteğe bağlı model vardır.
WebGLM'yi kendiniz de eğitebilirsiniz, jeneratörün ve geri çağırıcının resmi eğitim verileri indirilmek üzere sağlanmıştır~
Kağıt adresi:
GitHub ana sayfası:
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Tsinghua Tang Jie'nin yeni çalışması WebGLM: 10 milyar parametre, özellikle çevrimiçi arama, performans OpenAI WebGPT'yi aşıyor
Kaynak: Qubit
Tsinghua Tang Jie ekibinin yeni çalışması burada:
WebGLM, 10 milyar parametreli bir İnternet soru-cevap sohbet robotu (kağıt KDD2023 için seçildi).
Örneğin:
Mantıklı cevaplar verebilir.
Raporlara göre, performans karşılaştırma testinde WebGLM'nin seviyesi OpenAI'nin 13,5 milyar parametreli WebGPT'sinden daha yüksek ve insan değerlendirmesinde 175 milyar parametreli modelle bile karşılaştırılabilir.
İnternete erişebilen Tsinghua Departmanı WebGLM
Raporlara göre, WebGLM'nin amacı, önceden eğitilmiş büyük dil modelini Web arama ve geri alma işlevleri aracılığıyla geliştirirken, verimli gerçek dağıtımı mümkün kılmaktır.
Yazar bu amaçla üç strateji temelinde geliştirir.
İlki Büyük Model Artırılmış Retriever.
Esas olarak, modelle ilgili ağ içeriğinin geri alma yeteneğini geliştirmek ve belirli bir sorgu durumunda ilgili referansları bulmak, böylece soruları daha sonra doğru bir şekilde daha iyi yanıtlamak için kullanılır.
İki aşaması vardır: kaba taneli web araması ve ince taneli LLM ile geliştirilmiş yoğun erişim.
Ardından Bootstrap Generator gelir.
Sorulara yanıt oluşturmak ve ayrıntılı yanıtlar sağlamak için GLM'nin (Tsinghua Üniversitesi tarafından piyasaya sürülen iki dilli açık kaynak ön eğitim modeli GLM-130B gibi) yeteneğini kullanır.
Yazarlar, bu oluşturucuyu kullanarak WebGLM-QA - bir LLM önyükleme alıntısı ve uzun menzilli KG veri kümesi elde eder.
Bağlam öğrenme gibi stratejilerle temizlenir ve filtrelenir ve son olarak 45 bin yüksek kaliteli filtrelenmiş örnek ve 83 bin gürültü örneği içerir.
WebGLM'nin omurgası, bu veri kümesi üzerinde eğitilmiş bir GLM modelidir.
Son olarak, insan tercihlerine dayalı bir puanlayıcı var.
Üretilen yanıtların kalitesini, pahalı uzman geri bildirimlerine göre insan tercihlerine öncelik vererek değerlendirir ve sistemin faydalı ve ilgi çekici içerik üretmesini sağlar.
Yukarıdaki üç bileşen, sırayla WebGLM'nin boru hattını oluşturur:
LLM ile geliştirilmiş alıcı, ilk beş en alakalı sayfayı referans kaynağı olarak kullanacak, önyükleme oluşturucunun birden fazla yanıt oluşturmasına izin verecek ve son olarak puanlayıcı, nihai çıktı olarak insan tercihlerini karşılama olasılığı en yüksek olanı seçecektir.
Performans OpenAI WebGPT'yi aşıyor
Tang Jie'nin ekibi, WebGLM'nin kendisine ek olarak ağla geliştirilmiş bir soru yanıtlama sistemi için bir değerlendirme standardı da önerdi.Değerlendirme nesneleri hem referansları hem de nihai yanıtları içeriyor.
Bunlardan ilki alaka düzeyi, bilgi yoğunluğu, orijinallik (olgusal hata yok), zehirlilik (şiddet içeren pornografi gibi bilgiler hariç) ve sosyal önyargı derecesini ölçer; ikincisi akıcılık, doğruluk, alıntı doğruluğu ve nesnelliği ölçer. . ve fazlalık.
Karşılaştırmalı değerlendirme için WebGPT (OpenAI'den, GPT-3'e dayalı ince ayarlı) demo web sitesi tarafından sağlanan 272 soruyu kullandılar ve puan almak için yüksek lisans derecesine sahip 15 gönüllüyü işe aldılar.
Nihai sonuç aşağıdaki gibidir:
WebGLM'nin arama sonuçlarının WebGPT-175B'den biraz daha düşük olmasına rağmen, Perplexity.ai ve WebGPT-13B'den çok daha iyi olduğu görülebilir (referans değerlendirmesi solda).
WebGLM alma işleminin yalnızca bazı geleneksel kelime tabanlı algoritmaları ve kümülatif parametreleri 300M'yi aşmayan iki Contriever kullandığını belirtmekte fayda var.
Ayrıca WebGLM, bilgi işlem performansı ve zaman tüketimi açısından WebGPT-13B'den önemli ölçüde daha iyidir ve 175B ile karşılaştırılabilir.
Nihai sonuçlar açısından, WebGLM akıcılık, özgünlük ve fazlalık açısından en yüksek puanları elde etti ve doğruluk endeksi WebGPT-175B'ye yakın, Perplexity.ai ve WebGPT-13B'den çok daha yüksekti.
Yazarlara göre bu, WebGLM'nin daha düşük maliyetle daha yüksek performans elde edebileceğini gösteriyor.
Dağıtım ve Eğitim
WebGLM açık kaynak olarak yayınlandı.
Retrieverin ağırlıkları Tsinghua Cloud'dan indirilebilir.
Modeli çalıştırmanın iki yolu vardır: biri komut satırı arabirimi, diğeri Web hizmeti biçimi ve WebGLM-2B ve WebGLM-10B dahil iki isteğe bağlı model vardır.
WebGLM'yi kendiniz de eğitebilirsiniz, jeneratörün ve geri çağırıcının resmi eğitim verileri indirilmek üzere sağlanmıştır~
Kağıt adresi:
GitHub ana sayfası: