OpenAI'nin amacı, "istihbarat maliyetini" mümkün olduğunca azaltmaktır.
Yazan: Raza Habib
Derleyici: SinoDAO
Geçen hafta, OpenAI'nin API'sini ve ürün planlarını tartışmak için Sam Altman ve diğer 20 geliştiriciyle bir araya gelme zevkini yaşadım. Sam bunu çok açık bir şekilde tartıştı. Tartışmalar, pratik geliştirici sorunlarının yanı sıra OpenAI'nin misyonu ve yapay zekanın toplum üzerindeki etkisiyle ilgili daha geniş konulara değindi. İşte kilit noktaların bir özeti:
1 Şu anda OpenAI, GPU tarafından ciddi şekilde sınırlandırılmıştır
Tartışmada tekrar tekrar ortaya çıkan ortak bir tema, OpenAI'nin şu anda kısa vadeli planlarının çoğunu geciktiren GPU'ya çok bağlı olmasıydı. En büyük müşteri şikayetleri, API'nin güvenilirliği ve hızıdır. Sam endişelerini kabul etti ve sorunun çoğunun GPU eksikliğinden kaynaklandığını açıkladı.
Şu anda daha uzun 32k bağlamını daha fazla kişiye sunmanın bir yolu yok. OpenAI henüz dikkat mekanizmalarının O(n^2) ölçekleme sorununun üstesinden gelmedi, bu nedenle yakında (bu yıl) 100 bin ila 1 milyon bağlam penceresini kullanıma sunacak gibi görünse de, daha büyük pencereler araştırma atılımları gerektirecek.
İnce ayar API'si şu anda GPU kullanılabilirliği nedeniyle de darboğaz yaşıyor. Adaptörler veya LoRa gibi verimli ince ayar yöntemlerini henüz kullanmadılar, bu nedenle ince ayar işlemleri hesaplama açısından pahalıdır. Gelecekte daha iyi ince ayar desteği sağlanacaktır. Topluluğun katkıda bulunduğu modeller için bir pazar yeri bile sunabilirler.
Ayrılmış kapasite sağlama, GPU kullanılabilirliği ile sınırlıdır. OpenAI ayrıca, müşterilere modelin özel bir kopyasını sağlayan özel kapasite sunar. Bu hizmeti kullanmak için, müşterilerin 100.000$'lık bir harcamayı önceden taahhüt etmeye istekli olmaları gerekir.
2 OpenAI'nin kısa vadeli yol haritası
Sam, OpenAI API için kısa vadeli bir yol haritası olarak gördüğü şeyi paylaştı.
2023:
Daha ucuz, daha hızlı GPT-4 - bu onların en büyük önceliği. Genel olarak, OpenAI'nin amacı "zeka maliyetini" mümkün olduğunca azaltmaktır, bu nedenle API maliyetini düşürmeye devam etmek için çaba göstereceklerdir.
Daha uzun bağlam pencereleri - yakın gelecekte 1 milyon jetona kadar bağlam pencereleri mümkündür.
İnce ayar API'sı - İnce ayar API'si en son modellere genişletilecek, ancak özel biçim, geliştiriciler tarafından ifade edilen gerçek ihtiyaçlara göre belirlenecektir.
Durum bilgisi olan API - bugün sohbet API'sini çağırdığınızda, aynı görüşme geçmişini tekrar tekrar geçirmeniz ve aynı ücreti ödemeniz gerekir.
İşaretleme ücretleri. Görüşme geçmişini hatırlayan bir API sürümü gelecekte kullanıma sunulacaktır.
2024:
Multimodal - Bu, GPT-4 sürümünün bir parçasıdır, ancak daha fazla GPU çevrimiçi olana kadar herkese sunulmayacaktır.
3 Eklenti "henüz PMF'ye sahip değil", şimdilik API'de görünmeyebilir
Birçok geliştirici, ChatGPT eklentisini API üzerinden almakla ilgileniyor ancak Sam, bunun bir süre daha yayınlanacağını düşünmediğini söyledi. Taramaya ek olarak eklentilerin kullanılması, yeterince hazır olmadıklarını gösterir. Pek çok kişinin uygulamalarını ChatGPT'ye koymak istediklerini düşündüklerini, ancak aslında ChatGPT'yi kendi uygulamalarına yerleştirmek istediklerini belirtti.
4 OpenAI, ChatGPT hariç müşterileriyle rekabet etmekten kaçınacak
Pek çok geliştirici, OpenAI'nin kendileriyle rekabet edecek bir ürün çıkarabileceğinden endişe duyduklarını söyledi. Sam, OpenAI'nin ChatGPT dışında daha fazla ürün yayınlamayacağını söyledi. Harika platform şirketlerinin öldürücü uygulamalar geçmişi var ve ChatGPT, kendi ürünlerinin müşterisi haline gelerek API'yi geliştirmelerine olanak tanıyacak, dedi. ChatGPT'nin vizyonu, süper zeki bir çalışma asistanı olmaktır, ancak OpenAI'nin değinmeyeceği başka birçok GPT kullanım durumu vardır.
5 Yönetim gereklidir, ancak açık kaynak da bir o kadar önemlidir
Sam, gelecekteki modellerin düzenlenmesi çağrısında bulunurken, mevcut modellerin tehlikeli olmadığını düşünüyor ve bunları düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor. Açık kaynağın önemini bir kez daha vurguladı ve OpenAI'nin açık kaynak GPT-3'ü düşündüğünü söyledi. Açık kaynaklı olmamalarının bir nedeni, kaç kişinin ve şirketin büyük LLM'leri barındırıp teslim edebileceği konusunda şüpheci olmasıdır.
6 Ölçeklendirme yasaları hala geçerli
Son zamanlarda "devasa yapay zeka modellerinin çağının sona erdiğini" iddia eden pek çok makale var. Bu doğru değil.
OpenAI'nin dahili verileri, model performansının ölçeklendirme yasalarının hala geçerli olduğunu ve modelleri büyütmenin daha iyi performans sağlamaya devam edeceğini gösteriyor. Ölçeklendirme oranı sabit tutulamaz çünkü OpenAI birkaç yılda modeli milyonlarca kez büyütmüştür ve bunu gelecekte yapmak sürdürülebilir olmayacaktır. Bu, OpenAI'nin modelleri büyütmek için çalışmaya devam etmeyeceği anlamına gelmez, sadece her yıl boyutlarının çoğalmak yerine ikiye veya üçe katlanacağı anlamına gelir.
Ölçeklendirme yasalarının hala geçerli olması, AGI'nin geliştirme zaman çizelgesi için önemli çıkarımlara sahiptir. Ölçekleme hipotezi, AGI oluşturmak için gereken temellerin çoğuna muhtemelen zaten sahip olduğumuz ve geriye kalan işlerin çoğunun mevcut yöntemleri daha büyük modellere ve daha büyük veri kümelerine genişletmek olduğu görüşüdür. Ölçeklendirme çağı geride kaldıysa, AGI'nin daha da uzakta olmasını bekleyebiliriz. Ölçeklendirme yasalarının hala geçerli olması, daha kısa bir zaman çizelgesini güçlü bir şekilde düşündürmektedir.
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Sam Altman: OpenAI için sonraki adımlar
Yazan: Raza Habib
Derleyici: SinoDAO
Geçen hafta, OpenAI'nin API'sini ve ürün planlarını tartışmak için Sam Altman ve diğer 20 geliştiriciyle bir araya gelme zevkini yaşadım. Sam bunu çok açık bir şekilde tartıştı. Tartışmalar, pratik geliştirici sorunlarının yanı sıra OpenAI'nin misyonu ve yapay zekanın toplum üzerindeki etkisiyle ilgili daha geniş konulara değindi. İşte kilit noktaların bir özeti:
1 Şu anda OpenAI, GPU tarafından ciddi şekilde sınırlandırılmıştır
Tartışmada tekrar tekrar ortaya çıkan ortak bir tema, OpenAI'nin şu anda kısa vadeli planlarının çoğunu geciktiren GPU'ya çok bağlı olmasıydı. En büyük müşteri şikayetleri, API'nin güvenilirliği ve hızıdır. Sam endişelerini kabul etti ve sorunun çoğunun GPU eksikliğinden kaynaklandığını açıkladı.
Şu anda daha uzun 32k bağlamını daha fazla kişiye sunmanın bir yolu yok. OpenAI henüz dikkat mekanizmalarının O(n^2) ölçekleme sorununun üstesinden gelmedi, bu nedenle yakında (bu yıl) 100 bin ila 1 milyon bağlam penceresini kullanıma sunacak gibi görünse de, daha büyük pencereler araştırma atılımları gerektirecek.
İnce ayar API'si şu anda GPU kullanılabilirliği nedeniyle de darboğaz yaşıyor. Adaptörler veya LoRa gibi verimli ince ayar yöntemlerini henüz kullanmadılar, bu nedenle ince ayar işlemleri hesaplama açısından pahalıdır. Gelecekte daha iyi ince ayar desteği sağlanacaktır. Topluluğun katkıda bulunduğu modeller için bir pazar yeri bile sunabilirler.
Ayrılmış kapasite sağlama, GPU kullanılabilirliği ile sınırlıdır. OpenAI ayrıca, müşterilere modelin özel bir kopyasını sağlayan özel kapasite sunar. Bu hizmeti kullanmak için, müşterilerin 100.000$'lık bir harcamayı önceden taahhüt etmeye istekli olmaları gerekir.
2 OpenAI'nin kısa vadeli yol haritası
Sam, OpenAI API için kısa vadeli bir yol haritası olarak gördüğü şeyi paylaştı.
2023:
Daha ucuz, daha hızlı GPT-4 - bu onların en büyük önceliği. Genel olarak, OpenAI'nin amacı "zeka maliyetini" mümkün olduğunca azaltmaktır, bu nedenle API maliyetini düşürmeye devam etmek için çaba göstereceklerdir.
Daha uzun bağlam pencereleri - yakın gelecekte 1 milyon jetona kadar bağlam pencereleri mümkündür.
İnce ayar API'sı - İnce ayar API'si en son modellere genişletilecek, ancak özel biçim, geliştiriciler tarafından ifade edilen gerçek ihtiyaçlara göre belirlenecektir.
Durum bilgisi olan API - bugün sohbet API'sini çağırdığınızda, aynı görüşme geçmişini tekrar tekrar geçirmeniz ve aynı ücreti ödemeniz gerekir.
İşaretleme ücretleri. Görüşme geçmişini hatırlayan bir API sürümü gelecekte kullanıma sunulacaktır.
2024:
Multimodal - Bu, GPT-4 sürümünün bir parçasıdır, ancak daha fazla GPU çevrimiçi olana kadar herkese sunulmayacaktır.
3 Eklenti "henüz PMF'ye sahip değil", şimdilik API'de görünmeyebilir
Birçok geliştirici, ChatGPT eklentisini API üzerinden almakla ilgileniyor ancak Sam, bunun bir süre daha yayınlanacağını düşünmediğini söyledi. Taramaya ek olarak eklentilerin kullanılması, yeterince hazır olmadıklarını gösterir. Pek çok kişinin uygulamalarını ChatGPT'ye koymak istediklerini düşündüklerini, ancak aslında ChatGPT'yi kendi uygulamalarına yerleştirmek istediklerini belirtti.
4 OpenAI, ChatGPT hariç müşterileriyle rekabet etmekten kaçınacak
Pek çok geliştirici, OpenAI'nin kendileriyle rekabet edecek bir ürün çıkarabileceğinden endişe duyduklarını söyledi. Sam, OpenAI'nin ChatGPT dışında daha fazla ürün yayınlamayacağını söyledi. Harika platform şirketlerinin öldürücü uygulamalar geçmişi var ve ChatGPT, kendi ürünlerinin müşterisi haline gelerek API'yi geliştirmelerine olanak tanıyacak, dedi. ChatGPT'nin vizyonu, süper zeki bir çalışma asistanı olmaktır, ancak OpenAI'nin değinmeyeceği başka birçok GPT kullanım durumu vardır.
5 Yönetim gereklidir, ancak açık kaynak da bir o kadar önemlidir
Sam, gelecekteki modellerin düzenlenmesi çağrısında bulunurken, mevcut modellerin tehlikeli olmadığını düşünüyor ve bunları düzenlemenin veya yasaklamanın büyük bir hata olacağını düşünüyor. Açık kaynağın önemini bir kez daha vurguladı ve OpenAI'nin açık kaynak GPT-3'ü düşündüğünü söyledi. Açık kaynaklı olmamalarının bir nedeni, kaç kişinin ve şirketin büyük LLM'leri barındırıp teslim edebileceği konusunda şüpheci olmasıdır.
6 Ölçeklendirme yasaları hala geçerli
Son zamanlarda "devasa yapay zeka modellerinin çağının sona erdiğini" iddia eden pek çok makale var. Bu doğru değil.
OpenAI'nin dahili verileri, model performansının ölçeklendirme yasalarının hala geçerli olduğunu ve modelleri büyütmenin daha iyi performans sağlamaya devam edeceğini gösteriyor. Ölçeklendirme oranı sabit tutulamaz çünkü OpenAI birkaç yılda modeli milyonlarca kez büyütmüştür ve bunu gelecekte yapmak sürdürülebilir olmayacaktır. Bu, OpenAI'nin modelleri büyütmek için çalışmaya devam etmeyeceği anlamına gelmez, sadece her yıl boyutlarının çoğalmak yerine ikiye veya üçe katlanacağı anlamına gelir.
Ölçeklendirme yasalarının hala geçerli olması, AGI'nin geliştirme zaman çizelgesi için önemli çıkarımlara sahiptir. Ölçekleme hipotezi, AGI oluşturmak için gereken temellerin çoğuna muhtemelen zaten sahip olduğumuz ve geriye kalan işlerin çoğunun mevcut yöntemleri daha büyük modellere ve daha büyük veri kümelerine genişletmek olduğu görüşüdür. Ölçeklendirme çağı geride kaldıysa, AGI'nin daha da uzakta olmasını bekleyebiliriz. Ölçeklendirme yasalarının hala geçerli olması, daha kısa bir zaman çizelgesini güçlü bir şekilde düşündürmektedir.