Bing Chat vs Bard vs HuggingChat

Büyük dil modelleri son yıllarda yapay zeka alanında büyük bir ilgi görmekte ve hızla gelişmektedir. Bu modeller, doğal dil işleme teknolojilerini kullanarak insanların yazdıklarını anlamaya ve onlara benzer metinler üretmeye çalışır. Bu alanda öne çıkan OpenAI’ın GPT-4’ü ve LaMDA dil modelini kullanan Google’ın Bard’ının yanına adeta her geçen gün yeni bir büyük dil model ve araçları eklenmekte. Bu modellerden biri de LAION’un LLaMA dil modelini kullanan HuggingChat. Bu yazımızda bu üç büyük dil modelini inceleyeceğiz.

Bu yazı kapsamında dil modelleri belirli ana ve alt görevlerde kıyaslanacaktır. Örneğin “kısa bir metin yazma” olan ilk görevde üretilen metnin kalitesi, verilen prompt’a uygunluğu (kelime sınırına uyulup uyulmadığı), üretilme hızı gibi alt görevler de ayrıca değerlendirilecektir.

Bard 13 Temmuz 2023 itibari ile Amerika Birleşik Devletleri ve Birleşik Krallık ile sınırlı olan kullanımını genişletmiş; Avrupa Birliği’nin tamamı, Brezilya gibi birçok ülkede kullanıma açılmıştır. Başlangıçta İngilizce, Japonca ve Korece dil desteklerini taşıyan Bard artık Almanca, Arapça, Çince, Türkçe, Hintçe ve İspanyolca dahil 40 yeni dilde kullanılabilmektedir. Bing Chat ve HuggingChat Türkiye dahil birçok ülkede kullanıma açıktır. GPT-4 dil modelini kullanan Bing Chat konuşma başına 30 prompt için ücretsiz bir şekilde, Bard ve HuggingChat ise kendi sitelerinden ücretsiz bir şekilde bir sınır olmadan kullanılabilmektedir. 

HuggingChat İngilizce’nin yanında birçok dili anlayabildiğini söylese de Türkçe ile yapılan denemelerde herhangi bir mantıklı sonuç alınamamıştır. Web Search seçeneğinin hem açık hem de kapalı olduğu durumlarda Türkçe verilen promptu ya aynen geri vermiş, ya da alakasız bir cevap sunmuştur. 

HuggingChat’in henüz Türkçe dil desteği olmaması nedeni ile promptlar ve çıktılar İngilizce dilinde olacaktır. Karşılaştırmanın yapılacağı görevler:

• Kısa bir metin yazma,
• Yeniden yazma,
• Basitleştirme,
• Çeviri,
• Kodlama becerileri ve
• Bir metnin özünü anlama.

Her üç dil modelinin de geçmiş verileri saklayıp, konuşmaya kalındığı yerden devam edilebilmesine olanak sağladığı eklenmelidir.

Görev I: Kısa bir metin yazımı

| Write me a 200-word article on skincare and tell me how long it took you to write it.

| Bana 200 kelimelik, cilt bakımı hakkında bir makale yaz ve bunu yazman için geçen süreyi söyle.

Bing Chat’in cevabı şu şekilde olmuştur:

Elde edilen sonuç istenen konu hakkında kısa bilgi veren, yeterince tatmin edici bir metin. Ancak her ne kadar konu hakkında yazılanlar doğru olsa da prompt’ta verilen 200 kelimelik sınıra uyulmamış, 165 kelimelik bir metin üretilmiştir. Bing Chat; ikinci denemede 181, üçüncü denemede ise 174 kelimelik bir çıktı üretmiştir. Metinlerin üretilmesi ise ortalama 19 saniye sürmüştür.

Bard’ın ürettiği sonuç ise şu şekildedir:

Üretilen metin Bing Chat’in ürettiği metne oranla çok daha kapsamlı görünmekte. Ancak yine 200 kelimelik sınıra uyulmadığı (ilk metinde 244, ikinci metinde 231, üçüncü metinde ise 421 kelime) görülmüştür. Metnin üretilme süresi ölçüldüğünde ortalama 7 saniyelik bir süre elde edilmiştir. Ancak bu sürede bir değil üç metin aynı anda üretilmiştir. Bing Chat’te ise bu durum tek seferde bir metin olarak karşımıza çıkmakta olup bu bir metnin üretilmesi ortalama 19 saniye sürmüştür.

Hugging Face’in cevabı ise şu şekildedir:

Üretilen sonuç oldukça geniş kapsamlı görünmektedir. Ancak metin üretiminde ne kelime sınırına uyulmuş (üretilen metin 313 kelimeden oluşmakta) ne de metin tamamlanmıştır. Aynı zamanda metnin yazılması için geçen süre hakkında, doğru ya da yanlış, herhangi bir bilgi de sunmamıştır. Süre ölçümü manuel olarak yapıldığında ise yaklaşık 21 saniyelik bir ortalama elde edilmiştir. Bing Chat’te olduğu gibi, görevi iki kere yeniden denemesini istendiğinde ise kendisinden istenmeyen bir şekilde bir sonuç üretmiştir.

Metinlerin kullanıcıya sunulma şekillerinde ise Bing Chat ve Hugging Face’in sonuçları kelime kelime ekrana yansıtmasının, bu dil modellerinin insanın düşünme sürecine daha yakın bir his uyandırdığı düşünülmüştür. Bard’ta ise yanıp sönen küçük simge eşliğinde kısa bir süre beklemenin ardından metin tek seferde sunulmaktadır. 

Metinlerin üretilme sürelerini ise hiçbir model tam olarak sunmamıştır. Bing Chat “birkaç saniye” ifadesi ile yuvarlak ancak doğru bir ifade verirken Bard “beş dakika” gibi uydurma ve doğru olmayan bir bilgi sunmuştur. HuggingChat ise hiçbir denemede konu ile ilgili herhangi bir bilgi sunmamıştır.

Tüm bunlar düşünüldüğünde üretilen metnin kalitesi ve hızı açısında Bard’ın, prompt’ta sunulan kurallara uygunluk açısından (200 kelime ve hız ölçümü) Bing Chat’in önde olduğu söylenebilir. Hugging Face ise her iki maddede de diğer dil modellerinin gerisinde kalmıştır.

Görev II: Yeniden yazma

| Rewrite this paragraph with an academic tone:

One of the most commonly adopted forms of social interactions are ratings and reviews. The comments and ratings of other users based on their experiences can be very effective in the decisions of potential buyers. The overall rating of the product and the number of users participating in the rating are one of the most important parameters that give the customer the first information about the reliability of a product. In this direction, the calculation method of this evaluation metric becomes very crucial. In this article, different scoring methods will be examined over a data set containing Amazon product data.

| Bu paragrafı akademik bir dille yeniden yaz:

One of the most commonly adopted forms of social interacitons are ratings and reviews. The comments and ratings of other users based on their experiences can be very effective in the decisions of potential buyers. The overall rating of the product and the number of users participating in the rating are one of the most important parameters that give the customer the first information about the reliability of a product. In this direction, the calculation method of this evaluation metric becomes very crucial. In this article, different scoring methods will be examined over a data set containing Amazon product data.

Bing Chat’in cevabı:

Üretilen metnin genel olarak istenen sonucu verdiği görülebilmektedir..

Bard’ın ürettiği sonuç ise şu şekilde:

Görülebildiği üzere Bard istenen görevi yapmakla kalmamış, bu görevi nasıl yaptığını da maddeler halinde açıklamıştır. Aynı zamanda metnin alındığı kaynağı bulması da artı bir özellik olarak eklenmelidir.

HuggingChat’in cevabı ise aşağıdaki gibidir:

Üretilen sonuç ilk bakışta düzgün görünmektedir. Ancak modelin ürettiği Amazon linki tıklandığında, linkin çalışmadığı anlaşılmaktadır. Buna ek olarak prompt’ta verilen referans numarasından ([6]) kaynaklı olarak model gerçekte olmayan, uydurma referans numaraları ([2, 7, 3, 4, 5]) üretmiştir. 

Karşılaştırma sonucunda istenene en yakın sonucu veren modelin Bard ve Bing Chat olduğu

ancak Bard’ın gerek işlem adımlarını anlatması gerekse doğru kaynağa erişebilmesi nedeni ile bir adım önde olduğu söylenebilir. Yeniden yazma görevinde son sıranın ise tam olarak doğru olmayan ve uydurma bilgiler içeren Hugging Chat‘in olduğu söylenebilir.

Görev III: Basitleştirme

Karmaşık metinleri anlamak bazen oldukça vakit alabilen bir aktivite haline gelebiliyor. Kimi zaman konuyu özetleyen, daha kolay bir şekilde anlaşılmasını sağlayan öz bilgilere ihtiyaç duyabiliyoruz. Bu nedenle  bu başlık altında Google’ın Ocak 2023’te yayınladığı MusicLM: Generating Music From Text başlıklı makalesinin giriş bölümünün ilk üç paragrafı, dil modellerince basitleştirilmek üzere seçilmiştir. Oldukça uzun olduğundan, ve telif hakları düşünüldüğünden prompt’un tamamı aşağıda sunulmamıştır.

| Simply explain this as if you would explain it to a 10-year-old:

| Bu metni, 10 yaşında bir çocuğa anlatır gibi basitçe anlat:

Bing Chat metni aşağıdaki şekilde basitleştirmiştir:

Görülebildiği üzere Bing Chat verilen karmaşık metni, tam olarak 10 yaşındaki bir çocuğa anlatır gibi olmasa da başarılı bir şekilde basitleştirebilmekte. 

Aynı probleme Bard’ın cevabı ise şu şekilde olmuştur:

Bard metni basitleştirse de Bing Chat’in ürettiği sonucun biraz daha kapsamlı bir versiyonunu üretmiş gibi duruyor. 

HuggingChat ise karmaşık metni 10 yaşındaki çocuğa aşağıdaki gibi anlatıyor:

HuggingChat’in ürettiği sonucun, karmaşık bir metni basitleştirmekle kalmadığı aynı zamanda prompt’ta istenen 10 yaşındaki bir çocuk için anlatılma hikayesine daha uygun olduğu görülmüştür.

Üretilen sonuçlar incelendiğinde, prompt’ta istenen 10 yaşındaki bir çocuğa anlatma hikayesine daha uygun bir sonuç ürettiği için basitleştirme görevini HuggingChat’in daha başarılı bir şekilde yaptığını söyleyebiliriz. Ancak diğer dil modelleri ile de birkaç deneme ile tatmin edici sonuçlar üretilebilmektedir.

Görev IV: Çeviri

Google Çeviri örneğinde olduğu gibi çeviri alanınında dil modellerinin başarısı yadsınamaz bir gerçektir. Bu alt başlıkta üç dil modelini önce Türkçe'den İngilizce'ye sonra da İngilizce'den Türkçe'ye çeviri yetenekleri açısından karşılaştıracağız.

| Translate this from Turkish to English:

| Bunu Türkçe’den İngilizce’ye çevir:

İngiltere'de Kral Charles taç giyme törenini sürdürülebilir bir etkinlik haline getirme çabasının parçası olarak, daha önce Kral 5. George tarafından kullanılmış tahta yeni yüz geçirip kullanmayı tercih etti.

6 Mayıs Cumartesi günü yapılacak törende tacını giyecek olan Kral 3. Charles, dedesi Kral George'un 1937'deki taç giyme töreninde kullandığı tahta oturacak.

Taht olarak kullanılacak koltuğun yüzü değiştirildi; ön ve arka tarafında ise orijinal kraliyet arması duruyor.

Kraliçe Camilla da aynısından bir başka koltuğa oturacak. O da Ana Kraliçe'nin yine 1937'deki taç giyme töreni sırasında oturduğu koltuk.

Fakat bu koltuktaki orijinal kraliyet armalarının yerini Kraliyet Nakış Yüksek Okulu'nda (RSN) işlenen yenileri aldı.

Bing Chat’in çevirisi aşağıdaki gibidir:

Üretilen çevirinin oldukça tatmin edici olduğu görülebilmekte.

Bard’ın ürettiği sonuç ise aşağıdaki şekilde olmuştur:

HuggingChat ise çeviri görevini şu şekilde tamamlamıştır:

HuggingChat’in de yine Türkçe’den İngilizce’ye çevirisinin tatmin edici düzeyde olduğu görülebilmektedir. Ancak metnin ilk cümlesinin çevirisinde Bing Chat’in orijinal metne daha sadık kalması nedeni ile Türkçe’den İngilizce'ye çeviri görevinde daha başarılı olduğu söylenebilir.

Görev V: Kodlama becerileri

Popüler dil modellerinin istenen programlama dillerinde sonuçlar üretebildiğini, verilen kodlardaki hatayı bulabildiğini veya daha efektif bir şekilde kodları yeniden yazabildiğini görmüşsünüzdür. Bu görevde dil modellerinin kodlama becerileri Visual Basic dili ile PowerPoint’te bir sunum hazırlamaları istenerek kıyaslanacaktır.

| Can you write me another VBA code to create a PowerPoint presentation about “the effects of Japanese art in Western art”? I am using version 16.70 of PowerPoint, so make sure I can run the code properly. Determine the number of slides by yourself. Use oriental Japanese colours. Add some oriental shapes. Add some transitions between every slide. Give detailed information on each page. Use bullets on some slides and plain text on some. On the last slide add your references like articles, books etc. and at the end please tell me how will I run the code on PowerPoint briefly, please.

| “Japon sanatının Batı sanatına etkileri” hakkında bir PowerPoint sunumu oluşturmak için bana bir VBA kodu yazabilir misiniz? PowerPoint'in 16.70 sürümünü kullanıyorum, bu yüzden kodu düzgün çalıştırabileceğimden emin olun. Slayt sayısını kendin belirle. Oryantal Japon renklerini kullan. Bazı oryantal şekiller ekle. Her slayt arasına bazı geçişler ekle. Her sayfada ayrıntılı bilgi ver. Bazı slaytlarda madde işaretleri ve bazılarında düz metin kullan. Son slaytta makale, kitap vb. referanslarını ekle ve sonunda lütfen bana kısaca PowerPoint'te kodu nasıl çalıştıracağımı söyle.

Bing Chat ne yazık ki aşağıdaki yanıtı üretmiştir:

GPT-3.5’in sorunu çözüp çözemeyeceği ayrıca incelenmek istenmiş, bu nedenle problem ChatGPT-3.5 ile yeniden denenmiştir. ChatGPT-3.5’in ürettiği sonuç aşağıdaki gibidir:

Sub JapaneseArt()

    ' Create a new PowerPoint presentation

    Dim PPT As PowerPoint.Application

    Set PPT = New PowerPoint.Application

    ' Create a new presentation and add a slide

    Dim Presentation As PowerPoint.Presentation

    Set Presentation = PPT.Presentations.Add

    Dim Slide As PowerPoint.Slide

    Set Slide = Presentation.Slides.Add(1, ppLayoutTitle)

    ' Add title and subtitle to the first slide

    Slide.Shapes.Title.TextFrame.TextRange.Text = "The Effects of Japanese Art in Western Art"

    Slide.Shapes(2).TextFrame.TextRange.Text = "Presented by [Your Name]"

    ' Change the background color of the first slide

    Slide.Background.Fill.ForeColor.RGB = RGB(220, 220, 220) ' light gray

    ' Add some oriental shapes to the first slide

    Slide.Shapes.AddShape(msoShapeFlowchartProcess, 50, 100, 100, 100).Fill.ForeColor.RGB = RGB(235, 170, 100) ' orange

    Slide.Shapes.AddShape(msoShapeFlowchartProcess, 150, 150, 100, 100).Fill.ForeColor.RGB = RGB(120, 190, 180) ' green

    Slide.Shapes.AddShape(msoShapeFlowchartProcess, 250, 200, 100, 100).Fill.ForeColor.RGB = RGB(240, 180, 160) ' light orange

    ' Add some text to the second slide with bullets

    Set Slide = Presentation.Slides.Add(2, ppLayoutTitleOnly)

    Slide.Shapes.Title.TextFrame.TextRange.Text = "Origins of Japanese Art"

    Slide.Shapes.Title.TextFrame.TextRange.Font.Bold = msoTrue

    Slide.Shapes.Title.TextFrame.TextRange.Font.Size = 32

    Slide.Shapes.Title.TextFrame.TextRange.Paragraphs.ParagraphFormat.Alignment = ppAlignCenter

    Slide.Shapes.AddTextbox(msoTextOrientationHorizontal, 50, 150, 400, 200).TextFrame.TextRange.Text = "• Buddhism and Chinese influence" & vbCrLf & "• Emphasis on nature and simplicity" & vbCrLf & "• Use of symbols and metaphors"

    ' Add some text to the third slide with plain text

    Set Slide = Presentation.Slides.Add(3, ppLayoutTitleOnly)

    Slide.Shapes.Title.TextFrame.TextRange.Text = "Japonisme in Western Art"

    Slide.Shapes.Title.TextFrame.TextRange.Font.Bold = msoTrue

    Slide.Shapes.Title.TextFrame.TextRange.Font.Size = 32

    Slide.Shapes.Title.TextFrame.TextRange.Paragraphs.ParagraphFormat.Alignment = ppAlignCenter

    Slide.Shapes.AddTextbox(msoTextOrientationHorizontal, 50, 150, 400, 200).TextFrame.TextRange.Text = "The craze for Japanese art in the late 19th century" & vbCrLf & "• Influence on Impressionism, Post-Impressionism, Art Nouveau, and more" & vbCrLf & "• Interest in flatness, asymmetry, and decorative patterns"

    ' Add some text to the fourth slide with bullets

    Set Slide = Presentation.Slides.Add(4, ppLayoutTitleOnly)

    Slide.Shapes.Title.TextFrame.TextRange.Text = "Examples of Japanese Influence in Western Art"

    Slide.Shapes.Title.TextFrame.TextRange.Font.Bold = msoTrue

    Slide.Shapes.Title.TextFrame.TextRange.Font.Size = 32

    Slide.Shapes.Title.TextFrame.TextRange.Paragraphs.ParagraphFormat.Alignment = ppAlignCenter

Yukarıdaki giften de görülebildiği gibi GPT-3.5 verilen konu ile ilgili bir PowerPoint sunumunun hazırlanabildiği VBA kodunu başarılı bir şekilde oluşturabilmektedir.

Bard'ın oluşturduğu kod bloklarının hiçbirinin, ne yazık ki, kusursuz bir şekilde çalışmadığı görülmüştür. Oluşturduğu kod blokları, her denemede bir derleme veya bir sözdizimi hatası üretmiştir. Modele hataların nasıl düzeltilebileceği sorulduğunda ise önerdiği yöntemler ya işe yaramamış ya da başka hatalara neden olmuştur. Bu nedenle Bard’ın bu görevde başarısız olduğu sonucuna ulaşılmıştır.

HuggingChat ise, Bard’a benzer bir şekilde, başarılı bir VBA kodu üretememiştir. Üretilen kod ile, Bard’ta olduğu gibi, derleme veya sözdizimi hatalarıyla karşılaşılmıştır. Bu nedenle kod yazımı görevinde galibin GPT-3.5 olduğu söylenebilir. Ancak yine de ilgili dil modellerinin, diğer popüler programlama dillerinde (Python, R vb.) daha genel görevlere tabi tutulması gerektiği açıktır. Bu yazı kapsamında ele alınan görevin amacı direkt olarak dil modellerinin kodlama becerilerini ölçmek yerine, üretilen sonuçlar ile ne kadar ileri gidilebileceği/yeni şeyler üretilebileceğini görmektir.

Görev VI: Bir metnin özünü anlama

Modelleri karşılaştıracağımız son görev, verilen metni ve bağlamını anlama kapasiteleri olacaktır. Bunun için 2022 YDS ve YÖKDİL sınavlarında sorulan soruları kullanacağız.

| Q1: Which option is the best for — — part?

| S1: — — kısmı için en uygun seçenek hangisidir?

The expansion of our universe is much like the inflation of a balloon. The microwave background radiation fills our universe and defines a reference frame, analogous to the rubber (the surface) of an inflating balloon, with respect to which motion can be measured. The distances to remote galaxies are increasing, and astronomers casually say that distant galaxies are ‘receding’ or ‘moving away’ from us. — — Instead the space between the galaxies and us is expanding. Individual galaxies move around at random within clusters, but the clusters of galaxies are essentially ‘at rest’.

A) However, the galaxies are not travelling through space away from us.

B) This is because galaxies are not fragments of a big bang bomb.

C) Yet, the universe does not seem to have an edge or a centre or an outside.

D) The formation of all galaxies and planets has depended on the expansion.

E) That is, most scientists think they understand it, but few agree on what it really means.

Bing Chat soruyu başarılı bir şekilde cevaplayabilmekte:

Bard’ın da soruyu doğru bir şekilde cevaplayabildiğini görebilmekteyiz:

Aynı şekilde HuggingChat de doğru cevabı bulabilmekte:

| Q2: Find the sentence that breaks the semantic integrity of the text.

| S2: Metnin bütünlüğünü bozan cümleyi bul.

When a freshly cut piece of lead metal is exposed to the air, it quickly reacts with oxygen to form a thin outer layer of lead oxide. This prevents further reaction between the metal and oxygen and other constituents of the air. Metallic lead is used in a pure or nearly pure form, usually because of its high density and ability to be bent and shaped. A similar phenomenon occurs when the metal is placed into water. Compounds present in water react with lead to form an outer skin of lead carbonate, lead silicate, or similar compounds that protect the metal from further interaction.

Bu soruda Bing Chat ve Bard’ın anlam bütünlüğünü bozan cümleyi tespit edebildiğini görebiliyoruz:

HuggingChat ise soruyu tam olarak anlayıp, akışı bozan cümleyi seçmek yerine geniş bir açıklama yapmayı tercih ediyor:

| Q3: Choose the best option to complete the dialogue.

| S3: Diyalogu en iyi şekilde tamamlayan cümleyi seç.

Choose the best option to complete the dialogue.

Sarah:

Talking about festivities, what do you know about Chinese New Year?

Bill:

Well, it can take place anytime in the first two months of the year with people dining with relatives and enjoying outdoor spectacles such as firecrackers, fireworks and dragon dancing.

Sarah:

— —

Bill:

That has something to do with the rising of the second new moon after the winter solstice and can occur anywhere between the 21 January and 20 February.

A) Wouldn’t it be extraordinary to participate in such festive activities even in February?

B) Don’t you think it would be better to avoid having festivals for such a long duration?

C) Then, where is the logic in not holding Chinese New Year on the same day every year?

D) Isn’t it also known as the Spring Festival to usher out the old year and bring in the new?

E) Aren’t these major celebrations held on New Year’s Eve and New Year’s Day?

Bu soruda Bing Chat’in sorudaki metni doğru bir şekilde anlayıp, uygun seçeneği seçebildiğini görmekteyiz:

Bard ve HuggingFace ise aynı, yanlış seçeneği seçmekte. Bard’ın soruya cevabı:

HuggingChat’in soruya cevabı ise:

Metnin özünü anlamayı gerektiren bu üç soruyu doğru bir şekilde cevaplayan Bing Chat’in Bard ve HuggingChat’e göre daha ileride olduğu görülebilmektedir.

Bu yazıda popüler üç büyük dil model aracını (Bing Chat, Bard ve HuggingChat) altı görevde kıyasladık. Yapılan kıyaslamalar neticesinde Bing Chat ve Bard’ın yakın olduğu ancak Bing Chat’in Bard’tan bir adım önde olduğu görülmüştür. Kullanıma görece daha yeni açılan ve diğer dil modellerine oranla daha küçük bir veri seti ile eğitilen HuggingChat’in daha düşük performans göstermesinin beklenen bir durum olduğu notu düşülebilir. Dil modellerine verilen görevler tam olarak aynı zaman dilimlerinde yapılmadığından versiyon sürümlerinden dolayı doğabilecek değişikliklerin göz önünde tutulması gerekliliği de açıktır. GPT-4’ü alt edebilecek yeni bir dil modeli tanıtılacak mı, ilerleyen zamanlarda göreceğiz.

Referanslar

Google, Bard updates

Medium, Çetinkaya O., Comparing Bard and GPT-3.5

YouTube, Güncel Zeka, GPT-4 RAKİBİ Google Bard'ı Denedim. Google Geri mi Geliyor?

Google, Pichai S., An important next step on our AI journey

Agostinelli A. vd. (2023), MusicLM: Generating Music From Text

ÖSYM, Yökdil İngilizce Fen Bilimleri 28 Ağustos 2022 tarihli sınav

ÖSYM, YDS İngilizce 10 Nisan 2022 tarihli sınav