Çözüldü sitedeki firma bilgilerini excele çekme

Selamlar,

VBA ile web'den veri çekme hakkında bilginiz yok ise,

Size önerebileceğim en iyi ve kolay yöntem WebHarvy programını kullanmanız olur.

WebHarvy ile dilediğiniz verileri belirleyip, sitedeki tüm verileri bir excel dosyasına kaydedebilirsiniz.

Kullanması da oldukça kolaydır. Birkaç hatalı deneme yaptıktan sonra, istediklerinizi mutlaka elde edersiniz.

İyi çalışmalar.

Yellowbox' Alıntı:

Selamlar,

VBA ile web'den veri çekme hakkında bilginiz yok ise,

Size önerebileceğim en iyi ve kolay yöntem WebHarvy programını kullanmanız olur.

WebHarvy ile dilediğiniz verileri belirleyip, sitedeki tüm verileri bir excel dosyasına kaydedebilirsiniz.

Kullanması da oldukça kolaydır. Birkaç hatalı deneme yaptıktan sonra, istediklerinizi mutlaka elde edersiniz.

İyi çalışmalar.

Genişletmek için tıklayın ...

biraz uğraştım ama sadece firma isimlerini getirebiliyorum. Pop up olduğundan dolayı mı acaba mail ve telefon bilgilerini çekemiyor

Tekrar selamlar,

Belirttiğiniz web sitesinden verileri nasıl çekeceğinizle alakalı 2dk'lık bir video çektim.

Çektiğim videoyu izlerseniz, istediğiniz verilere ulaşabilirsiniz.

Yellowbox' Alıntı:

Tekrar selamlar,

Belirttiğiniz web sitesinden verileri nasıl çekeceğinizle alakalı 2dk'lık bir video çektim.

Çektiğim videoyu izlerseniz, istediğiniz verilere ulaşabilirsiniz.

Genişletmek için tıklayın ...

Merhaba,

Dosyayı indirme yetkim yok açamıyorum upload edip link atabilir misiniz? Ya da rdncylmaz**** adresine yollarsanız çok sevinirim. Desteğiniz için çok teşekkür ederim.

rdncy' Alıntı:

Merhaba,

Dosyayı indirme yetkim yok açamıyorum upload edip link atabilir misiniz? Ya da rdncylmaz**** adresine yollarsanız çok sevinirim. Desteğiniz için çok teşekkür ederim.

Genişletmek için tıklayın ...

Açıkcası Forum kurallarını ihlal edip etmediğini bilmiyorum. Eğer link gönderimi yasak ise kaldırılabilir.

Dosya linki ; ***

Web sitemiz dışında bir yere dosya yüklemek, link vermek, e-posta ile dosya talep etmek, bu talebe riayet etmek yasaktır.
Tespit edilmesi durumunda her iki fiili işleyen üyeler sitemizden süresiz olarak yasaklanır.
Kullanıcıların siteye kayıt olduğu sayfada, sitemizden dosya indirmek için VIP üyelik alınması gerektiği net bir şekilde belirtilmiş, kullanıcı bunu bilerek üyelik yapmıştır.

Bizim kuralımız budur...

admin' Alıntı:

Web sitemiz dışında bir yere dosya yüklemek, link vermek, e-posta ile dosya talep etmek, bu talebe riayet etmek yasaktır.
Tespit edilmesi durumunda her iki fiili işleyen üyeler sitemizden süresiz olarak yasaklanır.
Kullanıcıların siteye kayıt olduğu sayfada, sitemizden dosya indirmek için VIP üyelik alınması gerektiği net bir şekilde belirtilmiş, kullanıcı bunu bilerek üyelik yapmıştır.

Bizim kuralımız budur...

Genişletmek için tıklayın ...

Yukarıda yazdığım gibi, yasak ise kaldırılabileceğini belirtmiştim.

Siz de gereğini yapmışsınız.

Fakat, kasıtlı kural ihlali yaptığımı düşünüyorsanız banlayabilirsiniz.

Kimseyi "banlamak" hevesinde değilim.
Genel olarak bilgilendirme mesajı yazdım @Yellowbox

Hayırlı akşamlar.

@rdncy

Yazdıklarımı sırasıyla uygulaynız.

Programı açıp sitenin linkini yapıştırın.

Sayfa yüklendikten sonra firma listelerinin olduğu sayfaya geliniz.

Verilerini çekmek istediğiniz firmaların sayfasında iken, sol üst kısımdaki "start" butonuna tıklayınız.

Gönderdiğiniz linkin ilk sırasında 1drop ınc. şirketi var. linkin üstüne tıklayıp açılan ufak pencereden " Follow this link" alanına tıklayınız.

Açılan yeni sayfada "Show details" alanına tıklayınız. Açılan küçük pop-up penceresinden sırasıyla "More options" daha sonra açılan menüden

"Click" seçeneğine tıklayınız. Bu işlemden sonra sizin açamadığınız pop-up penceresi açılacak.

İçindeki tüm verileri üzerlerine tıklayıp dilediğiniz başlıklarla düzenleyiniz.

İşleminizi bitirdikten sonra yine sol üst kısımda bulunan "stop" butonuna tıklayınız.

Ardından yine sol üst menüde bulunan "Start mine" butonuna tıklayınız.

Açılan yeni pencerede "start" butonuna tıklayınız. veri çekme işlemi başlayacaktır.

İnternet hızınıza ve verinin yoğunluğuna göre bu işlem süresi değişebilir.

İşlem bittikten sonra "export" butonuna tıklayıp dosyanızı excel formatında kayıt edebilirsiniz.

Anlamadığınız yada çözemediğiniz bir alan olursa bildiriniz.

İyi çalışmalar.

Not: Siz sadece bir firmanın çekmek istediğiniz verilerini belirleyeceksiniz.

Program otomatik olarak sizin çekmek istediğiniz verileri analiz edip, diğer firmalara da uygulayacaktır.

Yellowbox' Alıntı:

Not: Siz sadece bir firmanın çekmek istediğiniz verilerini belirleyeceksiniz.

Program otomatik olarak sizin çekmek istediğiniz verileri analiz edip, diğer firmalara da uygulayacaktır.

Genişletmek için tıklayın ...

Merhaba,

Yaşadığım problem şu : Verileri çekiyor 20 adede kadar devamı gelmiyor. 20 tanesini çekiyorum nerde kaldıysa en son çekilen firmadan itibaren yeniden veri çekme işlemi yaptığımda ise hiç bir işlem yapmıyor. 20 adet listeleme yaptığı için bu kadar alabiliyor sanırım. Set as Next Page link seçeneği burada işe yaramıyor farklı sayfalar olmadığı için.

rdncy' Alıntı:

Merhaba,

Yaşadığım problem şu : Verileri çekiyor 20 adede kadar devamı gelmiyor. 20 tanesini çekiyorum nerde kaldıysa en son çekilen firmadan itibaren yeniden veri çekme işlemi yaptığımda ise hiç bir işlem yapmıyor. 20 adet listeleme yaptığı için bu kadar alabiliyor sanırım. Set as Next Page link seçeneği burada işe yaramıyor farklı sayfalar olmadığı için.

Genişletmek için tıklayın ...

Start butonuna tıkladıktan sonra sol üst menü'den "Configuration" menüsünü açın.

Açılan alanda "Scroll to load next page" kutuğunu işaretleyin.

Sorununuz çözülecektir.

Ayrıca "Settings" menüsünde yer alan "Auto save mined data" seçeneğini de aktif hale getirip dilediğiniz otomatik kayıt sayısını belirtin.

Herhangi bir kitlenmeye karşı önlem almış olursunuz.

Kolay gelsin.

Yellowbox' Alıntı:

Start butonuna tıkladıktan sonra sol üst menü'den "Configuration" menüsünü açın.

Açılan alanda "Scroll to load next page" kutuğunu işaretleyin.

Sorununuz çözülecektir.

Ayrıca "Settings" menüsünde yer alan "Auto save mined data" seçeneğini de aktif hale getirip dilediğiniz otomatik kayıt sayısını belirtin.

Herhangi bir kitlenmeye karşı önlem almış olursunuz.

Kolay gelsin.

Genişletmek için tıklayın ...

Bunları yaptım fakat yine de 20 adet aldı daha sonra 20 adet daha yaptı. Sonrası hiçbir şekilde olmuyor. 2 olan sayıyı da değiştirdiğimde sürüm bu sürümde 2 sayfaya kadar veri çekileceği tarzında bir şey yazıyor. Çok zahmet verdim ama tekrar bakma imkanınız var mıydı?

rdncy' Alıntı:

Bunları yaptım fakat yine de 20 adet aldı daha sonra 20 adet daha yaptı. Sonrası hiçbir şekilde olmuyor. 2 olan sayıyı da değiştirdiğimde sürüm bu sürümde 2 sayfaya kadar veri çekileceği tarzında bir şey yazıyor. Çok zahmet verdim ama tekrar bakma imkanınız var mıydı?

Genişletmek için tıklayın ...

Muhtemelen bir yerde hata yaptınız.

Ben test ettim 200 den sonra kapattım.

Webharvy deneme sürümü kullanıyorsanız veri çekme limiti ihtimali de olabilir.

Yellowbox' Alıntı:

Muhtemelen bir yerde hata yaptınız.

Ben test ettim 200 den sonra kapattım.

Webharvy deneme sürümü kullanıyorsanız veri çekme limiti ihtimali de olabilir.

Genişletmek için tıklayın ...

Çok teşekkür ederim desteğiniz için deneme sürümünden kaynaklıymış. Bir site daha var elimde ama bunun altyapısı farklı sanırım. Birçok deneme yaptım ama verileri 30 adete kadar alıyor yani ilk sayfadaki firmaları alıyor sadece. Scroll to load next page işaretli diğer sayfaların bilgileri gelmiyor.

Merhaba , İlettiğiniz ikinci web sitesinden almaya çalıştığınız nedir ? Sadece firma isimleri mi yoksa tüm sütunlar mı ?

ezelk' Alıntı:

Merhaba , İlettiğiniz ikinci web sitesinden almaya çalıştığınız nedir ? Sadece firma isimleri mi yoksa tüm sütunlar mı ?

Genişletmek için tıklayın ...

firma isimleri, ülkeleri telefon ve mail adresleri. mail adresleri site üzerinde yok web sitesinden çekme imkanı olur mu acaba? yani hiç olmadı adı ülkesi telefonunu çekebilsem bile şimdilik işimi görecek.

Yellowbox' Alıntı:

Son gönderdiğiniz web sitesini inceledim.

Belli ki verilerin dışarı kolayca çıkmasına mani olmak için bazı engeller koymuşlar.

WebHarvy temel düzey veri kazıma programıdır. Hiç bilgi sahibi olmayan biri bile rahatlıkla kullanabilir.

Fakat bu site gibi bazı siteler'de işe yaramayabilir.

Web üzerinde çekilemeyecek hiçbir veri yoktur ve birçok yöntemi vardır.

Bu tarz işleri sürekli yapıyorsunuz anladığım kadarı ile.

Size tavsiyem kodlamayı öğrenmeniz olacaktır.

Excel VBA ve selenium ile her türlü veriyi çekebilirsiniz.

Çok daha detaylı ve sıkıntılı web siteleri için Phyton kullanmanız gerekir.

Python ile veri çekmede kullanmanız gereken kütüphaneler de şu şekilde;

Selenium, requests, lxml, htmlib5, beautifulsoup, beautifulsoup4, pandas.

Bu yedi kütüphane ile dünya üzerinde veri çekemeyeceğiniz bir web sitesi yoktur.

Bu arada ben yazılımcı yada bil. müh. değilim. İçmimarım. Bu konulara karşı kişisel ilgi ve alakam olduğu için az da olsa bilgi sahibiyim.

Kolay gelsin.

Genişletmek için tıklayın ...

Selenium u incelemeye başladım. Çok teşekkür ederim yardımlarınız ve tavsiyeniz için.