Cara Mengambil Data Website dengan Web Scraper

00:10:03
https://www.youtube.com/watch?v=_tX_7-6is88

Summary

TLDRVideo ini memandu penonton melalui proses scraping data dari sebuah situs web. Dimulai dengan penginstalan ekstensi web scraper, pengguna diarahkan untuk memilih situs dan membuat peta baru untuk mengambil data. Dengan mengikuti langkah-langkah, pengguna dapat memilih berbagai data dari situs yang diinginkan, seperti nama pekerjaan, lokasi, gaji, dan tautan. Proses scraping diakhiri dengan pengeksporan data untuk analisis lebih lanjut.

Takeaways

  • 🔧 Pastikan web scraper sudah terinstal di browser
  • 📦 Pilih situs web yang ingin diambil datanya
  • 🔍 Gunakan fitur inspect untuk memilih data
  • 🗺️ Buat peta untuk mengatur data yang akan diambil
  • 📝 Tambahkan selector untuk setiap jenis data yang ingin diambil
  • 💾 Data preview untuk memeriksa data yang terpilih
  • 🚀 Mulai proses scraping setelah membuat peta
  • 📊 Ekspor data dalam format Excel atau CSV
  • ⚠️ Pastikan untuk menggulir untuk mengambil lebih banyak data
  • ❗ Periksa kembali selector jika data yang diambil kosong

Timeline

  • 00:00:00 - 00:10:03

    Dalam praktikum pertama pengantar big data, kita belajar cara menginstal web scraper dan melakukan data scraping dari website. Langkah awal adalah memastikan bahwa extension web scraper terinstal di browser. Jika belum, pengguna perlu mengunduh dari website yang disediakan. Setelah itu, kita dapat memilih website untuk scraping, contohnya adalah Tn Asia yang memuat data pekerjaan. Proses scraping dimulai dengan membuat peta (sitemap) dan menambahkan selector yang dibutuhkan untuk mengumpulkan data, seperti nama pekerjaan, daerah, gaji, dan tautan. Setelah semua data yang diinginkan dipilih, kita dapat memulai proses scraping, menetapkan interval waktu yang sesuai agar tidak melebihi batas, dan akhirnya menyimpan hasil scraping dalam format Excel atau CSV.

Mind Map

Video Q&A

  • Apa itu web scraping?

    Web scraping adalah proses mengumpulkan data dari situs web.

  • Bagaimana cara menginstal web scraper?

    Anda perlu pergi ke bagian ekstensi di browser Anda, temukan web scraper, dan instal dari situsnya.

  • Apa yang bisa saya ambil datanya?

    Anda bisa mengambil berbagai data seperti nama pekerjaan, lokasi, gaji, dll.

  • Bagaimana cara melihat data yang telah diambil?

    Anda dapat masuk ke bagian preview data untuk melihat data yang telah dipilih.

  • Dalam format apa saya dapat mengekspor data?

    Anda dapat mengekspor data dalam format Excel atau CSV.

  • Mengapa beberapa data yang diambil kosong?

    Ini mungkin karena elemen tidak dipilih dengan benar atau tidak ada data yang tersedia di situs.

  • Apa yang dimaksud dengan selector dalam scraping?

    Selector adalah ID atau tipe yang digunakan untuk memilih elemen tertentu dari halaman web.

  • Bagaimana jika saya ingin mengambil lebih banyak data?

    Anda perlu menggulir ke bawah pada halaman untuk memuat lebih banyak data sebelum melakukan scraping.

View more video summaries

Get instant access to free YouTube video summaries powered by AI!
Subtitles
id
Auto Scroll:
  • 00:00:00
    kita bakal masuk ke praktikum pertama
  • 00:00:02
    pengantar big data di sini kita bakal
  • 00:00:05
    ngscraping
  • 00:00:07
    eh data dari sebuah website
  • 00:00:11
    eh langkah pertama itu kalian harus
  • 00:00:14
    instal dulu web sccripernya Nah untuk
  • 00:00:17
    make sure kalau kalian sudahah
  • 00:00:19
    installscriper di eh Chrome kalian atau
  • 00:00:23
    di browser kalian kalian bisa ke titik
  • 00:00:26
    tig di sini terus masuk ke bagian
  • 00:00:29
    extension Terus klik yang manage
  • 00:00:32
    extension biasanya di sini bakal
  • 00:00:34
    langsung muncul tampilan websperper
  • 00:00:36
    kalau kalian sudahah inst kalau misalnya
  • 00:00:38
    gak ada kalian coba bisa search di sini
  • 00:00:42
    webs kalau ada berarti
  • 00:00:44
    websah terinstal kalau gak ada berarti
  • 00:00:47
    webper kalian belum
  • 00:00:49
    terinstal Oke kalau misalnya websper
  • 00:00:52
    kalian belum terinstal kalian bisa ke
  • 00:00:55
    website
  • 00:00:56
    web Nah ini
  • 00:00:58
    webs.io nah kalian klik install di
  • 00:01:01
    bagian sini nanti dia bakal auto
  • 00:01:04
    langsung kesimpan di extension kalian
  • 00:01:07
    nah cara lihatnya itu gimana cara
  • 00:01:09
    lihatnya tadi sama ke bagian manage e
  • 00:01:12
    extension ya Nah setelah kita instal si
  • 00:01:16
    websripernya kita mulai untuk cari
  • 00:01:19
    website yang mau kita scrip datanya Nah
  • 00:01:23
    website ini tuh bebas ya kalian bisa
  • 00:01:25
    cari website Kayak misalnya shopee
  • 00:01:30
    nah ini juga kalian bisa scrip
  • 00:01:33
    terus atau misalnya
  • 00:01:36
    Eh kayak websitewebsite jurnal atau buku
  • 00:01:40
    itu kalian bisa scrap datanya ya Nah di
  • 00:01:43
    sini aku bakal ng-srap data dari website
  • 00:01:46
    te in Asia nah Te in Asia ini kayak
  • 00:01:48
    website e berita website eh yang berisi
  • 00:01:52
    kayak eh job job database kayak gitu Nah
  • 00:01:56
    di sini aku bakal ngrapping eh data di
  • 00:02:00
    website t Asia di bagian job nah bagian
  • 00:02:04
    sini Nah di job ini kita bisa lihat eh
  • 00:02:08
    daftar pekerjaan apa aja yang dibutuhkan
  • 00:02:11
    dengan rentang gaji berapa di daerah
  • 00:02:13
    mana dan Apa nama pekerjaannya Nah aku
  • 00:02:17
    mau ng-escrap data dari eh data
  • 00:02:19
    pekerjaan di website TN AC Ini nah
  • 00:02:22
    caranya itu gimana caranya kalian
  • 00:02:24
    tinggal kalau udah instal
  • 00:02:27
    websperer-nya kalian Klik Kanan
  • 00:02:30
    Terus kalian ke bagian inspect nah di
  • 00:02:32
    bagian inspect ini nanti bakal langsung
  • 00:02:35
    muncul tulisan eh di sini pojok kanan
  • 00:02:38
    ini web Scraper kalau misalnya kalian
  • 00:02:41
    ggak ada eh websrapernya di sini nah
  • 00:02:44
    kalian bisa coba untuk uninstall e
  • 00:02:48
    websrapernya terus kemudian Instal lagi
  • 00:02:51
    nah biasanya itu nanti e bakal muncul si
  • 00:02:54
    webser bagian sini nah kalau udah gitu
  • 00:02:57
    kita langsung masuk ke website websp
  • 00:03:00
    masuk ke sini nah kalau dia masuk bagian
  • 00:03:04
    sini biasanya kalau kalian belum pernah
  • 00:03:06
    ng-scraping sebuah sebuah website data
  • 00:03:09
    dari sebuah website biasanya kalian di
  • 00:03:11
    sini tuh bakal templannya kosong sama
  • 00:03:13
    sekali enggak ada side map apapun Nah
  • 00:03:16
    kalau di sini karena aku sudahudah
  • 00:03:17
    pernah nge-escraping jadi eh ada
  • 00:03:20
    beberapa set map yang
  • 00:03:22
    eh riwayatnya di sini
  • 00:03:25
    Nah untuk ng create map-nya pertama itu
  • 00:03:29
    kalian ke bagian Create new set map
  • 00:03:32
    terus masuk ke create set Map di bagian
  • 00:03:35
    create set map ini Nah kita tulis nama
  • 00:03:41
    eh data apa yang mau kita scrap dari
  • 00:03:44
    website itu dan juga kita masukin link
  • 00:03:47
    url-nya nah link url ini adalah link
  • 00:03:50
    website yang kita mau scraping datanya
  • 00:03:52
    Nah karena tadi aku mau
  • 00:03:54
    scrapping data pekerjaan berarti di sini
  • 00:03:57
    aku namain job
  • 00:04:00
    terus untuk url-nya make sure kalian
  • 00:04:03
    masukin url yang mau kalian scaing
  • 00:04:07
    datanya berarti kannya yang ini kan
  • 00:04:09
    berarti
  • 00:04:11
    kita di sini kalau udah kita langsung
  • 00:04:14
    createap nah dia langsung masuk ke
  • 00:04:16
    bagian save map yang tadi udah kita buat
  • 00:04:19
    Nah di sini kita mulailah tambahin e
  • 00:04:23
    ID atau selector ya selector apa aja
  • 00:04:25
    yang kita mau ambil dari website ini
  • 00:04:27
    datanya Nah kita add selector
  • 00:04:30
    Nah kita masukin misalnya kita mau
  • 00:04:32
    ngambil e nama pekerjaannya berarti
  • 00:04:36
    id-nya name nah name itu apa pekerja
  • 00:04:39
    nama pekerjaan nah typnya Apa tyya itu t
  • 00:04:42
    karena nama itu kan teks ya Nah kalau
  • 00:04:44
    misal kalian mauambil link kan bisa sesu
  • 00:04:47
    jadi link kalau kalian mau ngambil image
  • 00:04:49
    kalian bisa sesunya jadi image ataupun
  • 00:04:52
    kalian mauambil table kalian bisa
  • 00:04:54
    sesunya jadi
  • 00:04:56
    table aku
  • 00:04:59
    mau ngambil nama pekerjaannya terus kita
  • 00:05:01
    langsung klik select bagian sini oke
  • 00:05:04
    kita select nama pekerjaannya nama
  • 00:05:06
    pekerjaan itu yang mana sih yang ini kan
  • 00:05:08
    berarti kita Klik di bagian nama
  • 00:05:10
    pekerjaan kalau ada tanda merah kayak
  • 00:05:11
    gini berarti dia udah keselect nah
  • 00:05:13
    gimana cara nge-select eh data data
  • 00:05:16
    pekerjaan lain yang di bawahnya Nah kita
  • 00:05:18
    klik aja yang kedua di sini nah dia
  • 00:05:21
    bakal auto langsung ke select di bagian
  • 00:05:23
    bawahnya sini tuh
  • 00:05:25
    Oke kalau udah kalian klik dan selecting
  • 00:05:30
    nah data yang tadi nama data nama tadi
  • 00:05:33
    yang kita sudah select kita pengin lihat
  • 00:05:35
    nih datanya di mana sih kalian masuk ke
  • 00:05:37
    data preview nah data preview kita bisa
  • 00:05:40
    lihat data nama yang tadi sudah kita
  • 00:05:42
    selectuman satu yang bisa kelihatan
  • 00:05:45
    berarti kalian
  • 00:05:46
    e ceklist yang bagian multiples ini nah
  • 00:05:50
    ceklis bagian multiples ini itu gunanya
  • 00:05:52
    untuk apa gunanya
  • 00:05:54
    untuk ngelihat data yang tadi sudah kita
  • 00:05:57
    select di bagian data preview Nah
  • 00:05:59
    setelah kita ek mulp Nah kita lihat di
  • 00:06:04
    data preview kelihatan apa aja data yang
  • 00:06:07
    tadi kita
  • 00:06:08
    ambil kalau udah kita save selector nah
  • 00:06:14
    next kita mau ambil data apa
  • 00:06:17
    laginyaor kita mau ambil data daerah
  • 00:06:22
    daerah si pekerjaan ini
  • 00:06:26
    [Musik]
  • 00:06:29
    daerah berarti yang ini kan kita klik
  • 00:06:31
    terus juga kita Klik yang ini Nah kalau
  • 00:06:34
    udah dan
  • 00:06:35
    selecting langsung save lagi tuh terus
  • 00:06:40
    add new lagi kita misalnya mau masukin
  • 00:06:46
    eh si gajinya ya ini
  • 00:06:52
    gajinya teks juga kita select gajinya
  • 00:06:58
    Oke dan selecting terus kita save
  • 00:07:01
    selector terus Satu lagi deh satu lagi
  • 00:07:04
    kita mau ambil si url ya linknya nanti
  • 00:07:09
    kalau link itu berarti tab-nya Apa
  • 00:07:10
    tab-nya itu Link kita select nah link
  • 00:07:15
    itu itu bisa tap di bagian si judulnya
  • 00:07:18
    ini
  • 00:07:20
    dan selecting and S selector Udah nih
  • 00:07:24
    kita
  • 00:07:25
    udah tentuin apa aja data apa aja yang
  • 00:07:28
    kita mau ambil dari si data pekerjaan di
  • 00:07:30
    in ini kalau udah kita langsung ke
  • 00:07:33
    bagian scrapping datanya kalian masuk ke
  • 00:07:37
    J Terus kalian masuk ke SCP Nah klik SCP
  • 00:07:42
    terus nanti kalian masuk ke bagian sini
  • 00:07:44
    ini itu ada requ interval sama P delay
  • 00:07:48
    Nah itu adalah kecepatan
  • 00:07:52
    waktuing datanya Jadi kalian bisa sesu
  • 00:07:56
    bisa kalian ah
  • 00:07:58
    1000 atau
  • 00:08:01
    .000 ini eh bebas ya Terus nah ini aku
  • 00:08:05
    pakai eh Yang eh udah auto aja di sini
  • 00:08:10
    karena data yang aku ambil enggak begitu
  • 00:08:12
    banyak Nah semakin banyak Data yang kita
  • 00:08:14
    ambil nah eh sebaiknya semakin besar eh
  • 00:08:19
    si rentang waktu dalam SI scraping
  • 00:08:21
    datanya kita langsung start scraping nah
  • 00:08:25
    ini proses lagi ng-scraping datanya
  • 00:08:29
    kalau udah tampilannya akan kayak gini
  • 00:08:32
    terus kita refresh datanya Nah ini bakal
  • 00:08:36
    kelihatan data apa aja yang tadi sudah
  • 00:08:39
    kita scrip Nah tadi name daerahnya
  • 00:08:42
    gajinya linknya nah ini link oke nah ini
  • 00:08:49
    data-datanya nah misalnya data ini kita
  • 00:08:51
    mau export ke Excel atau sccsv kita mau
  • 00:08:54
    ambil datanya untuk nanti kita normalize
  • 00:08:58
    terus kita
  • 00:09:00
    eh lanjutkan lagi ke tahap selanjutnya
  • 00:09:03
    itu kita masuk ke set J terus klik expor
  • 00:09:06
    data Nah di sini kita bisa milih mau
  • 00:09:08
    download Excel atau chsv sini aku
  • 00:09:12
    downloadnya Excel
  • 00:09:14
    Oke kita lihat nih
  • 00:09:19
    datanya Nah inilah data hasil ke
  • 00:09:23
    scraping Tadi kenapa Data yang aku
  • 00:09:25
    scraping cuman ada segini karena tadi ee
  • 00:09:29
    dalam satu halaman page tadi cuma ada 10
  • 00:09:33
    sini nah kalau misalnya Kalian mau lebih
  • 00:09:35
    banyak harus lebih scroll-sroll lagi
  • 00:09:36
    supaya datanya itu jangkauannya itu
  • 00:09:39
    makin banyak lagi gitu nah terus kalau
  • 00:09:42
    misalnya kalian dapat datanya itu yang
  • 00:09:44
    kosong kosong berarti dalamelect datanya
  • 00:09:47
    itu kalian Eh ada yang enggak keselect
  • 00:09:51
    ataupun ada data yang memang kosong dari
  • 00:09:53
    si websiteennya
  • 00:09:55
    oke sekian praktikum big data e you
Tags
  • web scraping
  • big data
  • data collection
  • web scraper
  • data extraction
  • job data
  • data export
  • selector
  • data preview
  • Excel