00:00:00
Assalamualaikum warahmatullahi
00:00:01
wabarakatuh selamat berjumpa kembali
00:00:04
anak-anak semoga hari ini dan hari-hari
00:00:07
berikutnya kita selalu dalam keadaan
00:00:09
sehat walafiat Semoga kawan-kawan kita
00:00:12
yang hari ini Tengah sakit juga
00:00:14
disembuhkan oleh Allah subhanahu wa
00:00:16
ta'ala dengan segera anakku sekalian
00:00:19
hari ini kita akan membahas tentang
00:00:22
koleksi data Mari kita ikuti video
00:00:25
berikut ini
00:00:35
web scrapping Ayo kerjakan sebuah proyek
00:00:40
ini
00:00:41
web scrabbing aktivitas proyek web
00:00:45
scrapping Aktivitas ini dilakukan untuk
00:00:49
mengenal proses analisis data khususnya
00:00:52
dalam hal mengoleksi data dari situs web
00:00:55
yang dikenal dengan istilah web
00:00:58
scrapping
00:00:59
gambar ini menunjukkan beberapa langkah
00:01:02
yang bisa diikuti untuk melakukan
00:01:04
scrapping dalam bahasa Python
00:01:06
menggunakan editor online Google collab
00:01:09
setelah editor siap digunakan scrapping
00:01:13
bisa dimulai dengan proses passing
00:01:15
Passing adalah mengambil kode program
00:01:18
dari sebuah halaman website secara utuh
00:01:20
yang masih dalam bentuk kode html
00:01:23
selanjutnya kode html tersebut diproses
00:01:27
setiap elemennya untuk mendapatkan data
00:01:30
yang penting yang akan dirangkum
00:01:33
hasilnya berupa Kumpulan data yang
00:01:36
diperlukan saja yang diambil dari data
00:01:39
mentah html yang utuh sebelumnya hasil
00:01:43
keluaran sebelumnya masih berupa daftar
00:01:46
atau ereteks data pekerjaan yang mungkin
00:01:49
masih sulit dibaca data tersebut perlu
00:01:53
ditampilkan secara lebih tertata
00:01:55
sehingga mudah dibaca proses membingkai
00:01:59
kata atau framing ini bisa dilakukan
00:02:01
dengan mudah Jika data sudah diperoleh
00:02:05
salah satu tampilan yang memudahkan
00:02:07
pembacaan daftar teks tersebut ialah
00:02:10
dalam bentuk tabel dengan demikian kita
00:02:13
peroleh hasil dari proses Crafting ini
00:02:16
dalam bentuk tabel data dan kita lihat
00:02:19
flowchartnya adalah yang pertama kita
00:02:21
mulai kemudian kita parsing halaman web
00:02:25
dan nanti akan mendapatkan data mentah
00:02:28
html kemudian selanjutnya proses html
00:02:31
yaitu data dalam retax kemudian framing
00:02:36
data ditampilkan dalam bentuk tabel dan
00:02:39
selesai
00:02:42
Mari kita ikuti pembuatan proyek
00:02:45
stepping tersebut dengan mengikuti
00:02:46
langkah-langkah berikut yang pertama
00:02:49
buka Google kolaboratory melalui link
00:02:53
https:/
00:02:57
Google
00:02:59
dan kemudian Buka catatan baru melalui
00:03:02
menu file kemudian new notebook parsing
00:03:07
salah satu alamat website lowongan
00:03:09
pekerjaan
00:03:10
Gambar berikut menunjukkan kode untuk
00:03:13
melakukan parsing alamat website
00:03:16
lowongan pekerjaan yang digunakan
00:03:18
sebelumnya
00:03:20
ketik beberapa baris kode program
00:03:22
berikut ini di layar Google collect
00:03:25
kalian
00:03:28
jika dijalankan kode tersebut akan
00:03:30
menyalin kode program yang ada di alamat
00:03:34
website yang di request seperti ini
00:03:36
Contohkan pada gambar ini
00:03:41
yang ketiga olah kode html tersebut
00:03:44
hingga kalian bisa mengambil data posisi
00:03:48
pekerjaannya instansi yang memberikan
00:03:50
pekerjaan serta gaji yang ditawarkan
00:03:53
seperti diperlihatkan pada gambar
00:03:56
berikut
00:03:58
[Musik]
00:04:04
kemudian visualisasi data atau barchart
00:04:08
untuk membuat tampilan grafik atau
00:04:11
diagram kita dapat menggunakan library
00:04:14
Python yaitu cloudly
00:04:17
library ini perlu ditambahkan terlebih
00:04:19
dahulu di kode program cara
00:04:22
penambahannya menggunakan import seperti
00:04:25
yang sudah dipelajari sebelumnya seperti
00:04:28
berikut yaitu import
00:04:31
Express spx
00:04:35
selanjutnya setelah librarynya di import
00:04:38
kita dapat menggunakan fungsionalitas
00:04:40
pada library proudly untuk membuat
00:04:43
diagram sebagai contoh kita dapat
00:04:46
membuat diagram batang atau barchart
00:04:49
menggunakan fungsi bar seperti
00:04:52
diperlihatkan pada gambar berikut
00:05:00
[Musik]
00:05:07
dari kode program tersebut kita akan
00:05:09
menghasilkan sebuah diagram batang
00:05:12
seperti yang dicontohkan pada gambar
00:05:14
berikut
00:05:21
para pemrosesan data lanjut Jika
00:05:24
diperhatikan pada gambar berikut
00:05:26
beberapa lowongan pekerjaan terlihat
00:05:29
menumpuk beberapa posisi lowongan pada
00:05:32
saat instansi menjadi satu batang saja
00:05:34
hal ini menyebabkan nominal gaji yang
00:05:37
ditunjukkan menjadi tidak valid ini
00:05:40
terjadi karena kita mengelompokkan
00:05:43
lowongan berdasarkan instansinya
00:05:45
Bagaimana jika dikelompokkan berdasarkan
00:05:48
posisinya tentunya hal ini bukan menjadi
00:05:51
solusi karena bisa jadi terdapat
00:05:54
beberapa lowongan dengan posisi yang
00:05:56
sama dan akan tertumpuk juga Jadi
00:06:00
bagaimana solusinya
00:06:03
ialah mengelompokkan lowongan pekerjaan
00:06:06
berdasarkan gabungan posisi dan instansi
00:06:09
penyedia lowongan Oleh karena itu kita
00:06:12
perlu mengubah kembali kodenya sehingga
00:06:15
posisi dan instansi tidak berada dalam
00:06:18
variabel yang berbeda tetapi disatukan
00:06:21
dalam satu variabel dalam hal ini
00:06:23
variabel posisi saja seperti
00:06:26
diperlihatkan pada gambar berikut
00:06:29
baris 18 hingga 28 yang menggantikan
00:06:32
kode program sebelumnya selanjutnya
00:06:35
bingkai data tersebut ditampilkan cukup
00:06:38
untuk 2 item saja yaitu posisi dan gaji
00:06:42
terakhir untuk menampilkan diagram
00:06:45
batangnya item yang digunakan diganti
00:06:48
dari instansi menjadi posisi seperti
00:06:50
pada baris ke-45 gambar berikut yaitu
00:06:54
menggantikan baris 46 dengan demikian
00:06:57
setiap lowongan akan diperlihatkan
00:07:00
secara terpisah seperti pada gambar
00:07:03
berikut
00:07:11
visualisasi data dengan diagram lain
00:07:15
setiap diagram dan chat memiliki
00:07:18
kegunaan masing-masing sesuai
00:07:20
karakteristiknya diagram batang misalnya
00:07:23
digunakan untuk memperlihatkan beberapa
00:07:26
item serupa yang perlu dibandingkan di
00:07:30
sisi lain diagram lingkaran digunakan
00:07:32
untuk memperlihatkan proporsi dari
00:07:34
beberapa item yang bisa menjadi bagian
00:07:37
utuh dari suatu kasus untuk membuat
00:07:40
diagram lainnya kalian dapat mempelajari
00:07:42
penggunaannya di alamat ini yaitu
00:07:45
https:/
00:07:53
[Musik]
00:07:56
sebagai contoh dapat dicoba untuk
00:07:58
membuat diagram lingkaran atau PicArt
00:08:01
seperti yang dilihatkan pada gambar
00:08:03
berikut untuk melakukannya kode program
00:08:06
yang sebelumnya menampilkan diagram
00:08:08
batang diganti menjadi kode untuk
00:08:11
menampilkan diagram lingkaran seperti
00:08:13
berikut
00:08:19
[Musik]
00:08:28
latihan 11 untuk membuat diagram sketsa
00:08:33
diagram titik dari data lowongan
00:08:34
pekerjaan ini bagaimana kodenya
00:08:37
sebagai catatan sebenarnya diagram
00:08:40
lingkaran dan diagram skater kurang
00:08:43
tepat jika digunakan dalam kasus ini
00:08:45
Namun demikian kita dapat menggunakannya
00:08:48
sebagai contoh untuk dipelajari
00:08:50
pembuatannya karena datanya sudah
00:08:52
tersedia
00:08:54
dapatkah kalian mencari contoh kasus
00:08:56
lain yang dapat divisualisasikan
00:08:58
menggunakan kedua diagram tersebut
00:09:01
Ayo Kita Renungkan pada unit
00:09:04
pembelajaran ini kalian telah
00:09:06
mempelajari tentang bagaimana
00:09:08
mengimplementasikan sebuah web Scraper
00:09:11
dengan menggunakan library dari bahasa
00:09:13
Python hal ini menjadi alternatif cara
00:09:17
yang menggantikan cara sebelumnya yaitu
00:09:19
membuka secara manual satu persatu
00:09:22
halaman webnya program web server ini
00:09:26
akan melakukannya untuk kalian dari sini
00:09:29
ternyata kalian telah melakukan
00:09:31
aktivitas pemrograman seperti halnya
00:09:34
yang dilakukan pada unit algoritma
00:09:36
pemrograman
00:09:38
tantangan berpikir jika kalian
00:09:41
perhatikan Apa bedanya aktivitas
00:09:43
pemrograman yang dilakukan di unit
00:09:46
analysis data ini dibandingkan dengan
00:09:48
yang dilakukan di unit algoritma
00:09:50
pemrograman
00:09:51
pertanyaan renungan berikutnya Apa
00:09:54
bedanya mesin Scraper yang kalian buat
00:09:56
dan mesin pencari yang sering kalian
00:09:58
gunakan
00:10:00
target scrapping kita telah melakukan
00:10:04
webcrapping untuk web yang terbuka dan
00:10:07
dapat dilihat oleh publik jadi program
00:10:10
Scraper seperti halnya seseorang yang
00:10:13
secara manual melakukannya akan dapat
00:10:16
membuka suatu halaman web karena
00:10:18
informasi yang ditampilkan pada halaman
00:10:20
web tersebut ialah Informasi Publik
00:10:23
Bagaimana dengan website yang tidak
00:10:25
publik misalnya kita hanya dapat
00:10:28
menampilkan email setelah melakukan
00:10:30
login
00:10:32
informasi email kita bukan merupakan
00:10:35
Informasi Publik melainkan informasi
00:10:38
private atau private saat kita
00:10:41
menampilkan halaman kita di sosial media
00:10:44
hanya kita dan teman-teman kita yang
00:10:46
dapat melihat halaman di social media
00:10:49
ini tidak publik dan juga tidak privat
00:10:52
tetapi terbatas kepada sekumpulan
00:10:55
tertentu
00:10:56
Apakah kita bisa membuat Scraper untuk
00:10:59
informasi yang tidak publik Bolehkah
00:11:01
kita mengambil data yang privat seperti
00:11:04
itu diskusikan dengan teman-teman
00:11:08
tentang perkakas kalian telah
00:11:10
memanfaatkan library Python untuk
00:11:13
melakukan scrapping program Scraper yang
00:11:17
kalian tulis hanya untuk membungkus
00:11:19
library tersebut agar dapat dijalankan
00:11:22
Menurut kalian Bagaimana program Scraper
00:11:25
melakukan pengambilan isi halaman web
00:11:28
library untuk scrapping hanya merupakan
00:11:31
salah satu library Python untuk analisis
00:11:34
data secara keseluruhan
00:11:36
Python tidak hanya menyediakan library
00:11:39
untuk scrapping tetapi juga menyediakan
00:11:41
banyak library untuk keperluan lainnya
00:11:44
jika kalian membutuhkan untuk keperluan
00:11:47
lain kalian akan dapat memanfaatkan
00:11:49
seperti kalian memanfaatkan library
00:11:52
untuk scrapping eksplorasi lah library
00:11:55
apalagi yang dimiliki python
00:11:58
sistem visualisasi Real Time saat kalian
00:12:02
melakukan pemesanan ojek online
00:12:04
pelanggan dapat Melacak posisi
00:12:06
pengendara atau driver Sedang dimana
00:12:09
saat ini pada beberapa tempat misalnya
00:12:11
di bandara di halte bus atau di tempat
00:12:15
umum seringkali ada tampilan yang selalu
00:12:17
diubah sesuai dengan keadaan saat itu
00:12:20
pada sistem penerbangan di bandara
00:12:22
misalnya setiap kali ada pesawat
00:12:25
berangkat atau pergi tampilan akan
00:12:27
berubah kemudian di bank tampilan kurs
00:12:31
mata uang hari ini juga selalu
00:12:32
diperbarui karena kurs tersebut sering
00:12:35
berubah
00:12:36
data kurs ini diambil dari sistem
00:12:39
komputer Bank Indonesia atau Bank
00:12:41
Sentral beberapa data yang sering
00:12:43
berubah tersebut menunjukkan bahwa yang
00:12:46
ditampilkan ialah data pada waktu saat
00:12:49
itu juga atau yang disebut dengan Real
00:12:52
Time untuk kepentingan yang lebih besar
00:12:54
data Real Time ini divisualisasikan
00:12:57
dalam sistem yang disebut dashboard jika
00:13:00
ingin belajar lebih jauh tentang sistem
00:13:02
dashboard kalian dapat mempelajari
00:13:04
website https:/
00:13:14
rangkaian program komputer dibutuhkan
00:13:16
dari berbagai sumber data program
00:13:19
komputer tersebut akan berkolaborasi
00:13:22
untuk akhirnya menampilkan data yang
00:13:24
dilihat pengguna bayangkan bahwa setiap
00:13:28
mesin atau agen pengolah tersebut adalah
00:13:31
sebuah program komputer yang berfungsi
00:13:33
sesuai peran masing-masing seperti
00:13:35
manusia yang bersinergi di dunia nyata
00:13:37
namun dalam hal ini program komputer
00:13:40
merupakan program yang aktif bekerja
00:13:42
bukan di dunia fiskal tetapi di dunia
00:13:46
digital dapatkah kalian membayangkan hal
00:13:48
ini
00:13:50
Buatlah ilustrasi Kerjasama yang
00:13:52
dilakukan oleh para agen pengolah
00:13:54
tersebut Buatlah infografis dalam bentuk
00:13:57
diagram untuk tiga sistem yang
00:13:59
diilustrasikan seperti diagram lingkaran
00:14:02
tadi
00:14:03
ada satu catatan menarik mengenai
00:14:05
aplikasi ojek online yang bisa
00:14:07
didiskusikan jika kalian pernah
00:14:09
melakukan pemesanan ojek online kalian
00:14:12
lihat bahwa sepeda motor bergerak tetapi
00:14:15
tidak lancar Mengapa ini bisa terjadi
00:14:19
kembali ke proyek web scrapping program
00:14:22
Scraper ini hanya merupakan sebagian
00:14:24
kecil dari rangkaian analisis data
00:14:27
rangkaian yang lengkap ialah mengambil
00:14:30
memproses menyajikan dalam visualisasi
00:14:33
yang memudahkan membaca menganalisis
00:14:36
menginterpretasi dan menyimpulkan atau
00:14:40
mengambil keputusan dari ilustrasi
00:14:42
rangka yang proses analisis data
00:14:44
tersebut kita dapat ketahui bahwa
00:14:47
pengambilan data dapat dilakukan dengan
00:14:50
program misalnya dengan program yang
00:14:53
telah kalian buat selanjutnya dari
00:14:56
rangkaian proses tersebut Menurut kalian
00:14:59
apakah semua dapat di otomasi dengan
00:15:02
menuliskan programnya
00:15:04
proses mana yang dapat digantikan oleh
00:15:07
program komputer dan mana yang sulit
00:15:09
atau bahkan tidak mungkin dijadikan
00:15:11
program komputer
00:15:13
kalaupun dapat digantikan oleh program
00:15:15
komputer Apakah memang lebih
00:15:17
menguntungkan untuk membuat programnya
00:15:19
Jelaskan alasan kalian
00:15:23
tentang aplikasi
00:15:25
prediksi dari data dapat dilakukan
00:15:27
dengan mudah jika divisualisasikan
00:15:30
misalnya dokter dapat menggunakan kurva
00:15:34
pertumbuhan berat badan bayi untuk
00:15:36
memprediksi perkembangan bayi dan
00:15:38
menyatakan kesehatannya dengan
00:15:41
pengalaman melakukan web scrapping
00:15:43
tentang lowongan pekerjaan kalian dapat
00:15:45
mencoba untuk membuat grafik mengenai
00:15:48
trend kebutuhan programmer misalnya
00:15:51
kalian dapat mengambil data lowongan
00:15:53
tahun 2019 dan tahun 2020 atau data
00:15:57
lowongan setiap bulan di tahun 2021
00:16:00
selalu menaik bukan dari data tersebut
00:16:03
kalian dapat memperkirakan kira-kira
00:16:06
berapa lowongan pekerjaan yang ada di
00:16:08
bulan depan
00:16:09
ingin tahu lebih jika kalian tertarik
00:16:13
dengan materi ini dan ingin mempelajari
00:16:15
lebih lanjut kalian dapat mengakses ke
00:16:18
link berikut ini yang pertama Jobs ID
00:16:21
2020
00:16:22
info lowongan kerja terbaru dan populer
00:16:25
2020
00:16:27
diakses dari http titik dua
00:16:30
garing-garing jobs.id yang kedua
00:16:34
Wikipedia 2020 subscribe di akses dari
00:16:39
https
00:16:49
ulangi yang kedua Wikipedia 2020 web
00:16:54
scrapping diakses dari https
00:17:08
2020
00:17:09
Welcome to collaboratory di akses dari
00:17:13
https.com
00:17:15
[Musik]
00:17:19
yang keempat data Quest 2020 tutorial
00:17:24
web scrapping with Python using
00:17:27
beautiful soft di akses dari https
00:17:48
dari
00:17:54
https://org yang keempat
00:17:59
atau yang keenam plotty 2021
00:18:03
cloudly https:/
00:18:16
yang ketujuh cloudly 2021
00:18:20
loudly Dash diakses dari https:/
00:18:31
untuk materi hari ini cukup sampai di
00:18:33
sini dulu Selamat belajar selamat
00:18:35
beraktifitas semoga sukses
00:18:37
wassalamualaikum warahmatullahi
00:18:39
wabarakatuh
