mlussati/open-data-web-scrapy

Scrapy web codes and data validation for the purpose of making open data available to the data community in Angola # Open Price Oil -> Web Scrapy ## Sobre Este repositório tem como foco oferecer uma aplicação que faz o web scraping em um site dependendo das tratativas do dado que você quer consumir. Mas essa aplicação em si ela irá fazer o scrapy do preço do petróleo diariamente em Angola dos principais poços Tabela de conteúdos ================= * Sobre * Pré-requisitos * Rodando via Python * Resultado * Tecnologias * Autor ✅ Python Select 🚀 Finalizado ✅ ### Pré-requisitos Antes de começar, você vai precisar ter instalado em sua máquina as seguintes ferramentas: Git (obrigatório), anaconda3 (obrigatório). Além disto é bom ter um editor para trabalhar com o código como VSCode ou o jupyterlab ```bash # Clone este repositório $ git clone # Acesse a pasta do projeto no terminal/cmd $ cd open-data-web-scrapy # cria a pasta data $ sudo mkdir data # Crie uma env $ conda create -n web-scrapy-env python=3.7.7 $ conda activate web-scrapy-env # Instale as dependências que está no arquivo requirements.txt $ pip install -r requirements.txt ``` ### Rodando via Python ```bash # Dentro da pasta open-data-web-scrapy execute o seguinte comando: $ python get_price_oil.py ``` ### Resultado ```bash # Para consultar o resultado do dado coletado tem que acessar a pasta data e lá terá os arquivos gerados em formato csv $ cd data ``` ### 🛠 Tecnologias As seguintes ferramentas foram usadas na construção do projeto: - Anaconda3 - Jupyterlab - Python ### Autor --- Palanca Data 🚀 Feito por Palanca Data👋🏽 Entre em contato! Geneva