Add files via upload
Esse commit está contido em:
REAWebCrawlerPlayer
@@ -0,0 +1,68 @@
|
||||
-- phpMyAdmin SQL Dump
|
||||
-- version 4.6.6deb5
|
||||
-- https://www.phpmyadmin.net/
|
||||
--
|
||||
-- Host: localhost:3306
|
||||
-- Tempo de geração: 16/10/2017 às 08:46
|
||||
-- Versão do servidor: 10.1.26-MariaDB-1
|
||||
-- Versão do PHP: 7.0.22-3
|
||||
|
||||
SET SQL_MODE = "NO_AUTO_VALUE_ON_ZERO";
|
||||
SET time_zone = "+00:00";
|
||||
|
||||
|
||||
/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
|
||||
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
|
||||
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
|
||||
/*!40101 SET NAMES utf8mb4 */;
|
||||
|
||||
--
|
||||
-- Banco de dados: `crawler`
|
||||
--
|
||||
CREATE DATABASE IF NOT EXISTS `crawler` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
|
||||
USE `crawler`;
|
||||
|
||||
-- --------------------------------------------------------
|
||||
|
||||
--
|
||||
-- Estrutura para tabela `videos`
|
||||
--
|
||||
|
||||
CREATE TABLE `videos` (
|
||||
`id` int(3) NOT NULL,
|
||||
`campus` varchar(500) NOT NULL,
|
||||
`ano` varchar(500) NOT NULL,
|
||||
`autores` varchar(500) NOT NULL,
|
||||
`link_para_pagina` varchar(500) NOT NULL,
|
||||
`titulo` varchar(500) NOT NULL,
|
||||
`palavras_chave` varchar(500) NOT NULL,
|
||||
`referencia` varchar(500) NOT NULL,
|
||||
`resumo` text NOT NULL,
|
||||
`abstract` text NOT NULL,
|
||||
`descricao` text NOT NULL,
|
||||
`link_video` varchar(500) NOT NULL,
|
||||
`data_hora` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
|
||||
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
|
||||
|
||||
--
|
||||
-- Índices de tabelas apagadas
|
||||
--
|
||||
|
||||
--
|
||||
-- Índices de tabela `videos`
|
||||
--
|
||||
ALTER TABLE `videos`
|
||||
ADD PRIMARY KEY (`id`);
|
||||
|
||||
--
|
||||
-- AUTO_INCREMENT de tabelas apagadas
|
||||
--
|
||||
|
||||
--
|
||||
-- AUTO_INCREMENT de tabela `videos`
|
||||
--
|
||||
ALTER TABLE `videos`
|
||||
MODIFY `id` int(3) NOT NULL AUTO_INCREMENT;
|
||||
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
|
||||
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
|
||||
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
|
||||
+150
@@ -0,0 +1,150 @@
|
||||
<img src="schema.png" width="300"/><br>
|
||||
|
||||
<?php
|
||||
|
||||
//CONEXÃO COM BANCO DE DADOS
|
||||
$conexao = mysqli_connect("localhost", "usuario", "123", "crawler");
|
||||
|
||||
//PARTE 4
|
||||
//FUNÇÃO QUE SELECIONA O QUE ESTA DELIMITADO
|
||||
function retirarEntre($conteudo, $inicio, $fim){
|
||||
$r = explode($inicio, $conteudo);
|
||||
if (isset($r[1])){
|
||||
$r = explode($fim, $r[1]);
|
||||
return $r[0];
|
||||
}
|
||||
return '';
|
||||
}
|
||||
|
||||
//PARTE 5
|
||||
//FUNÇÃO PARA EXTRAIR INFORMAÇÕES E O VIDEO
|
||||
function extrair_video($link_pagina_video){
|
||||
|
||||
$sql_pagina_video = "";
|
||||
|
||||
$pagina_video = file_get_contents( $link_pagina_video );
|
||||
$pagina_video = retirarEntre($pagina_video, "<table class=\"table itemDisplayTable\">", "</td></tr></tbody></table>");
|
||||
|
||||
//TITULO
|
||||
$titulo = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_title\">", "</td>");
|
||||
$sql_pagina_video = $sql_pagina_video . " '$titulo', ";
|
||||
|
||||
//PALAVRAS-CHAVE
|
||||
$palavras_chave = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_subject\">", "</td></tr>");
|
||||
$sql_pagina_video = $sql_pagina_video . " '$palavras_chave', ";
|
||||
|
||||
//REFERENCIA
|
||||
$referencia = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_identifier_citation\">", "</td>");
|
||||
$sql_pagina_video = $sql_pagina_video . " '$referencia', ";
|
||||
|
||||
//RESUMO
|
||||
$resumo = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_description_resumo\">", "</td>");
|
||||
$sql_pagina_video = $sql_pagina_video . " \"$resumo\", ";
|
||||
|
||||
//ABSTRACT
|
||||
$abstract = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_description_abstract\">", "</td>");
|
||||
$sql_pagina_video = $sql_pagina_video . " \"$abstract\", ";
|
||||
|
||||
//DESCRICAO
|
||||
$descricao = retirarEntre($pagina_video, "<td class=\"metadataFieldValue dc_description\">", "</td>");
|
||||
$sql_pagina_video = $sql_pagina_video . " '$descricao', ";
|
||||
|
||||
//VIDEO MP4
|
||||
$url_video = @explode("mp4", $pagina_video);
|
||||
$url_video = @retirarEntre($url_video[2], "<a class=\"btn btn-primary\" target=\"_blank\" href=\"", " ");
|
||||
|
||||
//SE NAO ACHAR UM MP4, PROCURAR SE TEM WMV E EXTRAIR
|
||||
if($url_video==""){
|
||||
|
||||
//VIDEO WMV
|
||||
$url_video = explode("wmv", $pagina_video);
|
||||
$url_video = retirarEntre($url_video[2], "<a class=\"btn btn-primary\" target=\"_blank\" href=\"", " ");
|
||||
$url_video = "http://repositorio.roca.utfpr.edu.br".$url_video."wmv";
|
||||
|
||||
|
||||
//Se mesmo assim ainda nao achar o WMV, faça procura novamente e extraia
|
||||
if($url_video=="http://repositorio.roca.utfpr.edu.br"."wmv"){
|
||||
|
||||
$url_video = explode("wmv", $pagina_video);
|
||||
|
||||
$url_video = retirarEntre($url_video[3], "/td><td class=\"standard\" align=\"center\"><a class=\"btn btn-primary\" target=\"_blank\" href=\"", "\">");
|
||||
$url_video = "http://repositorio.roca.utfpr.edu.br$url_video"."wmv";
|
||||
|
||||
if($url_video==""){
|
||||
echo "Não encontrado!";
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
}else{
|
||||
//SE ACHAR UM MP4, COLOCA MP4 NO FINAL
|
||||
$url_video = "http://repositorio.roca.utfpr.edu.br". $url_video ."mp4";
|
||||
}
|
||||
|
||||
$sql_pagina_video = $sql_pagina_video . " '$url_video' ";
|
||||
|
||||
return $sql_pagina_video;
|
||||
|
||||
|
||||
}
|
||||
|
||||
|
||||
//PARTE 1
|
||||
//World Wide Web
|
||||
$pagina_roca = file_get_contents("http://repositorio.roca.utfpr.edu.br/jspui/browse?type=tipologia&order=ASC&rpp=20&value=video");
|
||||
|
||||
|
||||
$pagina_roca = retirarEntre($pagina_roca, '</th></tr><tr>', "</table>");
|
||||
|
||||
$separa = explode("<tr>", $pagina_roca);
|
||||
|
||||
$total_reas = count($separa);
|
||||
|
||||
echo "Número de REAs encontrados: " . $total_reas ."<br><br>";
|
||||
|
||||
//PARTE 2
|
||||
//MULTI-THREADED DOWNLOADER E SCHEDULER (agendador)
|
||||
$rea = 1;
|
||||
|
||||
for($x=0; $x < $total_reas; $x++){
|
||||
|
||||
$sql = "";
|
||||
|
||||
$separa1 = retirarEntre($separa[$x], "<td headers=\"t1\" >", "</tr>");
|
||||
|
||||
|
||||
//CAMPUS
|
||||
$campus = retirarEntre($separa1, "<em>", "</em>");
|
||||
$sql = $sql . " '$campus', ";
|
||||
|
||||
//ANO
|
||||
$ano = retirarEntre($separa1, "\">", "</td>");
|
||||
$sql = $sql . " '$ano', " ;
|
||||
|
||||
//AUTORES
|
||||
$autores = retirarEntre($separa1, "<td headers=\"t4\" >", "</tr>");
|
||||
$sql = $sql . " '$autores', ";
|
||||
|
||||
//PARTE 3, LINK PARA ENTRAR NA PAGINA QUE TEM VIDEO
|
||||
//QUEUE URL (FILA DE URLs)
|
||||
$link_pagina_video = retirarEntre($separa1, "<a href=\"", "\">");
|
||||
|
||||
|
||||
$link_pagina_video = "http://repositorio.roca.utfpr.edu.br".$link_pagina_video;
|
||||
$sql = $sql . " '$link_pagina_video', ";
|
||||
|
||||
$dados_da_pagina = extrair_video( $link_pagina_video );
|
||||
$sql = $sql . $dados_da_pagina;
|
||||
|
||||
//PARTE 6 FIM
|
||||
//STORAGE (TEXT AND METADATA)
|
||||
$query = "INSERT INTO videos (campus, ano, autores, link_para_pagina, titulo, palavras_chave, referencia, resumo, abstract, descricao, link_video) VALUES ( $sql )";
|
||||
|
||||
$query = mysqli_query($conexao, $query) or die(mysqli_error($conexao));
|
||||
|
||||
echo "<font color=green>[OK] REA $rea INCLUÍDO COM SUCESSO USANDO CRAWLER AUTOMATICAMENTE</font><br><br>";
|
||||
|
||||
$rea++;
|
||||
|
||||
}
|
||||
?>
|
||||
Referência em uma Nova Issue
Bloquear um usuário