🎀 Bilibili 最热最新爬取更新

Author: Chenjinyi

Config.php

@@ -7,6 +7,7 @@
  */
 
 date_default_timezone_set('PRC'); //设置时区
+
 //定义目录名
 define("API_PATH", "Api"); //存放API Key文件夹
 define("FILE_PATH", "Resource"); //存放文件文件夹名
@@ -15,8 +16,6 @@
 //网站API链接
 define("PIXABAY_API_URL", "https://pixabay.com/api/");
 
-
-
 define("DATE_FORMAT", "m-d");//日期格式
 //随机搜索关键词
 define("RAND_KEYWORD", array(
@@ -35,19 +34,19 @@
     'jk',
     'game',
 ));
+
 //通用等待设置
 define("SPIDERWAIT_TIME_MIN", "1");//最早等待
 define('SPIDERWAIT_TIME_MAX', "10");//最大等待
 //artatstion执行一次循环，睡一会觉觉（误）
 define("ARTSTATION_SLEEP", "true");
-define("ARTSTATION_SLEEP_TIME_MIN", "20");//最小等待
-define("ARTSTATION_SLEEP_TIME_MAX", "10");//最大等待
+define("ARTSTATION_SLEEP_TIME_MIN", "10");//最小等待
+define("ARTSTATION_SLEEP_TIME_MAX", "20");//最大等待
 //bilibili执行一次循环， 就-1s
 define("BILIBILI_SLEEP", "true");
 define("BILIBILI_SLEEP_TIME_MIN", "10");//最小等待
 define("BILIBILI_SLEEP_TIME_MAX", "40");//最大等待
 
-
 //数据库链接
 define("SAVE_IMAGES_URL_DATABASE", "false");//是否记录图片链接到数据库
 define("DB_MS", 'mysql');//数据库类型

Src/PublicCore.php

@@ -36,6 +36,9 @@ public function curl_get($url, $user_agent)
 
     /**
      * 写log
+     * @param $spider_name string 爬虫名称
+     * @param $data string 内容
+     * @param null $filename_data 文件名附加字符串
      */
     public function add_log($spider_name, $data, $filename_data = null)
     {
@@ -46,7 +49,9 @@ public function add_log($spider_name, $data, $filename_data = null)
     }
 
     /**
-     * 创建log文件夹
+     * @param $spider_name string 爬虫名称
+     * @param $filename_data string 内容
+     * @return string 文件路径
      */
     public function create_log($spider_name, $filename_data)
     {
@@ -60,8 +65,8 @@ public function create_log($spider_name, $filename_data)
 
     /**
      * 文件夹名
-     * @param $string
-     * @return string
+     * @param string 名称
+     * @return string 路径
      */
     public function new_dir_name($string)
     {
@@ -108,10 +113,11 @@ public function dir_create($dir_name)
 
     /**
      * 获取提示并用户输入
-     * @param $string
-     * @return string
+     * @param $string string 提示
+     * @param $default 1|string 用户未输入时的默认职
+     * @return string 用户输入内容
      */
-    public function user_input($string, $default)
+    public function user_input($string, $default = 1)
     {
         print_r($string);
         $input = trim(fgets(STDIN));

Src/Spider/Artstation.php

@@ -133,11 +133,6 @@ public function search($spiderCore)
 }
 
 $artstation = new Artstation();
-print_r( //输出用户选择的菜单
-    "=====================================
-    \033[33m Artstation Spider \033[0m" .
-    $spiderCore->eol($spiderCore->print_menu($artstation->mode)) .
-    "============================================"
-);
+$spiderCore->bMenu($artstation->mode, $artstation->spider_name);
 $mode = $spiderCore->user_input(PHP_EOL . "请选择你需要使用的模式：", null);
 @empty($user_mode = $artstation->mode[$mode]) ? die(PHP_EOL . '没有这个爬虫模式') : $artstation->$user_mode($spiderCore); //调用爬虫，并传入公用function

Src/Spider/Bcy.php

@@ -39,4 +39,4 @@ public function serve()
 
 
 $bcy = new Bcy();
-$bcy->serve();
+$bcy->serve();

Src/Spider/Bilibili.php

@@ -18,7 +18,7 @@ class Bilibili
         "User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36"
     ];//设置用户user-agent
 
-    public $spiderName= "Bilibili";
+    public $spider_name = "Bilibili";
 
     public $rank_type = [ //排行榜
         1 => 'day',
@@ -46,11 +46,10 @@ class Bilibili
     ];
 
     public $category = [ //类别
-        1 => null,
+        1 => "all",
         2 => 'cos',
         'sifu'
     ];
-    //https://api.vc.bilibili.com/link_draw/v2/Photo/list?category=cos&type=hot&page_num=1&page_size=20
 
     /**
      * 掏空bilibili专用
@@ -72,13 +71,13 @@ public function fuckBilibili($spiderCore)
         } else {
             $spider_date = date('Y-m-d');
         }
-        while (true) {
+        while (true) { //无限循环，直到报错停止
             $spider_date = $this->getYesterday($spider_date);
             print_r("开始获取：" . $spider_date . PHP_EOL);
             //封装请求链接
             @$parm = "biz=" . $biz . "&category=" . $this->category[$category] . "&rank_type=" . $this->rank_type[$rank_type] . "&date=" . $spider_date . "&page_num=0&page_size=50";
             $url = "http://api.vc.bilibili.com/link_draw/v2/Doc/ranklist?" . $parm;
-//            print_r(PHP_EOL . "爬取的参数为：" . $parm . PHP_EOL);
+//            print_r(PHP_EOL . "爬取的URL为：" . $parm . PHP_EOL);
             //下载
             $result = $spiderCore->curl_get($url, $this->userAgent);
             $result = json_decode($result);
@@ -113,8 +112,18 @@ public function allImages($spiderCore)
         $posts_num = $spiderCore->user_input("请输入爬取页数(1页=20个作品)(默认为：1):", 1);
         $posts_num--; //bilibili第一页居然是0，其他页面又不一样
 
+        if ($biz == 'Photo') {
+            $category = $this->category[$this->quick_input($spiderCore, "请选择板块（默认为 2 Cos ）：", $this->category, "没有这种板块", '2')];
+            !empty($category) ?: $category = "all";
+        } else {
+            $category = "all";
+        }
+
         for ($i = 0; $i <= $posts_num; $i++) {
-            $url = "https://api.vc.bilibili.com/link_draw/v2/" . $biz . "/list?category=all&type=" . $mode . "&page_num=" . $i . "&page_size=20";
+            $url = "https://api.vc.bilibili.com/link_draw/v2/" . $biz . "/list?category=" . $category .
+                "&type=" . $mode .
+                "&page_num=" . $i .
+                "&page_size=20";
             $result = $spiderCore->curl_get($url, $this->userAgent);
             $result = json_decode($result);
             $images_arr = $this->get_images($result);
@@ -217,7 +226,7 @@ public function search($spiderCore)
      */
     public function quick_input($spiderCore, $string, $array, $exit_string, $default)
     {
-        $spiderCore->bMenu($array,$this->spiderName);
+        $spiderCore->bMenu($array, $this->spider_name);
         $input = $spiderCore->user_input($string, $default);
         if (@empty($array[$input])) {
             die($exit_string);
@@ -286,6 +295,6 @@ public function top50($spiderCore)
 
 $bilibili = new Bilibili();
 
-$spiderCore->bMenu($bilibili->mode,$bilibili->spiderName);
+$spiderCore->bMenu($bilibili->mode, $bilibili->spider_name);
 $mode = $spiderCore->user_input(PHP_EOL . "请选择你需要使用的模式：", null);
 @empty($user_mode = $bilibili->mode[$mode]) ? die(PHP_EOL . '没有这个爬虫模式') : $bilibili->$user_mode($spiderCore); //调用爬虫，并传入公用function