爬虫 网页
免费上传个人网页项目并且网址访问
引言 同学们在学习完如何做一个网页（html，css，js）之后，一定有一个困惑，那就是如何将自己的网页发布到网上让别人能够通过网址访问该网页。想想能拥有一个个人网站发布自制网页也是不是非常炫酷的事。但是一般运行自己的网站需要域名和服务器，域名需要花钱买，服务器需要去花钱租，对于绝大多数想要尝尝鲜的 ......
网页如何打开base64编码格式的图片
使用代码打开： <img src="data:image/png;base64,这里写你的base64编码/> tips：base64后面的逗号是英文的逗号 直接在浏览器打开，在浏览器url中直接输入： data:image/png;base64,这里写你的base64编码 tips：base64后 ......
Apache服务器打开网页是乱码解决方案
当 Apache 服务器显示乱码时，可以使用两种方法解决： 1. 服务器端 可以在 Apache 的配置文件中添加以下内容来设置默认编码为UTF-8： AddDefaultCharset utf-8 修改完成后，重启 Apache 服务器即可。 Apache 配置文件 在 Ubuntu 20.04. ......
爬虫实战 - 微博评论数据可视化
简介： 我们都知道在数据比较少的情况下，我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢，我们就很难看出来了。尤其是面对现如今数以万计的数据，就更了。 不过好在我们可以通过计算机来帮我们进行分析，其中比较高效的手段便是数据可视化了。通过将数据进行可视化，我们可以让数据开口说话。进而有 ......
Android——浏览网页——浏览本地html文件
ifest： <?xml version="1.0" encoding="utf-8"?> <manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android ......
爬虫
（２）请用requests库的get()函数访问必应主页２０次，打印返回状态，text()内容，计算text()属性和content属性所返回网页内容的长度 import requests for i in range(20): r = requests.get("https://cn.bing.c ......
还在用Python爬虫？教你一招，摆脱选择元素位置的烦恼！使用Node.js大杀器，并且无需使用cheerio 库~
咱们以豆瓣历史250最佳电影为例。 豆瓣说，>_< 你不要过来啊！ 第一步：打开网页源代码 第二步：选择你想要爬虫的元素，右键复制获取JS路径 document.querySelector("#content > div > div.article > ol > li:nth-child(3) > ......
Python爬虫01
Python爬虫 01 爬虫是一种自动化的数据收集系统中的一种，写网络爬虫的目的在于高效、快速的收集网络上自己所需要的数据或者基于爬虫技术编写网站自动测试脚本。 学习爬虫需要的前置技术：html、JavaScript、http协议、一门编程语言。 为什么需要htnml、JavaScript、http ......
Python Flask 网页URL路由设置别名(alias) endpoint
前言全局说明 Python Flask 网页URL路由设置别名(alias) endpoint 一、安装flask模块 官方源： pip3 install flask 国内源： pip3 install flask -i http://pypi.douban.com/simple/ --truste ......
记录：将网页文件放到nginx上遇到的一些小问题
系统版本：Centos 7.9 问题一、访问网页出现403错误 403是指没有权限，我的问题是将网页文件放到了另一个用户junlin623的家目录下，那么nginx中的nginx用户是无权访问junlin623的家目录的，所以就会出现这个报错 前置： nginx中的工作进程使用的是nginx用户 可 ......
Python flask 网页版执行shell命令并返回结果['GET', 'POST'] 混合方式
前言全局说明 Python flask 网页版执行shell命令并返回结果 一、需要安装的库 pip3 install flask -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com pip3 install subpro ......
wasm+pygbag让你在网页上也能运行Python代码：【贪吃蛇游戏】
最近小伙伴告诉我一种新的方法，可以使用wasm来使浏览器网页能够运行Python代码。这一下子激起了我的兴趣，因为这意味着用户无需安装Python环境就能直接运行我的demo，这真是太方便了。所以，我们的主要目标今天就是让网页能够直接运行我的贪吃蛇游戏。贪吃蛇游戏其实很简单，因为Python有一个很... ......
爬虫中scrapy管道的使用
来源：http://www.shanhubei.com/archives/8595.html 一、pipeline中常用的方法 1. process_item（self，item，spider） 管道类中必须有的函数 实现对item数据的处理 必须return item 2. open_spider ......
爬虫
用with读取文件 # './素材/三国演义.html'是文件路径，'r'表示读取模式，encoding='UTF-8'指定编码为UTF-8 with open('./素材/三国演义.html', mode='r', encoding='UTF-8') as file: # 读取文件内容并将其保存在 ......
Python爬虫-排行榜数据爬取
前言开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行……故丢弃 Java 学习下 Python 语言，但单纯学习语法又觉得枯燥……所以从 Python 爬虫应用实战入手进行学习 Python。本文将简述爬虫定义、爬虫基础、反爬技术 和 CSDN博客排行榜数据爬取实战。 网 ......
python爬虫算法深度优先遍历_爬虫基础 之深度优先，广度优先策略
1.深度优先递归方式; import re import requests headers = { 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom ......
爬虫01
微服务学的蛮多的 笔记没传 就这样吧 爬虫 基础01 1.爬虫分类 通用爬虫： 聚焦爬虫 功能爬虫 增量式爬虫 分布式爬虫 2.requests基础操作 1.环境安装 案例1 搜狗首页数据和持续存储 import requests url = 'https://www.sogou.com/' r = ......
在云服务器搭建简单网页hello word!
先获取公网IP地址 登录后 sudo apt install nginx mkdir web # 改为你想要放的地址，记得不能是root目录下 cd web vim index.html # 编辑网页 往里面写入简单的hello word！ <!DOCTYPE html> <html> <head> ......
react打包优化，使用cdn加载第三方库，cdn加速网页
1、安装 pnpm install html-webpack-externals-plugin customize-cra react-app-rewired 2、在项目根目录下新建config-overrides.js文件,package.json中改为react-app-rewired 启动和打 ......
指定url和深度的广度优先算法爬虫的python实现
广度优先算法介绍 整个的广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放 入一张表(通常称为Visited表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中。如果存在，证明链接已经 ......
网页CAD中选择图形进行编辑（WEB CAD SDK）
前言 在网页修改DWG，经常会有对图形进行编辑以及对图形的夹点进行编辑的需求，MxCAD提供的在线版CAD提供了这样的功能，效果如下： 功能测试地址：https://demo.mxdraw3d.com:3000/mxcad/ 选择图形编辑功能 mxcad在默认配置下是开启了选择图形的编辑功能, 我们 ......
叫板GPT-4的Gemini，我做了一个聊天网页，可图片输入，附教程
先看效果： 简介 Gemini 是谷歌研发的最新一代大语言模型，目前有三个版本，被称为中杯、大杯、超大杯，Gemini Ultra 号称可与GPT-4一较高低： Gemini Nano(预览访问) 为设备端体验而构建的最高效模型,支持离线使用场景。 Gemini Pro（已推出） 性能最佳的模型,具 ......
前端与爬虫
搜索爬虫, 我们会搜到一大堆 Python 相关的结果 问题: 爬虫和前端有关系吗? 爬虫是什么 爬虫程序是一种计算机程序，旨在通过执行自动化或重复性任务来模仿或替代人类的操作。 爬虫程序执行任务的速度和准确性比真实用户高得多。爬虫程序类型众多，可执行各种任务，并且爬虫程序在互联网流量中的比重也越来 ......
网页在线预览编辑Office，支持doc/docx、xls/xlsx、ppt/pptx、pdf等格式
随着互联网技术的不断发展，越来越多的企业开始采用在线办公模式，微软Office Word 是最好用的文档编辑工具，然而doc、docx、xls、xlsx、ppt、pptx等格式的Office文档是无法直接在浏览器中直接打开的，如果可以实现Web在线预览编辑OffIce，肯定会还带来了更高效、便捷的办 ......
01-认识爬虫
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 ......
02-爬虫的高阶使用
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = ......
感觉还是要专业的网页干专业的事情
查找matlab有关的函数，还得是matlab的官网给力 https://ww2.mathworks.cn/help/control/ref/tf.html?searchHighlight=tf&s_tid=srchtitle_support_results_1_tf，内容如下： ......
PC端网页等比例在手机端显示
APP.vue methods: { bodyScale() { let devicewidth = document.documentElement.clientWidth //获取当前分辨率下的可是区域宽度 let scale = devicewidth / 1920 // 分母——设计稿的尺寸 ......
python爬虫环境配置
环境配置 python3/请求库/解析库/数据库/存储库/web库/app爬取库/爬虫框架库 python3 win11下可以直接商店下载了（ Linux下apt-get install python3 请求库 requests pip3 install requests selenium pip ......
07--爬虫入门概念
一 web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程 接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念 那就是页面渲染数据的过程, 我们常见的页面渲染过程有两种 服务 ......