用python爬虫做毕设会不会太简单了

1. 用python爬虫做毕设会不会太简单了

用什么实现其实不应该作为毕设的考核依据。
重要的是爬出来的结果分析方法，得到有价值的内容才是重点。

2. 用Python 做毕业设计选什么项目比较好?

【python毕业设计】Django框架实现学生信息管理系统
自学的python基础
然后学习Django框架
改改乱七八糟的东西
做出来了个简单的....毕业设计
将所在学院的信息以csv格式上传数据库然后前后端调用
实现了学生信息管理系统
改写了Django框架中的admin
用的xadmin 优化了页面

3. 是不是Python会涉及到爬虫和数据分析？

学了Python基础之后，接下来应该做什么呢？
那就是用Python写写爬虫，用抓取到的数据再做数据分析。
这里有一份Python爬虫的视频资料：


还有Python数据分析的视频资料：

如果需要的话，点击这个链接即可免费领取：网页链接
祝你学有所成。

4. 网络爬虫 python 毕业论文呢

做爬虫,特别是python写说容易挺容易,说难也挺难的,
举个栗子 简单的:将http://paste.ubuntu.com上面的所有代码爬下来
写个for循环,调用urllib2的几个函数就成了,基本10行到20行以内的代码
难度0


情景:
1.网站服务器很卡,有些页面打不开,urlopen直接就无限卡死在了某些页面上(2.6以后urlopen有了timeout)
2.爬下来的网站出现乱码,你得分析网页的编码
3.网页用了gzip压缩,你是要在header里面约定好默认不压缩还是页面下载完毕后自己解压
4.你的爬虫太快了,被服务器要求停下来喝口茶
5.服务器不喜欢被爬虫爬,会对对header头部浏览器信息进行分析,如何伪造
6.爬虫整体的设计,用bfs爬还是dfs爬
7.如何用有效的数据结构储存url使得爬过的页面不被重复爬到
8.比如1024之类的网站(逃，你得登录后才能爬到它的内容,如何获取cookies

以上问题都是写爬虫很常见的,由于python强大的库,略微加了一些代码而已
难度1


情景:
1.还是cookies问题,网站肯定会有一个地方是log out，爬虫爬的过程中怎样避免爬到各种Log out导致session失效
2.如果有验证码才能爬到的地方,如何绕开或者识别验证码
3.嫌速度太慢,开50个线程一起爬网站数据


难度2


情景:
1.对于复杂的页面,如何有效的提取它的链接,需要对正则表达式非常熟练
2.有些标签是用Js动态生成的，js本身可以是加密的,甚至奇葩一点是jsfuck,如何爬到这些

难度3


总之爬虫最重要的还是模拟浏览器的行为,具体程序有多复杂,由你想实现的功能和被爬的网站本身所决定
爬虫写得不多,暂时能想到的就这么多，欢迎补充

5. 计算机专业但技术渣渣，想用python做毕业设计，有什么好的建议

使用python的django或者flask框架做网站
使用python做数据分析，如关键字、敏感字分析
使用python做网页爬虫，流量分析
使用pyqt做小程序
网页链接这里有几个例子不错！

6. 毕业设计，Python爬虫系统 目前只知道一点点皮毛。求思路， 爬去信息，然后做成系统，老师还要求？

明显串行比多线程的慢啊， 你的思路有一些坑
python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的
python串行的就是一个一个爬呗
首先手机1w个url, 对比两个爬虫的效率就可以
库一般而言, 写一个爬虫系统需要输入一堆种子, 这些种子是初始化链接, 你可以通过requests库和pyquery库进行解析, 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中, 还需要在抓取之前采取排重操作, 这个你可以采用redis, 毕竟基于内存的比较快

7. 网络爬虫相关毕业设计，有什么比较合适的书籍推荐

百度：Python书PDF；百度网盘（如果你想看盗版的话就按我说的做...）

8. 谁有python网络爬虫的毕设成品，有偿

云盘链接已私信发送给你，看一下是不是你需要的~