九月 14, 2024

Django_Nginx_uWSGI配置

Django是一个开源的Web应用框架，由Python写成

Nginx是一个开源的高性能HTTP服务器和反向代理服务器

uWSGI是一个Web服务器网关接口（Web Server Gateway Interface，简称WSGI）的实现，用于在Web服务器和Python web应用程序之间进行通信

参考：

https://medium.com/bucketing/nginx-uwsgi-python-%E4%B9%8B%E9%97%9C%E8%81%AF-1-nginx%E7%AF%87-e0566f43c70b

https://cloud.tencent.com/developer/article/1594840

niginx官方文档：https://nginx.org/en/docs/beginners_guide.html

nginx和uWSGI区别：

nginx和uWSGI都是web服务器，都可以用来部署django等服务
**nginx：**处理静态资源能力非常强，还可以提供负载均衡、反向代理、攻击拦截等
**uWSGI：**单点部署，容易部署，性能差一些，可以支持的web协议多

uWSGI 和 uwsgi区别：

**uWSGI：**是一个web服务器
**uwsgi：**是一种web协议

WSGI和uwsgi区别：

uwsgi: 也是一种web协议，传输快（二进制存储，其他web协议都是字符串存储）
WSGI: python专业的web协议

安装Django

pip install Django

ALLOWED_HOSTS = ['*']

安装uwsgi

找不到libpython3.12.a文件

python版本问题

conda create -n django_env python=3.9

conda activate django_env

conda install uwsgi

再次安装Django

安装Nginx

yum install nginx

启动服务

systemctl start nginx
systemctl restart nginx

此时访问服务器ip即可看到nginx页面

设置开机自启动

systemctl enable nginx

停止服务

systemctl stop nginx

配置Django

django-admin startproject demosite
cd demosite
python manage.py runserver 0.0.0.0:8002

外网访问需要修改settings.py：

继续阅读

九月 14, 2024

Linux服务器配置ES+Kibana

踩坑记录

依旧是参考官网教程：https://www.elastic.co/guide/en/elasticsearch/reference/current/run-elasticsearch-locally.html

准备

云服务器配置：

8核；16G；系统盘:100G；数据盘:500G
TencentOS Server

ES，Kibana分别部署在docker上

安装

安装docker，略

配置环境变量：

export ELASTIC_PASSWORD="<ES_PASSWORD>"  # password for "elastic" username
export KIBANA_PASSWORD="<KIB_PASSWORD>"   # Used _internally_ by Kibana, must be at least 6 characters long

安装es

docker network create elastic-net

docker run -p 0.0.0.0:9200:9200 -d --name elasticsearch --network elastic-net \
  -e ELASTIC_PASSWORD=$ELASTIC_PASSWORD \
  -e "discovery.type=single-node" \
  -e "xpack.security.http.ssl.enabled=false" \
  -e "xpack.license.self_generated.type=trial" \
  docker.elastic.co/elasticsearch/elasticsearch:8.14.2

安装Kibana

# configure the Kibana password in the ES container
curl -u elastic:$ELASTIC_PASSWORD \
  -X POST \
  http://localhost:9200/_security/user/kibana_system/_password \
  -d '{"password":"'"$KIBANA_PASSWORD"'"}' \
  -H 'Content-Type: application/json'
  
docker run -p 0.0.0.0:4601:5601 -d --name kibana --network elastic-net \
  -e ELASTICSEARCH_URL=http://elasticsearch:9200 \
  -e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 \
  -e ELASTICSEARCH_USERNAME=kibana_system \
  -e ELASTICSEARCH_PASSWORD=$KIBANA_PASSWORD \
  -e "xpack.security.enabled=false" \
  -e "xpack.license.self_generated.type=trial" \
  docker.elastic.co/kibana/kibana:8.14.2

这里有两个坑：

继续阅读

九月 14, 2024

Linux服务器配置单节点Hadoop

云服务器搭建配置单节点Hadoop踩坑记录

Hadoop官方指南：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

准备

根据团队情况申请云服务器，本文的配置为：

8核；16G；系统盘:100G；数据盘:500G
TencentOS Server

方便起见，这里没有使用容器，直接将服务部署在机器上原生运行（后续实际生产应该会转移到docker上）

Hadoop安装

安装Java，ssh

机器自带，略

官方推荐安装pdsh

yum install pdsh

下载镜像

目前最新版：https://dlcdn.apache.org/hadoop/common/current/hadoop-3.4.0.tar.gz

在主机下载完毕，使用scp命令将镜像上传到服务器：

scp -P 36000 hadoop-3.4.0.tar.gz <user>@xxx.xxx.xxx.xxx:/data/download

服务器上解压缩

tar -zxvf hadoop-3.4.0.tar.gz

进入hadoop目录，由于没有配置系统路径，后续操作默认在该目录下进行

配置Java

找到Java安装位置

java -XshowSettings:properties -version 2>&1 | grep 'java.home'

编辑etc/hadoop/hadoop-env.sh

 # set to the root of your Java installation
 export JAVA_HOME=/usr/java/latest

运行

bin/hadoop

此时会出现使用文档

HDFS测试

Hadoop集群可设置成如下模式：

Local (Standalone) Mode （单节点单进程）
Pseudo-Distributed Mode （伪分布式，单节点多进程）
Fully-Distributed Mode （全分布式，多节点多进程）

由于只有一个机器，对前两种模式进行测试

Standalone Operation

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output 'dfs[a-z.]+'
cat output/*

该示例是一个grep应用，使用MapReduce任务正则匹配特定字符串

继续阅读