JRQZ
  • 关于
  • 碎片时间
  • 自用笔记

自用笔记

九月 14, 2024

Linux服务器配置单节点Hadoop

云服务器搭建配置单节点Hadoop踩坑记录 Hadoop官方指南:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 准备 根据团队情况申请云服务器,本文的配置为: 8核;16G;系统盘:100G;数据盘:500G TencentOS Server 方便起见,这里没有使用容器,直接将服务部署在机器上原生运行(后续实际生产应该会转移到docker上) Hadoop安装 安装Java,ssh 机器自带,略 官方推荐安装pdsh yum install pdsh 下载镜像 目前最新版:https://dlcdn.apache.org/hadoop/common/current/hadoop-3.4.0.tar.gz 在主机下载完毕,使用scp命令将镜像上传到服务器: scp -P 36000 hadoop-3.4.0.tar.gz <user>@xxx.xxx.xxx.xxx:/data/download 服务器上解压缩 tar -zxvf hadoop-3.4.0.tar.gz 进入hadoop目录,由于没有配置系统路径,后续操作默认在该目录下进行 配置Java 找到Java安装位置 java -XshowSettings:properties -version 2>&1 | grep 'java.home' 编辑etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HOME=/usr/java/latest 运行 bin/hadoop 此时会出现使用文档 HDFS测试 Hadoop集群可设置成如下模式: Local (Standalone) Mode (单节点单进程) Pseudo-Distributed Mode (伪分布式,单节点多进程) Fully-Distributed Mode (全分布式,多节点多进程) 由于只有一个机器,对前两种模式进行测试 Standalone Operation mkdir input cp etc/hadoop/*.
继续阅读
四月 24, 2024

经典并发编程问题之哲学家进餐

施工中… 原题:https://leetcode.cn/problems/the-dining-philosophers/description/ 题解参考:https://leetcode.cn/problems/the-dining-philosophers/solutions/2130703/li-shun-xian-cheng-zheng-qiang-xin-hao-l-gzb1/ 5 个沉默寡言的哲学家围坐在圆桌前,每人面前一盘意面。叉子放在哲学家之间的桌面上。(5 个哲学家,5 根叉子) 所有的哲学家都只会在思考和进餐两种行为间交替。哲学家只有同时拿到左边和右边的叉子才能吃到面,而同一根叉子在同一时间只能被一个哲学家使用。每个哲学家吃完面后都需要把叉子放回桌面以供其他哲学家吃面。只要条件允许,哲学家可以拿起左边或者右边的叉子,但在没有同时拿到左右叉子时不能进食。 假设面的数量没有限制,哲学家也能随便吃,不需要考虑吃不吃得下。 设计一个进餐规则(并行算法)使得每个哲学家都不会挨饿;也就是说,在没有人知道别人什么时候想吃东西或思考的情况下,每个哲学家都可以在吃饭和思考之间一直交替下去。 哲学家从 0 到 4 按 顺时针 编号。请实现函数 void wantsToEat(philosopher, pickLeftFork, pickRightFork, eat, putLeftFork, putRightFork): philosopher 哲学家的编号。 pickLeftFork 和 pickRightFork 表示拿起左边或右边的叉子。 eat 表示吃面。 putLeftFork 和 putRightFork 表示放下左边或右边的叉子。 由于哲学家不是在吃面就是在想着啥时候吃面,所以思考这个方法没有对应的回调。 给你 5 个线程,每个都代表一个哲学家,请你使用类的同一个对象来模拟这个过程。在最后一次调用结束之前,可能会为同一个哲学家多次调用该函数。 解法 前置知识 该问题本质上是线程同步中的死锁问题,常用线程同步方式有互斥锁、条件变量、信号量法;这里使用信号量的方法 P-V信号量 经典的死锁问题解决方案,对于信号量m,P(m)检查m是否为0,为0阻塞,否则将其减1,表示占用资源;V(m)将m加1,表示释放资源 C++方法 sem_init, sem_wait, sem_post 是与信号量(semaphore)相关的函数,常用于进程或线程间的同步。信号量是一种高级的同步机制,用于控制对共享资源的访问数量。 这些函数属于 POSIX 线程库(Pthreads),在多种编程环境中可用,尤其是在 UNIX、Linux 系统中。下面是这些函数的基本用途和如何使用它们的简要说明: sem_init 用途:初始化一个未命名的信号量。 原型 int sem_init(sem_t *sem, int pshared, unsigned int value); sem:指向信号量结构的指针。 pshared:如果这个值非零,信号量在进程间共享;如果为零,信号量只在创建它的进程的所有线程之间共享。 value:信号量的初始值。 sem_wait 用途:减少信号量的值(P 操作)。如果信号量的值为零,则调用线程将被阻塞,直到信号量值大于零。
继续阅读
四月 22, 2024

长度为n的字符串权重之和

4.21阿里笔试压轴题,状压dp->快速幂,可惜快速幂写错了,三分之一的测试用例因为超时没通过,复盘一下 题目:一个字符串由小写字母组成,其权重定义为不相邻的元音字母(即aeiou)对的个数,例如“aba”的权重为1,请设计程序,计算长度为n的所有字符串的权重之和,答案取模1000000009。 如n=3时,有权重为1的字符串“aaa”“abe”等,这些字符串的权重和为650。 很容易想到dp,而且想求某一特定字符串的权重并不难,但这并不是本题的重点。 经过比较长时间的思考+动笔计算,确定dp方法:dp[i]表示长为i的所有字符串的权重之和,dp[i]=dp[i-1]*26+(i-2)*25*26^(i-2);大概的含义为,i-1字符串的权重和,加上第i个字母结尾的元音对所加入的新权重 #include <bits/stdc++.h> #define MOD 1000000009 using namespace std; long solve(int n); int main() { int n; cin>>n; cout<<solve(n)<<endl; } long solve(int n) { vector<long> dp(n+1, 0); long pow=1; for(int i=3; i<=n; ++i) { pow = pow*26%MOD; dp[i] = (dp[i-1]*26%MOD + (i-2)*25*pow%MOD*26%MOD)%26; } return dp[n]; } 提交,通过66.7%的用例,提示内存过大,于是很容易想到状态压缩: #include <bits/stdc++.h> #define MOD 1000000009 using namespace std; long solve(int n); int main() { int n; cin>>n; cout<<solve(n)<<endl; } long solve(int n) { long pre=0, cur; long pow=1; for(int i=3; i<=n; ++i) { pow = pow*26%MOD; cur = (pre * 26 % MOD + ((i-2) * 25 % MOD) * pow % MOD) % MOD; pre = cur; } return cur;; } 提交,还是只通过66.
继续阅读
  • ««
  • «
  • 2
  • 3
  • 4
  • 5
  • 6
  • »
  • »»
© JRQZ 2025